Encontrei uma gambiarra usando steam que reduziu o problema e confirmou minha suspeita que o problema vem do software. Vou no "bluetooth e outros dispositivos" e desinstalo o "xbox controller for windows", abro o steam modo big picture e nas configurações ativo o suporte de configuração pra xbox, e abro o jogo usando big picture. O problema é que o dispositivo do xbox é instalado de novo toda vez que você pluga o controle e o passo extra de ter que usar big picture.
Como meu maior problema foi em jogos da steam não pude testar em outros jogos e infelizmente não manjo o bastante pra uma solução absoluta. Desde o mês passado o problema acontece qse imediatamente se eu abro algum jogo sem usar esses passos, e o suporte da redragon só repete o mesmo sobre drivers etc. Agora tomara que a gambiarra persista