O problema era de fato superaquecimento, temperaturas da CPU e GPU pegando acima de 80-85C, chegou um ponto que so de mexer a janela do navegador a temperatura da CPU pegava 90C. E apos varias tentativas: troquei pasta termica, formatei usando windows recovery, atualizei drivers, limpei o laptop, fiz varios testes e diagnosticos de hardware etc.. Consegui resolver e deixarei aqui registrado caso futuramente alguém que esteja passando por esse problema chato e ja tentou muitas coisas e não resolveu, pode ser que a solucao seja a memsa que a minha.
Solucao: Formatei o meu laptop utilizando um USB bootable. Anteriormente estava formatando usando o windows recovery, porém, não deletava todos drivers e partições. Ao formatar usando o USB bootable, deletar todas partições do SSD/HD deixando somente 1 partição e instalar os drivers utilizando a Dell Supportassist( ou manualmente de acordo com site da fabricante ), consegui resolver. Temperaturas da CPU e GPU estabilizaram em torno de 50-55C em tarefas normais e 70-75C nos jogos e não houve mais desligamentos. Provavelmente era problemas relacionado a drivers que estava superaquecendo meu laptop e causando os desligamentos. Outra coisa que fiz também foi desabilitar o processor performance boost mode.