@Jó Emanoel Tenho a mesma config (2500k + 8gb DDR3). Eu tinha uma RX570 da Gigabyte e rodava Genshin (mas faz uns 2 anos já, não sei se mudou algo gráfico no genshin. Mas rodava 60fps, só caia um pouco na hora dos efeitos, mas ai é mais culpa da CPU do que a placa). Também rodava Honkai Star Rail, que é outro jogo da mesma produtora.
Se quiser rodar assim, eu preferiria uma RX570 usada da OLX (marca legal tipo gigabyte, msi.. já cheguei a encontrar por 450 reais uma da MSI, sou do Norte-AM) do que uma RX550 ou uma GT1030 novas e com garantia.
Sobre incompatibilidade, não tem problema esse lance ai que você falou. RAM é uma coisa, VRAM é outra.
Pra um i5 2500k, não compensa investir em placa mais "atual" (atual em aspas, pois por exemplo a RX6600 não é tão atual assim, mas é o custo/benefício do momento). Motivo? Por conta que o gargalo com a CPU elas vão ficar rodando longe do 100% de uso. É como se você comprasse uma placa inteira, e tivesse usando só metade na hora de jogar.
Recomendaria você procurar (no mercado de usados, pois essas placas nova é difícil de ter custo-benefício)
RX570, RX580 (sem marca de mineração, pelamor), 1060 modelo de 6GB (o de 3GB acho que não tá compensando).