Mudar a reputação de um IP público ou suas rotas IPv4 de um link banda larga é tarefa do provedor de internet, ponto. Haverá interesse do provedor em fazer algo quando isso for realmente um problema para eles à ponto de afetar o faturamento mesmo, então se o problema que você relatou não tiver peso para influenciar o provedor à fazer algo, você pode mudar de provedor, se houver claro opções onde você mora.
Os paliativos foram todos apresentados acredito, tanto os melhoradores de ping quanto soluções de rota internet (VPN), se em se aplicando estes não houver quaisquer melhoras à ponto de você se sentir satisfeito, então talvez esteja mesmo na hora de aceitar a ideia de mudar de operadora.
OBS. mesmo eu aqui com link internet fibra em SP já tive ocasiões em que consegui alguma melhora nessa questão de qualidade ligando uma VPN paga (Kaspersky VPN) mas foi uma melhora marginal, obviamente meu "ping" não saiu de 200ms para 20ms, mas ocorreu sim alguma melhora, apenas um relato.