Puede ser porque sus servidores DNS no responden. Intente cambiar sus servidores DNS a los públicos de Google, 8.8.8.8 y 8.8.4.4.
Solía experimentar este problema a veces cuando estaba usando un módem de 56K (que es muy lento). Entonces no sabía cómo solucionarlo, pero ahora sé sobre QoS. Teóricamente es posible usar un enrutador para dar mayor prioridad a los paquetes DNS (esto se conoce como Calidad de servicio, QoS para abreviar). Sin embargo, si el problema es realmente una QoS pobre de la parte superior, es decir, el ISP, probablemente no haya mucho que pueda hacer, aparte de, como usted dice, evitar hacer otras cosas con la otra conexión a Internet al mismo tiempo. Los torrentes son particularmente malos porque pueden usar muchas conexiones simultáneas. Por supuesto, podrías intentar preguntarle a tu ISP.