Hola,
Tu velocidad de conexión a internet no realmente significa que contra todos los servidores o partes del mundo tengas una conexión de dicha velocidad.
Lo primero de todo, puedes probar a cambiar las DNS de tu red.
Cambia la DNS a la de Google: 8.8.8.8 y 8.8.4.4 ¿Notas alguna mejora?
Un Saludo.