Es difícil decir si el problema es de YouTube o de tu proveedor, consulta
http://www.youtube.com/my_speed para ver la velocidad promedio de tu ISP en YT y compararla con el promedio local, nacional y global, quizás te ayude a saber si el problema puede ser de tu proveedor.