Pueden presentarse dos problemas, el de un ancho de banda insuficiente o el de una saturación de tu sistema operativo y/o navegador.
Sobre el primer caso puede que dispongas de un ancho de banda limitado que obligue a Youtube a tomarse unas pausas para cargar el buffer del vídeo.
En el segundo caso podrías probar si con un nuevo navegador sucede lo mismo o si lo deseas desinstalar algún plugin que pueda saturar el navegador o eliminar archivos temporales de internet para ver si alguna cookie, caché, etc. de anteriores navegaciones te haya bloqueado algo.