Algunos videos estan almacenados en servidores que puede que en el momento en el que los estes visualizando tengan mas ancho de banda libre o menos carga de trafico (O que esten mas cerca de tu ubicacion).
En cambio otro videos pueden estar almacenados en servidores que puedan estan mas saturados en ese momento con menos ancho de banda (Es decir que tienen mucho trafico en ese momento) tambien influye que esten mas lejos de ti.
Recuerda que google la propietaria de Youtube tiene servidores por todo el mundo con copias de seguridad.
Aqui puedes echar un vistazo :)
Centro de datos de Google - El corazón de Internet
http://www.google.com/intl/es-419/about/datacenters/gallery/index.html#/