Bueno, así como dices podría ser un poco complicado de hacer. Pero con la barra RealTime puedes ver quién está viendo el mismo vídeo que tu siempre y cuando ellos(as) tengan también la barra y su configuración de privacidad lo permita, pero no puedes hablar con ellos(as). La barra RealTime aún está sólo disponible por invitación.
Por otro lado están los Streams, algo así cómo una sala de chat donde puedes añadir vídeos y chatear mientras miras el mismo vídeo junto a otras personas (esa es la idea al menos), puedes buscar Streams abiertos o crear el tuyo desde
http://www.youtube.com/streams_main.