No es posible actualmente. Supongo que por privacidad.
Dudo que la mayoría esté contento de compartir toda su actividad de forma pública, al menos no sin su consentimiento o por propia voluntad. Así que si un usuario no deja un comentario o hace una respuesta a tu vídeo, difícilmente podrás saber quien ha visto tu vídeo exactamente.