Prueba lo siguiente:
Haz click con el botón derecho en la ventana a tamaño normal del vídeo de YouTube, aparecerá un menú. Dale a Configuración.
En el pop-up del Flash Player que sale, desactiva la casilla de aceleración por hardware. Luego dale a Cerrar y pruébalo.
Si no funciona, recomiendo primero instalar la última versión de Flash Player y hacer pruebas con otros navegadores.
¡Suerte!