Tu problema, es que tienes una retención baja o bien tus visitas pueden ser fraudulentas o no organicas.
La baja retención significa que cuando alguien ve tu video, lo ve por poco tiempo y se va, no llega a verlo en su totalidad, y esas visitas, si son muy bajas (por poco tiempo) las descarta generalmente. Tambien en este fenomeno entran las visitas no organicas; que es, Cuando accidentalmente alguien cliquea en tu video sin intención de entrar en el (clic accidental, pop-up en un sitio,etc) lo que provoca que el individuo se valla, sin finalizar la reproducción.
ahora; Si utlizas medios fraudulentos (Bots, recargar la pagina una y otra vez,etc) youtube, te descuenta esas visitas (y hasta te llega a penalizar por ello)
Esos son las causas mas comunes, analizalas y luego nos cuentas si te sirvió de algo xD :D