Hola,
Aquí tienes la explicación del porque sucede :
Mi consejo es que ingreses lo menos posible a ver tus vídeos y evites avisarles a amigos, parientes, etc. cada vez que subes un vídeo para que ingresen a verlo, eso puede estar ocasionando visitas de baja calidad, es decir que ingresan, pero abandonan la pagina de vídeo rápidamente.
Saludos.