Hola,
Es normal cuando la visualización de un vídeo se incrementa rápidamente. En estos casos YouTube hace análisis mas profundos en búsqueda de comportamientos no deseados, como usuarios recurrentes, acciones repetitivas, falta de interacción con el vídeo etc. No debes preocuparte, solo evita ingresar mucho a ver tu vídeo, no avises a amigos y/o parientes para que ingresen, ni pongas el link al vídeo en sitios en donde no tengas la seguridad que atraerá a visitas interesadas en el contenido. Eso ayudará para que se restablezcan las visualizaciones mas pronto, pero siempre, las visitas de calidad, se mostrarán tarde o temprano.
Saludos.