En el caso de eliminar un vídeo en general no hay problema pero hay que tener en cuenta algunos puntos.
Por ejemplo, que sea un vídeo que esté llevando mucho tráfico al canal y perdamos esta fuente por eliminar el contenido.
Puedes revisar los informes de YouTube Analytics para ver a fondo el rendimiento que está teniendo un vídeo para decidir si merece o no la pena eliminarlo.