Descargar el vídeo por un medio diferente de los que provee YouTube infringe sus términos de uso, subirlo sin la autorización de su dueño en la mayoría de casos estaría infringiendo los derechos de autor/copyright (un delíto)...
¿Si el sólo hecho de descargarlos para uso personal es delito? Bueno, hay argumentos de parte y parte que hacen que sea un área gris, algo ambiguo o complicado de responder en muchos casos. Sólo un abogado experto en esos temas puede darte una respuesta concreta, aunque todo puede depender de varios factores y varía en cada caso, además de cada país y sus leyes.
Desirte sí o no sería un poco imprudente, al menos si no se es un abogado experto en el tema.