A ver, lo que creo que puede estar pasando es, como bien ya ha dicho Gari, que tu cuenta de Youtube ya tiene una cuenta de gmail vinculada, y no está vinculada a tu cuenta de hotmail. La única solución que se me ocurre es visitar la página de recuperación de contraseña, usar esta página para recuperar tu nombre de usuario (
https://www.google.com/accounts/recovery/forgotusername ), poniendo tu correo de hotmail para recuperarlo, o tu número de móvil. Una vez tengas eso, deberías poder recuperar la contraseña y el acceso a tu canal.