Si se trata de una cuenta comprometida, puede ser complicado, no hay un formulario especial para ese tipo de problemas en YouTube actualmente, por lo que la recomendación es que primero recuperes la cuenta Google, preferiblemente llenando el formulario de verificación de identidad
https://www.google.com/accounts/recovery (ten en cuenta que si no hay actividad sospechosa en tu cuenta, probablemente no te ayudarán)