La única opción es bloquearlos, así se anulará su suscripción a tu canal. Si no puedes acceder al canal para bloquear al usuario, puedes hacerlo desde la libreta de direcciones (en tu bandeja de entrada de YT)
http://www.youtube.com/address_book Debes crear un nuevo contacto, luego lo seleccionas y lo bloqueas.
Si solo quieres anular la suscripción, puedes bloquearlo y luego desbloquearlo.
