Claro. Pasa el cursor sobre su avatar, es decir sobre la imagen que está de él en tu canal y ahí podrás ver eliminar. O conéctate y entra aquí
http://www.youtube.com/address_book Y ahí encontrarás "suscriptores" entre otras opciones. Marca y borra, o elimina, el que ya no desees tener.