Dirígete a la sección de listas de reproducción
http://www.youtube.com/view_all_playlists, haz clic en el botón [editar] de la lista que quieras y podrás eliminar videos haciendo clic en la (x) que aparecerá a la derecha de cada uno.
La página de edición es diferente para listas como la de favoritos, historial, o videos que te han gustado, en esas hay que marcar una casilla y eliminar desde el menú [Acciones].