Debes hacer clic en el nombre de usuario que aparece en la esquina superior derecha de YouTube y luego clic sobre el título de la lista >>
https://www.youtube.com/my_watch_later_videos
Allí deberás marcar las casillas de los videos que quieras eliminar y hacer clic en [Eliminar]
