Actualmente no se pueden borrar vídeos individualmente del historial de YouTube, además el botón para eliminar todos los vídeos parece no estar funcionando correctamente en los últimos días. En general, el historial muestra hasta los últimos 200 vídeos reproducidos en ese navegador usando tu cuenta, aquellos vídeos más antiguos, no se muestran.
En caso de que quieras eliminar todo el historial de vídeos reproducidos de YouTube y no lo logres en dicha sección, puedes intentar borrar las cookies relacionadas a YouTube en tu navegador.