Borra las cookies y la cache del navegador e intenta eliminar el historial nuevamente. Si no funciona, prueba desde un navegador diferente.
Para cerrar sesión desde YouTube, debes hacer clic en tu nombre de usuario, en la esquina superior derecha y seleccionar la opción ''Salir''. Por cierto, borrar las cookies cerrará cualquier sesión abierta, y no solo de YouTube/Google.