Las listas suelen tomar mucho, mucho tiempo en desaparecer completamente y no hay mucho que se pueda hacer actualmente. Sugeriría que antes de eliminar una lista, borres los vídeos en ella, la configures como privada por algún tiempo y después la elimines.