La única forma de que no aparezca la opción de quitar es si dicha playlist no te pertenece, en cuyo caso al acceder a ella aparecería su dueño señalado.
(Por ejemplo, en la imagen abajo me pertenecen las primeras dos playlists)
¿Podrías confirmar si aparece en tu caso?