Hola José,
Tengo buenas noticias.
Es posible hacer lo que nos comentas.
Haz clic derecho sobre el marcador deseado y después en editar.
Se te abrirá la configuración de ese marcador, entonces, borrar el titulo y guarda los cambios.
De esta manera, solo se mostrará el icono.
Saludos.