Hola Carlos,
Al final, cuando se sube contenido de forma pública en internet (Ya no solo en YouTube) no es posible evitar que un determinado público se suscriba.
Es decir, puedes realmente ignorarlo y centrarte en tu público objetivo.
¿Conoces la academia de YouTube?
Es posible que te permita ayudarte en ese proceso: