No, actualmente no se puede restringir el canal a específicos usuarios. (Aunque que solo puedan entrar los que se suscriben/admitas/hacen X no sería mala idea, tampoco...)
Si lo que quieres es restringir los vídeos de X usuario para que lo vean Y y Z, pero no el resto de YouTube, puedes marcarlos como No Clasificado (O Unlisted) y darles el link. De esta manera no aparecerán en tu canal, ni en las búsquedas, ni en relacionados, pero todo el que tenga el link puede acceder a ellos.
