Buen dia.
Ten presente que una cuenta de Google engloba todos los productos de Google osea Gmail, Drive, YouTube, Hagouts, Contactos, Calendarios, Blogger, Google Play etc etc. Al configurar una cuenta en un dispositivo Android no se esta vinculando solo un servicio sino todos y de alli que la otra persona pueda acceder a toda tu informacion.
Sino quieres que la otra persona vea tus datos deberas decirle que borre tu cuenta del dispositivo de él ya que al estar configurada en su dispositivo es como si el fuera el dueño de dicha cuenta.
La otra opcion es que tu cambies tu contraseña y asi el ya no va a pdoer acceder a tu informacion pero ten en cuenta que la informacion que ya este descargada en el dispositivo de el como contactos seguiran estando alli.
Saludos.