Hola.
Según lo que indicas parece que tú utilizas Chrome en más de un dispositivo y que en él te has logueado con tu usuario (primera opción de chrome://settings/, posiblemente en tu PC).
Eso haría que el uso en tu PC se sincronice con tu cuenta y cuando uses Chrome desde otro dispositivo y la misma cuenta, éste se sincronizará. Esto significa que esos usuarios no necesariamente debieron usar tu teléfono, sino que pueden ser traídos del uso en tu PC.
Quita la sincronización del Chrome o no te loguees en él y eso evitará que te pase lo que te pasa.
Igualmente muevo tu consulta al foro de Chrome pues no tiene relación con el uso del correo electrónico Gmail.
Saludos.