Hola David.
Revisa las aplicaciones que tienen acceso a tu cuenta Google y revoca el acceso a cualquiera que no desees que tenga acceso:
Además revisa las extensiones de tu navegador y las desactivas por un tiempo para descartar que alguna pueda ser la causa de la actividad inusual:
Si puedes, recomiendo que además actives la verificación de dos pasos. De esa forma, en caso que alguien tenga tu contraseña, no pueda iniciar sesión a menos que tenga tu dispositivo móvil también:
Nos comentas si el problema persiste para considerar otras opciones y posibles causas.