Muy buenas y bienvenido al foro de Google Chrome.
Quería comentarte que yo también he oído de dichas opiniones.
Personalmente me he descargado la última versión de Google Chrome para un Samsung Galaxy S4 con una kernel y una Shell personalizada (que son las que mas incompatibilidades suele dar) y te aseguro a ciencia cierta que funciona de maravilla. No tendrás ningún problema en utilizarlo en tus dispositivos, si siempre te ha funcionado correctamente.
De hecho hoy mismo le actualicé las aplicaciones a un amigo (que tiene un S7 nuevecito y sin modificar) y no dio ningún problema.
También te diré que mucha gente tiene un montón de aplicaciones abiertas que consumen la mayoría de la memoria cache del dispositivo y por eso creen que va lento, cuando realmente es por un exceso de aplicaciones ejecutándose en segundo plano.
Pero enserio, no te preocupes, actualiza a gusto que no le va a ocurrir nada a tu dispositivo. De hecho Google se toma muy enserio este tipo de cosas.
Un cordial saludo