Bueno depende de que sabor tengas. Si tienes una distribución basada en debian; en el submenú de administración tienes una herramienta que se llama gestor de paquetes, synaptic o similar. Busca chrome y eliminalo. Se desinstalará del sistema.
Espero que te haya servido. Un saludo.