Estar "conectado" es un concepto erróneo. Incluso cuando se está "conectado" cuando se utiliza un navegador, esto se gestiona mediante el almacenamiento de una cookie con un token de autenticación almacenado en ella. En el dispositivo es más o menos lo mismo, excepto que no es una "cookie". Cuando usted configura su cuenta, se solicita un token de autenticación y se almacena en el dispositivo. También se puede intercambiar un nuevo token en otras ocasiones, pero usted no es consciente de que eso ocurre.
Cuando las aplicaciones, como gmail, comprueban si hay correo nuevo, utilizan ese token para decir a los servidores de gmail que eres "tú". La razón por la que no puedes "cerrar la sesión" es porque entonces no podrías comprobar si hay correo nuevo, obtener actualizaciones de la aplicación y otras cosas por el estilo que ocurren en segundo plano. Si cerraras la sesión, cada dos minutos tendrías que introducir tus credenciales para que tu dispositivo pudiera comprobar si hay actualizaciones y nuevo correo.
Un gran conjunto de los servicios incorporados a Android utilizan su token de autenticación. Incluso cuando creas, editas o eliminas un contacto en tu dispositivo, porque sincroniza esos datos con tu cuenta en los servidores de Google. Las citas del calendario, gTalk, Google Voice, el widget de búsqueda, la conversión de voz a texto, las notificaciones push (para cualquier servicio que utilice C2DM), y cualquier otro servicio que pueda aparecer bajo tu cuenta de google en Accounts & Sync
puede y necesitará este token de autenticación en cualquier momento.
Es más bien como si estuvieras conectado a tu PC (Windows, Linux, OSX) y luego conectado a cualquier servicio particular de Google.