Google tiene su propia API que sus clientes usan para acceder a sus servicios. IMAP y POP son cosas que Google proporciona además de esa API personalizada, para beneficio de aquellos que utilizan otros clientes de correo electrónico.
Lo que protege tu correo y tal es el nombre de usuario y la contraseña de tu cuenta de Google. Cuando le das al teléfono Android el nombre de usuario y la contraseña de tu cuenta de Google, éste puede utilizar esas credenciales para acceder a TODOS los servicios de Google en tu nombre.
Por lo tanto, una vez que le des al teléfono tu uname/pw de Google, puede llegar a tu calendario, correo, tienda de juegos, etc, etc, sin que tengas que dar las credenciales una y otra vez.