Técnicamente, sí, puedes construir la "versión simple" de Android: http://source.android.com/source/inicializando.html
Sin embargo, es difícil hacer esto para todos menos para unos pocos dispositivos (dispositivos oficiales para desarrolladores "Google", como la línea de teléfonos Nexus) porque cada teléfono Android requiere sus propios controladores y estos no están disponibles de forma gratuita.
Aquí es donde entran proyectos como CyanogenMod: toman la versión pura de Android, le agregan algunas características menores y luego intentan lanzarla para tantos dispositivos como sea posible. Normalmente mucho antes de que cualquier fabricante se moleste en actualizar los teléfonos (si es que lo hacen). CyanogenMod 9 es la versión de Android conocida como ICS, y está por determinar.
En resumen, la diferencia entre HTC y Google es que HTC toma la versión pura de Android y luego la "personaliza" con HTC Sense. Esta es una de las muchas razones por las que hay un pequeño retraso entre el momento en que Google lanza una nueva versión de Android (por ejemplo, ICS) y cuando los fabricantes se ponen manos a la obra, porque tienen que ajustar sus cambios/personalizaciones a la nueva versión de Android.