Puedes instalar Cyanogenmod o cualquier número de roms personalizadas, pero parece que necesitarás desarrollar una rom específica para tu situación.
Si sólo quieres que el usuario ejecute una única aplicación, imagino que tendrás que desarrollar una aplicación que se declare como pantalla de inicio/lanzador, y hacer que tu ROM sólo incluya esa aplicación como lanzador principal.
Así es básicamente como Barnes & Noble hizo el Nook Simple Touch. Su propio Launcher es muy limitado y no te permite instalar aplicaciones ni ver nada que se parezca a Android. En cuanto consigues Root a través de un exploit, puedes instalar fácilmente tu propio Launcher que te da acceso a la interfaz estándar de Android y convierte el Nook Simple Touch en una tablet de pleno derecho (aunque limitada).
Una implementación específica está fuera del enfoque de este sitio de stackexchange, pero puedes obtener consejos de programación en stackoverflow.com