Evitar que se instalen administradores de dispositivos

El control físico es un control total.

Si tienen acceso físico completo, si lo intentan lo suficiente (y obviamente ese cliente no lo hizo por accidente) siempre podrán manipular el teléfono.

Sin embargo, puedes hacer que esto sea mucho más difícil. Como sugirió @Dan Brown, puedes bloquear la configuración con una contraseña. Algo que se me ocurre es crear un nuevo usuario en el teléfono (esto es posible si tienes al menos Android Lollipop o una ROM personalizada basada en él), nuevamente bloquear la cuenta principal que tiene acceso de administrador con una contraseña y luego darle el teléfono al cliente con solo acceso al usuario restringido. Nuevamente, si lo intentan lo suficiente, aún podrán romper esto si tienen el dispositivo y suficiente tiempo y conocimiento. Pero una cuenta separada debería ser una de las formas integradas más fáciles de hacer esto más difícil. También puedes probar algunas aplicaciones que ofrecen controles parentales: estas aplicaciones necesitan acceso de administrador pero a cambio pueden bloquear muchos derechos. Pero a menudo cuestan dinero y/o no siempre funcionan correctamente.

Investigaré un poco más sobre esto y editaré la respuesta en caso de encontrar una mejor solución.