Tenemos el mismo problema con nuestro Wileyfox Swift corriendo Android 7/Nougat stock.
La aplicación de mensajería por defecto/AOSP reproduce la alerta recibida a través del auricular durante una llamada, que con el tono que elegimos era muy ensordecedor, por no decir molesto.
Parece que la aplicación de mensajería por defecto/AOSP de alguna manera evita o ignora la configuración de "Anular no molestar" como se muestra en la captura de pantalla adjunta a continuación.
Dependiendo de tu firmware la solución puede ser simplemente alternar las opciones de alerta de la aplicación (que ya ha sido amablemente señalada).
Si por el contrario esto sigue sin funcionar - como en nuestro caso - entonces otra solución es desactivar la app AOSP Messaging e instalar otra.
Si te gusta mantener las cosas estándar, vale la pena probar los Mensajes de Google:- Mensajes de Google
Espero que esto ayude.
(Pulse para ampliar)