Por lo general, las propias aplicaciones tendrán que proporcionar un ajuste en el que se puede elegir un sonido de notificación a utilizar. No conozco ninguna configuración global que permita establecer sonidos de notificación por aplicación.
Por ejemplo, en Gmail puedes ir a la configuración (utiliza el menú de desbordamiento - los 3 puntos verticales - y selecciona "Configuración") y selecciona una cuenta de la lista. A continuación, dentro de la configuración de la cuenta, pulse sobre la configuración de las notificaciones justo debajo de la casilla "Notificaciones de correo electrónico". Esto te permitirá elegir un tono de llamada diferente para los correos electrónicos de esa cuenta.
A continuación, puede repetir este proceso para cualquier otra aplicación que haya instalado.