¿Puede el Asistente de Google interactuar con las aplicaciones mientras están abiertas?

¿Puede el Asistente de Google interactuar con las aplicaciones mientras están abiertas?

Sí y no dependiendo de lo que entiendas por Google Assistant y la app

El Asistente de Google cubre una serie de características, pero para los fines de esta respuesta cubrirá dos conjuntos específicos, con nombres desafortunadamente similares:

• Acciones de Google - Servicios de voz basados en la nube escritas por desarrolladores de terceros, similares a las Skills de Amazon Alexa, en las que tienes conversaciones de voz de trayectoria conocida con una 'app' en la nube. Aunque su uso se promueve con los dispositivos de altavoces interactivos para el hogar, puedes utilizarlos en dispositivos Android. Aparte de la propia aplicación de Google, no hay ninguna aplicación de terceros para Android, pero probablemente se utilice el mismo servicio de backend para esa aplicación de terceros. Hay que tener en cuenta que una vez que se está en la "aplicación de voz" esa aplicación está utilizando la infraestructura de voz de Google para transformar la voz en texto, e incluso entonces sólo un número limitado de sinónimos que luego es utilizado por la "aplicación de voz".

• Google App Actions / App Shortcuts - Un conjunto definido de Intentos de Android que se envían a una aplicación Android de apoyo. Tenga en cuenta que los intentos de Android suelen ser para una acción imperativa que la aplicación manejará por completo.

Ver: https://developer.Android.com/guide/topics/ui/shortcuts#shortcut-capabilities

Una vez que se dispara la intención de Android, la aplicación receptora pasa al frente e históricamente la aplicación en primer plano tiene prioridad, excepto para la reproducción de medios, las notificaciones o las llamadas entrantes. Solo con Android 10 y en adelante es posible admitir oficialmente entrada de micrófono compartida lo que, por supuesto, conlleva sus propios problemas de privacidad/seguridad.

TalkBack es una aplicación de accesibilidad de Google separada del Asistente de Google que permite la navegación asistida por la vista/la entrada del usuario.

¿Cómo funciona TalkBack?

Cuando se lanzó Android, se admitía la navegación con el D-pad y el concepto de enfoque para cada elemento visual individual utilizado por un desarrollador de aplicaciones típico, sin incluir los juegos. La adición de metadatos adicionales sobre cada campo visual no suele requerir un cambio importante de código, véase Principios de accesibilidad para desarrolladores de Android . Utilizando las APIs de accesibilidad de Android es como TalkBack para proporcionar la navegación asistida por la vista / entrada del usuario.

¿No puedo hablar con la aplicación de Android de terceros para que haga las cosas de forma natural?

Lo que describes requiere una mayor integración con TalkBack. Pero TalkBack no es necesariamente la única aplicación de apoyo a la accesibilidad disponible. Cualquier API que utilice debería existir en el framework de Android. También es posible que la propia aplicación Android de terceros integre funciones de voz a texto.

¿Por qué la aplicación de voz de terceros, o Google Action, suena más natural/comprensible que TalkBack?

Estos servicios se diseñan primero con la voz durante el desarrollo y utilizan el lenguaje de marcado de síntesis de voz (SSML) para añadir la prosodia necesaria para que la salida suene más natural.

Android tiene su propia API llamada TTSSpan para añadir algunos elementos de prosodia a la producción hablada. Sin embargo, no es compatible con SSML directamente: ¿Soporte SSML en Android TTS? lo que supone un mayor esfuerzo por parte de los desarrolladores que sí quieren dar soporte a una salida de voz más natural.

¿Qué significa eso?

Si un usuario dice "añadir 5 al campo numérico", el contexto es importante para saber qué hace "añadir 5" y a qué "campo numérico" se refiere. Las aplicaciones de voz primero estarían diseñadas para responder con "qué campo numérico, x o y" o reiniciar la conversación para que el usuario y la aplicación estén sincronizados. Las aplicaciones de Android están diseñadas principalmente para ser visuales con pistas para que la entrada se ajuste a las expectativas (letras, números, longitud, etc.) con la accesibilidad o la voz como una característica adicional pero no principal.

TalkBack o cualquier aplicación de accesibilidad de terceros sólo tiene el conocimiento limitado expresado por cualquier etiqueta de accesibilidad para los campos que están en esa pantalla y no tiene conocimiento de cualquier otra pantalla. No existe ninguna API de Android para que un desarrollador de aplicaciones Android pueda decir a la aplicación de accesibilidad "si el usuario dice xyz haz foobar".

Entonces, ¿qué pasa con la integración de voz a texto directamente en la aplicación de Android

La conversión de voz a texto es actualmente un servicio de pago para aplicaciones de terceros y se realiza en la nube. Mientras que en el dispositivo es posible la conversión de voz a texto, los desarrolladores de aplicaciones pueden depender simplemente del teclado personalizado (GBoard, teclado OEM, otros) para manejar ese aspecto. Por ejemplo, el campo de búsqueda en la aplicación de YouTube para Android, al tocar el icono del micrófono, permite hablar el tema de búsqueda. La aplicación de Facebook para Android no tiene ese modo en la aplicación y depende de la aplicación de teclado para alimentar el texto. Hay que tener en cuenta que, hasta hace poco, el reconocimiento de voz de buena calidad requería enviar la voz a la nube para su análisis.

Pero si en Android 10 y superior ahora permite el acceso al micrófono compartido entonces es posible una mayor integración de funciones.

Sí, pero dependería del desarrollador de la aplicación de accesibilidad (Google u otra parte) y de los cientos de miles de desarrolladores de aplicaciones de terceros para soportar cualquier API, y que yo sepa no hay ninguna API para eso en el marco de Android.

El Asistente de Google puede abrir cierto tipo de apps, sobre todo las que están directamente relacionadas con como por ejemplo: YouTube Music, Mapas y Calendario, también Mensajes y Teléfono. Sin embargo, cuando se trata de hacer juegos, puede no responder de la misma manera.

Depende del uso que le des. Varía en función de la pregunta que se haga. Por lo general, hay que ser muy específico, de lo contrario, no responderá de la manera que pretendes que lo haga. Es decir: probablemente no actuará bien y acabará dándote algo completamente.

Por eso, sé lo más específico posible al hacer la pregunta o dar una respuesta a cualquier asistente, ya sea Google/Bixby/Cortana/Alexa/Siri, etc.