Creo que esto es como se diseñó. Cuando llega una solicitud de conversación inicial de uno de tus contactos, Google no sabe a qué pantalla estás prestando más atención en ese momento. Una vez que respondas al mensaje desde el PC o el móvil, las notificaciones posteriores de esa conversación sólo deberían aparecer en el dispositivo desde el que hayas respondido.
Puedes desactivar las notificaciones en uno u otro cliente, pero eso no parece ser lo que buscas.
Para desactivar totalmente las notificaciones en tu móvil, abre la aplicación Talk, pulsa Menu a continuación, seleccione Ajustes y quita la garrapata de " Notificaciones de MI : Notificar en la barra de estado cuando llega la MI". La aplicación de Google Talk y la aplicación web están bloqueadas en el PC que estoy usando en este momento, así que no puedo dar indicaciones exactas, pero debería haber una opción similar para desactivar las notificaciones allí.
Ver también ¿Cómo interactúan los chats de Gmail (escritorio) y Talk (Android)?