¿La aplicación de Twitter utiliza mi libreta de direcciones?

En 2012 se informó que Twitter sí subió la libreta de direcciones a sus servidores. Algo cambió después de eso. En caso de que te preguntes si lo ha hecho en el pasado puedes visitar https://twitter.com/settings/contacts_dashboard

Si usas Android 6.0 o superior puedes desactivar los permisos de los contactos como precaución extra.

La aplicación de Twitter no utiliza tus contactos a menos que lo habilites explícitamente en la configuración de la aplicación. La única forma de identificarte con otros que sí lo han hecho es a través de tu correo electrónico (y número de móvil)

Si añades tu número de teléfono y lo sincronizas, entonces sólo utilizará tus contactos y te mantendrá al día de quiénes son tus conocidos. Quién está ya en Twitter. A quiénes puedes invitar usando el número de teléfono. De lo contrario, no utiliza la libreta de direcciones.

Como se menciona en el centro de ayuda del sitio web de Twitter,

¿Por qué la aplicación de Twitter solicita permiso para acceder a las funciones de mi dispositivo Android?

Cuando instalas la aplicación de Twitter para Android en tu dispositivo, es posible que se te pida se le pida que conceda permiso para que la aplicación acceda a la información o utilizar las funciones de su dispositivo. Casi todas las aplicaciones necesitan ciertos permisos para ejecutarse en Android, y nosotros utilizamos estos permisos para ejecutar funciones en la aplicación de Twitter para Android. Ten en cuenta que Android controla la forma en que se nombran los permisos, y la forma en que se nombran no refleja necesariamente el modo en que la aplicación de Twitter los utiliza.

Y sí se menciona en el artículo y en tu pregunta, se lee que los contactos con el fin de las sugerencias de los amigos,

Si eliges importar contactos de tu dispositivo a Twitter, este permiso nos permite sugerirte amigos además de sugerirte a tus amigos en Twitter.