Sé que es una solución subóptima, pero escribí un script para mí que pensé que valía la pena compartir. Esto filtrará un archivo de contactos exportado. Para usarlo ve a Contactos > Importar/Exportar > Exportar a almacenamiento, y copia el archivo a un entorno equipado con python.
Edita el script para leer del archivo exportado y escribir en una ruta no utilizada, luego borra todos tus contactos e importa de nuevo el archivo filtrado.
READPATH = 'D:/ContactsBackup.vcf'
WRITEPATH = 'D:/ContactsFiltered.vcf'
vcard = ''
vcards = []
for line in open(READPATH):
vcard += line
if 'END:VCARD' in line:
if 'TEL' in vcard: # Append contact if it has phone number.
vcards.append(vcard)
vcard = '' # Reset read-cache.
with open(WRITEPATH, 'w') as file:
file.write(''.join(vcards))