eliminar el directorio que contiene demasiados archivos

Puede ser que Telegram se comporte mal al encontrar esos archivos perdidos. De todos modos. Puedes usar la línea de comandos para el trabajo. Configurar adb en el PC y ejecutar este comando

adb shell am force-stop org.telegram.messenger                  # this would force-stop Telegram app.
adb shell rm -rf /sdcard/Android/data/org.telegram.messenger/*  # * means everything - all files and folders. Replace it with the directory name and enclose it in "" if the files to be deleted are inside a sub-directory. 

También puedes hacerlo con una aplicación de emulador de terminal:

1. Fuerza la detención de la app de Telegram desde Ajustes → Apps → Telegram → Forzar detención.
2. Eliminar adb shell de dicho segundo comando y ejecutarlo en la aplicación terminal.

Otra alternativa es utilizar un gestor de archivos de terceros y ver si se cuelga. Yo sugeriría usar incluso un automatización aplicación. Puedes usar mi respuesta aquí para más información. (Sugerencia: Utilice sólo las acciones, no los perfiles. Las acciones se pueden realizar sin un disparador/perfil).

El gestor de archivos nativo de Android puede eliminar la carpeta y todo su contenido

No hay una interfaz de usuario que muestre el progreso, pero puedes comprobar el espacio libre que se está ampliando periódicamente.