Ve a Ajustes > Datos y almacenamiento > Uso de almacenamiento para borrar tu caché de forma selectiva o establece un periodo para que se eliminen regularmente los ítems que no utilizas, con la opción Conservar multimedia. La multimedia y archivos permanecen disponibles para que los descargues nuevamente cuando los necesites.
En Android, también puedes almacenar tus datos de Telegram en tu tarjeta SD.
Aquí puedes ver cómo luce la versión para iOS, con ajustes adicionales como un tamaño máximo de caché.