Vá em Configurações > Dados e Armazenamento > Uso do Armazenamento para limpar seletivamente o seu cache – ou configurar a opção Manter Mídias para remover regularmente itens não usados. As mídias e arquivos ficarão disponíveis para baixar novamente sempre que for preciso.
No Android, você também pode armazenar seus dados do Telegram no Cartão de Memória.