Ve a Ajustes > Datos y almacenamiento > Uso de almacenamiento para borrar tu caché de forma selectiva, incluso para chats individualmente.
Configura Conservar multimedia para eliminar regularmente ítems que no son utilizados, o un Tamaño máximo de caché para mantener todo compacto. Aquí tienes cómo se ve en Android.