Towards the Next Frontier of LLMs, Training on Private Data: A Cross-Domain Benchmark for Federated Fine-Tuning

O artigo aborda o desafio de treinar grandes modelos de linguagem (LLMs) em dados privados e distribuídos, especialmente em setores regulamentados como saúde e finanças. Ele propõe uma abordagem prática para aproveitar esses dados valiosos, mas não compartilháveis e não-IID, visando LLMs com maior especialização de domínio.