Towards the Next Frontier of LLMs, Training on Private Data: A Cross-Domain Benchmark for Federated Fine-Tuning

L'article aborde le défi de la formation de grands modèles linguistiques (LLM) sur des données privées et distribuées, en particulier dans des secteurs réglementés comme la santé et la finance. Il propose une approche pratique pour exploiter ces données précieuses, mais non partageables et non-IID, afin d'équiper les LLM d'une expertise sectorielle plus approfondie.