Towards the Next Frontier of LLMs, Training on Private Data: A Cross-Domain Benchmark for Federated Fine-Tuning

Das Papier befasst sich mit der Herausforderung, große Sprachmodelle (LLMs) auf privaten, verteilten Daten zu trainieren, insbesondere in regulierten Sektoren wie dem Gesundheitswesen und dem Finanzwesen. Es schlägt einen praktischen Ansatz vor, um diese wertvollen, aber nicht teilbaren und nicht-IID-Daten zu nutzen, um LLMs mit tieferer Domänenexpertise zu ermöglichen.