Diese Forschung stellt eine vielschichtige Methodik zur Beschleunigung multimodaler Fundamentmodelle (MFMs) durch Hardware- und Software-Co-Design vor. Sie nutzt Optimierungstechniken wie hierarchiebewusste Mixed-Precision-Quantisierung, strukturelles Pruning und spekulatives Decoding, um Rechen- und Speicheranforderungen zu reduzieren.
TOPCELL ist ein neuartiges Framework, das Large Language Models (LLMs) zur Optimierung der Transistortopologie im Standardzellendesign nutzt und die Einschränkungen traditioneller erschöpfender Suchmethoden überwindet. Durch die Umformulierung der Topologie-Exploration als generative Aufgabe und den Einsatz von GRPO zur Feinabstimmung verbessert es die Entdeckung von routbaren und physikalisch bewussten Layouts für fortgeschrittene Technologieknoten erheblich.
Der Artikel rät von der Standardverwendung von Q4_K_M für die lokale LLM-Inferenz ab und betont, dass optimale Leistung durch das Testen von Quantisierungsstufen erzielt wird, die auf spezifische Workflows zugeschnitten sind. Er schlägt vor, dass aggressive Quantisierung wie Q3_K_S die Latenz erheblich reduzieren kann, mit kaum wahrnehmbarem Qualitätsverlust für viele Aufgaben, obwohl die Kontextlänge einen Kompromiss darstellt.
Diese Studie analysiert die Batteriespeicherung mittels mehrstufiger modellprädiktiver Regelung, wobei das Zusammenspiel von Datenmerkmalen, Prognoseunsicherheit und Planungshorizont untersucht wird. Sie identifiziert einen „effektiven Horizont“ für die optimale Vorlaufzeit, der Rechenkosten reduziert und praktische Anleitungen für den industriellen Speicherbetrieb bietet.
Diese Forschung stellt einen zweistufigen Optimierungsrahmen zur systematischen Verbesserung von „Agentenfähigkeiten“ in großen Sprachmodellen (LLM) vor. Sie nutzt eine äußere Schleife der Monte Carlo Tree Search, um Struktur und Inhalt dieser Fähigkeiten gemeinsam zu optimieren und die Aufgabenleistung zu verbessern.
Dieser Artikel führt vorhersehbare, geschichtsadaptive virtuelle Störungen ein, um informations-theoretische Generalisierungsgrenzen für den Stochastischen Gradientenabstieg zu verbessern. Dieser neue Ansatz ermöglicht es den Störungkovarianzen, dynamisch von der früheren SGD-Historie abzuhängen, wodurch Einschränkungen bestehender Methoden, die feste Kovarianzen erfordern, behoben werden.
Diese Studie untersucht, wie Anpassungsmethoden (Full FT vs. LoRA) und Optimierungsskalen Aufmerksamkeitsdrift und Transferretention in feingestimmten CLIP-Modellen beeinflussen. Ein kontrollierter Vergleich von Lernraten zeigt, dass die Lernrate strukturelle Veränderungen stark moduliert, wobei Full FT bei höheren Raten eine deutliche Kontraktion zeigt, während LoRA entropiepositiv bleibt.
Dieser Artikel schlägt gemischte ganzzahlige Zielprogrammierung (MIGP) zur personalisierten Mahlzeitenoptimierung vor. Die Methodik behebt Einschränkungen bestehender Formulierungen durch die Verwendung ganzzahliger Variablen für praktische Portionszählungen und Zielprogrammierungsabweichungen für weiche Nährstoffziele, was eine benutzerdefinierte Portionsgranularität ermöglicht.
Dieses Papier befasst sich mit eingeschränkten Variationsungleichheitsproblemen mit funktionalen Einschränkungen und schlägt Mirror-Descent-ähnliche Algorithmen vor. Diese Algorithmen werden auf ihre optimale Konvergenzrate für Probleme mit beschränkten und monotonen Operatoren sowie Lipschitz-konvexen funktionalen Einschränkungen analysiert.
Der Artikel stellt ATOM vor, ein Multi-Agenten-Framework für die multikriterielle molekulare Optimierung mittels einer baumstrukturierten Suche. Agenten koordinieren sich entlang verschiedener Pfade des Baumes, um alternative molekulare Evolutionstrajektorien zu vergleichen, unterstützt durch einen globalen Speicher.
Dieses Papier schlägt ein "Lookahead-Drifting-Modell" für die Verteilungszuordnung vor, das die Leistung der Bildgenerierung durch eine einstufige neuronale Funktionsbewertung verbessert. Das Modell berechnet in jeder Trainingsiteration sequenziell eine Reihe von Drifting-Termen, die positive Stichproben und die Modellausgabe nutzen, um Gradienteninformationen höherer Ordnung zu erfassen.
Dieses Papier führt eine fehlende Schicht in Optimierungspipelines ein, um die Robustheitslücke nach der Lösung in gemischt-ganzzahligen linearen Programmierungs-Entscheidungsmaschinen (MILP) zu adressieren. Es formalisiert eine Epsilon-nahe-optimale zulässige Nachbarschaft und die Glattheit der Lösung, um zu bewerten, wie weit einer gefundenen Lösung unter Parameterstörungen vertraut werden kann.
Dieses Papier stellt FoLoRA vor, ein Optimierungsframework, das die Verschlechterung nicht-zielgerichteter Fähigkeiten beim Feintuning von Basismodellen adressiert. Es verwendet einen verallgemeinerten Rayleigh-Quotienten, um den Nutzen der Aufgabe und die Vergessensstrafe auszubalancieren und so Updates zur Erhaltung des Vortrainingswissens zu steuern.
DualOptim+ ist ein neuartiges Optimierungsframework zur Verbesserung des maschinellen Entlernens in großen Sprachmodellen, das geteilte und entkoppelte Optimiererzustände überbrückt. Es verwendet Basiszustände für gemeinsame Repräsentationen und Delta-Zustände für zielspezifische Residuen, wobei eine quantisierte 8-Bit-Variante den Speicherbedarf ohne Leistungseinbußen reduziert.
Dieses Papier stellt FPILOT vor, ein Plugin-Inferenzzeit-Optimierungsframework für Reinforcement Learning Handelsagenten. Es nutzt vorhergesagte Preisverläufe, um die Strategie zur Inferenzzeit zu optimieren, bevor ein Handel ausgeführt wird, und ist mit jedem vortrainierten Agenten kompatibel.
Die Arbeit stellt Vertex-Softmax vor, eine neue Methode zur zertifizierten Verifikation von Transformer-Aufmerksamkeit durch exakte Softmax-Optimierung. Es wird bewiesen, dass das exakte Optimum an einem Eckpunkt des Beschränkungsbereichs erreicht wird, was eine engere obere Schranke liefert.
QuIDE schlägt eine einheitliche Metrik, den Intelligenzindex I, zur Bewertung der Effizienz quantisierter neuronaler Netze vor, indem es den Kompressions-Genauigkeits-Latenz-Kompromiss zusammenfasst. Experimente zeigen eine aufgabenabhängige optimale Quantisierung (4- oder 8-Bit), die ein reproduzierbares Bewertungsprotokoll und eine Fitnessfunktion für die gemischte Präzisionssuche bietet.
Dieser Artikel stellt ReElicit vor, ein Bayes'sches Optimierungsframework basierend auf "Embedding durch Elicitation" zur Abstimmung von System-Prompts in KI. Es nutzt LLMs, um einen interpretierbaren Merkmalsraum zu generieren und einen Gaußschen Prozess-Surrogat, um Prompts basierend auf aggregiertem Feedback auszuwählen und zu verfeinern.
Der Artikel behandelt das Modalitätenungleichgewicht beim multimodalen Lernen, bei dem einige Modalitäten die Optimierung dominieren. Er schlägt vor, dass diese Diskrepanz aus unterschiedlichen Schwierigkeiten bei der Abbildung zwischen modalitätsspezifischen Merkmalsräumen und dem gemeinsamen Labelraum resultiert, und führt BMLR ein, um diese Schwierigkeit auszugleichen.
Diese Forschung stellt FuRA (Full-Rank Adaptation) vor, eine neuartige parameter-effiziente Feinabstimmungsmethode, die bestehende Techniken durch spektrale Vorbedingung verbessert. Durch die Reparameterisierung von Gewichtsmatrizen mittels vollständiger Singulärwertzerlegung und die Beschränkung von Aktualisierungen übertrifft FuRA die uneingeschränkte vollständige Feinabstimmung bei gleichzeitiger Effizienz.