Der Inhalt beschreibt die Entwicklung von KI-Agenten-Stacks und beleuchtet die Herausforderung, eingesetzte Agenten im Laufe der Zeit zu optimieren. AgentCore Optimization wird als Lösung vorgestellt, um kontrollierte A/B-Experimente durchzuführen und die Leistung von Live-Agenten zu bewerten.
Ein Towards AI-Artikel erklärt kontrafaktische Bewertungsmethoden (IPS, SNIPS und Doubly Robust) für Anzeigen-Ranking-Modelle. Diese Techniken schätzen die Modellleistung aus protokollierten Daten ohne A/B-Tests, was für Empfehlungssysteme im Einzelhandel entscheidend ist.
Dieser Inhalt beschreibt einen A/B-Test auf raxxo.shop, bei dem drei von Magnific generierte Bilder und Vercel Edge Config verwendet wurden, um den Einfluss eines engeren Bildausschnitts auf die Klickrate (CTR) zu bewerten. Eine einstündige Einrichtung führte dazu, dass eine Variante nach 11 Tagen den Kontrollwert um 18,4% übertraf, wobei der Artikel die genaue Verdrahtung und das Schema bereitstellt.
Der Artikel kritisiert die exorbitante Preisgestaltung von Optimizely für A/B-Tests, mit Jahreskosten zwischen 36.000 und über 400.000 US-Dollar, selbst für scheinbar einfache Funktionen wie Multi-Armed-Bandit-Tests. Er hebt hervor, wie diese Preise für Startups unerschwinglich und unverhältnismäßig zu den tatsächlichen Kosten der zugrunde liegenden Algorithmen sind.