Cet article met en lumière comment les retours négatifs des utilisateurs constituent des données d'entraînement réelles précieuses pour les systèmes d'IA, souvent ignorées. Il remet en question l'idée reçue selon laquelle le fine-tuning est toujours coûteux, proposant une boucle de rétroaction simplifiée adaptée aux équipes produit.
Oran, un développeur assisté par IA, a présenté un nouveau système d'inventaire à l'équipe de l'entrepôt, s'attendant à des retours positifs. Cependant, il a rapidement découvert que sa solution générée par IA, basée sur une simple invite, était fondamentalement inadéquate, manquant de fonctionnalités cruciales comme un journal de réception et un contrôle d'accès granulaire, soulignant une déconnexion entre la sortie de l'IA et les besoins réels de l'utilisateur.
Les utilisateurs de Claude AI ont remarqué une baisse significative des performances du modèle, avec des preuves recueillies par certains. Anthropic, le développeur de Claude, a admis le problème et a promis d'expliquer les trois raisons de cette baisse de qualité.