OpenAI a reconstruit sa pile WebRTC pour alimenter une IA vocale en temps réel avec une faible latence, une échelle mondiale et une prise de parole conversationnelle fluide. Cet effort technique a visé à optimiser leur infrastructure pour des interactions IA très réactives.
Cet article détaille une solution pour créer des applications de streaming vocal en temps réel. Il utilise Amazon Nova 2 Sonic et Amazon Kinesis Video Streams WebRTC pour surmonter les défis courants de développement, couvrant l'architecture de la solution, les modèles de mise en œuvre et des exemples pratiques.
Le streaming en direct a toujours été confronté à des compromis entre faible latence et échelle, mais de nouvelles technologies comme MoQ et SCTE-35 sont en train de changer cela. Le MoQ vise à combiner l'interactivité de faible latence de WebRTC avec la capacité de mise à l'échelle de HLS/DASH.