Inference acceleration

Accelerating PayPal's Commerce Agent with Speculative Decoding: An Empirical Study on EAGLE3 with Fine-Tuned Nemotron Models

Este artigo avalia a decodificação especulativa com EAGLE3 para otimizar o agente de comércio do PayPal, impulsionado por modelos Nemotron ajustados. O estudo demonstra melhorias significativas de desempenho, incluindo aumento de 22-49% na taxa de transferência e redução de 18-33% na latência, sem custo adicional de hardware.