UserArena : nouveau benchmark pour agents d'achat interactifs en e-commerce
En bref
- UserArena propose 64 729 trajectoires réelles de sessions d'achat avec 13 types d'actions.
- Le benchmark permet une validation offline contre des tests A/B en production.
- OPTD améliore la fidélité des simulateurs pour des interactions longues en e-commerce.
Des chercheurs introduisent UserArena, un benchmark interactif en e-commerce basé sur des données réelles. Selon l'annonce, il contient 64 729 trajectoires de sessions issues de 11 010 utilisateurs, couvrant 566 102 articles et 13 types d'actions. L'outil propose un environnement interactif et permet une validation offline contre les résultats d'un test A/B en production.
Ce benchmark évalue cinq niveaux de performance : validité des sorties, décisions locales, comportement séquentiel, personnalisation et résultats. Les auteurs y testent aussi On-Policy Trajectory Distillation (OPTD), une méthode pour améliorer la fidélité des simulateurs sur des interactions longues.
Ce que ça change pour vous
- Retail & E-commerceLes équipes techniques peuvent désormais évaluer et améliorer leurs agents d'achat avec des données réelles et des métriques alignées sur les résultats de production.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez Hugging Face Daily Papers.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur