Le calcul supplémentaire en test ne garantit pas plus d'évidence dans les LLM
En bref
- Les erreurs des LLM sont corrélées même avec un calcul supplémentaire, limitant l'efficacité des méthodes de scaling en test.
- DIA détecte les instabilités de raisonnement et sollicite des modèles externes pour arbitrer, sans réutiliser les prédictions initiales.
- Sur 7 benchmarks, DIA améliore les performances dans 12 cas sur 14, avec jusqu'à 7% de gain sur MuSiQue.
Une étude montre que les erreurs des grands modèles de langage (LLM) sont corrélées même avec un calcul accru, remettant en cause l'hypothèse d'indépendance des preuves. Les auteurs proposent DIA, une méthode qui détecte les instabilités de raisonnement et sollicite des modèles externes pour arbitrer, améliorant les performances sur plusieurs benchmarks.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur