Mistral Large 4 chute à 25 points dans l'indice Artificial Analysis 5
En bref
- La version 5 de l'indice Artificial Analysis repose à 60 % sur des tests privés, contre 40 % auparavant.
- Mistral Large 4 chute de 38 à 25 points, à égalité avec Muse Spark Open de Meta.
- L'écart entre modèles fermés et ouverts passe de 12 à 26 points selon Artificial Analysis.
Artificial Analysis a publié le 27 octobre 2026 une nouvelle version de son indice, où 60 % des évaluations reposent désormais sur des tests privés ou à réponses secrètes. Selon l'éditeur, cette version 5 remplace des épreuves publiques par des tâches inaccessibles aux laboratoires, comme FrontierCode 2.0 de Cognition ou un sous-ensemble de CritPt v2 en physique.
Douze modèles à poids publiés ou annoncés perdent entre 12 et 16 points, dont Mistral Large 4 qui passe de 38 à 25. Le meilleur modèle fermé, Claude Opus 5.5, conserve 58 points, creusant l'écart avec les modèles ouverts à 26 points. Artificial Analysis met en avant un écart passé de 3 à 12 points, mais ce calcul inclut Kimi K3.1 Pro dont les poids ne sont pas publiés.
La refonte de l'indice modifie aussi les épreuves : GDPval-AA, SciCode et AA-LCR sont retirées, tandis que Terminal-Bench-Science et FrontierCode 2.0 sont ajoutées. Les modèles européens à poids publiés restent rares, et Mistral Large 4, dont les poids sont attendus pour le 31 octobre, n'a pas encore de résultats détaillés par épreuve.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez ActuIA.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur