Test-Time Memory Evolution : une alternative efficace au Test-Time Training ?
En bref
- TTME adapte les modèles sans modifier leurs poids, contrairement au TTT.
- TTME surpasse le TTT sur cinq tâches mathématiques selon l'étude.
- Réduction des coûts de calcul de 47,7 à 58,4 % en temps d'exécution.
Des cadres de *test-time training* (TTT) récents permettent à des modèles de langage ouverts de surpasser des modèles fermés sur des tâches de découverte scientifique. Cependant, le TTT augmente les coûts de calcul avec des mises à jour en ligne des poids. Une nouvelle méthode, *Test-Time Memory Evolution* (TTME), est proposée pour adapter le modèle sans modifier ses poids. Selon l'étude, TTME surpasse le TTT sur cinq tâches mathématiques tout en réduisant les coûts de calcul de 82,8 à 84,6 % en FLOPs et de 47,7 à 58,4 % en temps d'exécution.
L'évaluation compare TTME et TTT dans un même cadre de découverte scientifique, en ne changeant que la méthode d'adaptation. Les résultats suggèrent que TTME pourrait offrir une solution plus efficace pour les modèles de grande taille, mais son application à d'autres domaines reste à explorer.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez Hugging Face Daily Papers.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur