Un mini modèle de samsung bat les géants de l'IA en logique complexe

Le modèle TRM de Samsung surpasse les grands modèles LLM en raisonnement complexe

Un mini modèle d'IA de Samsung surpasse les géants du raisonnement

Une nouvelle étude menée par une chercheuse en intelligence artificielle de Samsung révèle qu’un petit réseau neuronal peut battre les plus gros modèles de langage (LLM) dans des tâches complexes de raisonnement. Baptisé Tiny Recursive Model (TRM), cet algorithme repousse les limites traditionnelles de l’IA en offrant des performances impressionnantes avec seulement 7 millions de paramètres, soit moins de 0,01 % de la taille des LLM dominants.

Cette percée technologique, dirigée par Alexia Jolicoeur-Martineau de Samsung SAIL Montréal, remet en question l'idée que la taille est le principal facteur de performance en intelligence artificielle.

Dépassement des limites de l'échelle

Bien que les modèles LLM aient montré une grande capacité à générer du texte, ils peinent souvent à exécuter des raisonnements complexes sur plusieurs étapes. Leur approche consistant à générer du contenu token par token rend difficile la rectification d'erreurs commises en début de raisonnement.

Des techniques comme le Chain-of-Thought tentent d’atténuer ce problème en simulant un raisonnement à voix haute. Cependant, ces méthodes restent gourmandes en ressources, nécessitent d’énormes quantités de données bien structurées, et conservent des limites logiques.

Le TRM s’appuie sur les bases du modèle Hierarchical Reasoning Model (HRM), mais le simplifie. Là où HRM utilisait deux réseaux, TRM fonctionne avec un seul petit réseau qui affine progressivement sa logique et ses réponses via un processus récursif.

Fonctionnement du modèle TRM

Le TRM reçoit une question, une réponse initiale et une représentation latente de raisonnement. Il passe ensuite par plusieurs cycles :

• Amélioration de la logique interne basée sur les trois entrées
• Mise à jour de la réponse en se basant sur ce raisonnement amélioré
• Répétition de ce processus jusqu’à 16 fois pour affiner les résultats

Contre toute attente, un réseau à deux couches a obtenu de meilleurs résultats qu’une version plus profonde à quatre couches. Cela montre que la réduction de la complexité peut limiter le surapprentissage, à condition que le design du modèle soit bien pensé.

Autre atout : la simplicité. Là où HRM s’appuie sur des justifications mathématiques complexes (comme la convergence vers un point fixe), le TRM, lui, s'entraîne efficacement grâce à la rétropropagation sur l’ensemble des itérations sans nécessiter d'hypothèses théoriques fragiles.

Des performances impressionnantes avec peu de ressources

Les résultats du TRM dépassent de loin ceux de ses prédécesseurs :

• Sudoku-Extreme : 87,4 % de précision contre 56,5 % pour HRM
• Maze-Hard (labyrinthes 30×30) : 85,3 % contre 74,5 % pour HRM
• Benchmark ARC-AGI :
  • 44,6 % sur ARC-AGI-1
  • 7,8 % sur ARC-AGI-2
  • À titre de comparaison, Gemini 2.5 Pro atteint seulement 4,9 % sur ARC-AGI-2

En plus de ses performances, le processus d'entraînement a été optimisé. Le mécanisme ACT, qui décide quand le modèle a suffisamment affiné une réponse avant de passer à la suivante, a été simplifié. Résultat : une formation plus rapide sans sacrifier la qualité des généralisations.

Une alternative durable aux modèles géants

Cette innovation de Samsung propose une voie radicalement différente face à la tendance actuelle de développer des LLM toujours plus massifs et coûteux. Le TRM prouve qu’un modèle petit, mais intelligemment conçu et capable de s’auto-corriger, peut exceller dans des tâches de raisonnement avancé sans exiger des ressources informatiques démesurées.

Cette avancée pourrait inspirer toute l’industrie à explorer des modèles plus éco-efficients, performants et durables.

À lire également : L’agent IA de Google réécrit du code pour corriger automatiquement les failles

@ReservoirLive