Dans le monde de l'intelligence artificielle où la course aux paramètres semble sans fin, une équipe de chercheurs de Samsung vient de démontrer qu'avec une approche architecturale innovante, la taille n'est pas toujours synonyme de performance. Leur modèle TRM (Tiny Recursive Model), développé par le Samsung Advanced Institute of Technology AI Lab à Montréal, réalise l'exploit de surpasser des géants comme Gemini 2.5 Pro et OpenAI o3-mini sur des tests de raisonnement avancé, avec des ressources dérisoires.

Une performance inattendue sur les benchmarks de raisonnement

Le véritable test pour le TRM s'est déroulé sur les benchmarks ARC-AGI, des références dans l'évaluation du raisonnement abstrait et visuel des modèles d'IA. Ces tests mesurent la capacité des systèmes à résoudre des problèmes nécessitant une compréhension conceptuelle profonde, similaire au raisonnement humain.

Sur ARC-AGI 1, le modèle miniature de Samsung a atteint 45% de précision, dépassant nettement Google Gemini 2.5 Pro (37%), OpenAI o3-mini (34,5%) et DeepSeek-R1 (15,8%). Une performance d'autant plus remarquable que ces concurrents comptent des centaines de milliards de paramètres, contre seulement 7 millions pour le TRM.

Même sur la version plus exigeante ARC-AGI 2, considérée comme l'un des benchmarks les plus difficiles du domaine, le modèle de Samsung maintient son avance avec 7,8% de précision contre 4,9% pour Gemini 2.5 Pro et 3% pour o3-mini. Seul Grok 4 de xAI fait mieux actuellement sur ces tests, avec respectivement 66,7% et 16% de précision.

L'entraînement le plus économique du marché

La prouesse technique n'est pas la seule révolution apportée par le TRM. Son processus d'entraînement défie toutes les conventions établies dans l'industrie de l'IA. Alexia Jolicoeur-Martineau, auteure principale de l'étude, a confirmé que l'entraînement complet avait coûté moins de 500 dollars, utilisé seulement 4 GPU NVIDIA H100 et duré à peine deux jours.

Ces chiffres prennent toute leur importance quand on les compare aux ressources habituellement nécessaires pour entraîner des modèles de langage à usage général. Les géants de l'IA investissent souvent des millions de dollars et utilisent des milliers de GPU pendant des semaines, voire des mois, pour développer leurs systèmes.

« Oui, il est encore possible de faire des choses impressionnantes sans disposer d'un centre de données entier », a réagi Sebastian Raschka, ingénieur en recherche sur l'IA, commentant l'efficacité économique du modèle.

L'architecture récursive : le secret de l'efficacité

La clé du succès du TRM réside dans son architecture « récursive » innovante. Contrairement aux modèles traditionnels qui produisent une réponse en une seule passe, le TRM fonctionne par boucles successives de raisonnement.

Le processus peut être décrit ainsi :

  • Le modèle commence par générer une réponse approximative
  • Il vérifie ensuite cette réponse et identifie les éventuelles erreurs
  • Il affine progressivement sa réponse à travers plusieurs étapes incrémentielles
  • Ce cycle se répète jusqu'à l'obtention d'une réponse optimisée

« Ce processus récursif permet au modèle d'améliorer progressivement sa réponse en traitant potentiellement les erreurs de sa réponse précédente, de manière extrêmement efficace en paramètres tout en minimisant le surapprentissage », explique l'étude.

Implications pour l'industrie et les startups

Cette avancée pourrait redéfinir la manière dont les entreprises abordent le développement de l'IA. Pour les startups et les acteurs technologiques disposant de ressources limitées, le TRM ouvre la voie à une nouvelle approche : développer des modèles spécialisés, hautement performants sur des tâches spécifiques, à des coûts radicalement réduits.

Deedy Das, partenaire chez Menlo Ventures, souligne l'importance de cette découverte : « La plupart des entreprises d'IA utilisent aujourd'hui des modèles de langage à usage général avec des techniques de prompt pour diverses tâches. Pour des tâches spécifiques, des modèles plus petits pourraient non seulement être moins chers, mais aussi bien plus performants ! »

Concrètement, cette approche permettrait aux startups d'entraîner des modèles spécialisés pour moins de 1000 dollars pour des sous-tâches spécifiques comme l'extraction de données PDF ou la prévision de séries temporelles. Ces modèles spécialisés pourraient ensuite compléter les modèles généraux, améliorer les performances globales et aider à construire une propriété intellectuelle précieuse pour l'automatisation de tâches.

Vers un changement de paradigme dans l'IA

Le succès du TRM valide une thèse de plus en plus défendue dans la communauté scientifique : l'innovation architecturale peut compenser, voire surpasser, l'avantage de l'échelle pure. L'étude de Samsung, significativement intitulée « Less is More » (Moins, c'est plus), démontre qu'avec une conception ingénieuse, de petits modèles peuvent raisonner mieux que des mastodontes sur des tâches spécifiques.

Cette approche pourrait également contribuer à résoudre certains défis environnementaux de l'IA. La réduction drastique des ressources nécessaires à l'entraînement et au déploiement des modèles ouvre la voie à une IA plus durable et accessible.

À retenir

  • Le TRM de Samsung, avec seulement 7 millions de paramètres, surpasse des modèles cent fois plus grands sur les tests de raisonnement
  • L'entraînement a coûté moins de 500$ et utilisé seulement 4 GPU pendant 2 jours
  • L'architecture récursive permet au modèle d'améliorer ses réponses par itérations successives
  • Cette approche ouvre la voie au développement d'IA spécialisées à faible coût
  • L'innovation architecturale pourrait compenser la course aux paramètres dans l'IA