L'une des limitations persistantes des grands modèles de langage (LLM) vient peut-être de trouver sa solution. Thinking Machines, la nouvelle entreprise cofondée par Mira Murati, ancienne CTO d'OpenAI, annonce avoir résolu le problème de non-déterminisme qui affecte la reproductibilité des résultats générés par l'IA.
Qu'est-ce que le non-déterminisme et pourquoi est-ce un problème ?
Le non-déterminisme désigne l'incapacité d'un modèle à produire exactement la même sortie lorsqu'on lui soumet plusieurs fois la même entrée, même avec un paramètre de température à zéro, censé maximiser la prévisibilité. Cette variabilité, souvent infime, pose un défi de taille pour des domaines exigeants une parfaite reproductibilité, comme la recherche scientifique, les audits algorithmiques ou les applications où la sécurité est critique.
Jusqu'à présent, cette caractéristique était considérée comme une propriété intrinsèque, voire inévitable, de l'architecture des transformers et des opérations d'attention qui les sous-tendent, notamment en raison de calculs parallèles et d'optimisations matérielles.
La solution technique : les noyaux invariants par lot
L'innovation de Thinking Machines réside dans le développement de « batch-invariant kernels » (noyaux invariants par lot) pour les opérations clés des LLM. Il s'agit de noyaux de calcul spécialement conçus pour garantir que les opérations mathématiques fondamentales, comme celles des couches d'attention, produisent un résultat parfaitement identique et reproductible, quel que soit le contexte d'exécution ou le lot de données traité.
Concrètement, cette avancée permet d'obtenir des réponses textuelles rigoureusement identiques à chaque exécution lorsque le paramètre de température est fixé à zéro. Cela transforme le LLM d'un système statistiquement imprévisible en un système déterministe et fiable, sans pour autant sacrifier ses capacités génératives dans des modes de création où la diversité est souhaitée (température > 0).
Une avancée aux implications majeures
Cette percée technique n'est pas qu'une simple amélioration algorithmique. Elle ouvre la voie à une adoption plus large et plus sûre de l'IA dans des secteurs où l'erreur n'est pas permise.
- Recherche et développement : Les chercheurs pourront désormais reproduire et vérifier exactement les résultats obtenus par des LLM, un prérequis essentiel pour la méthode scientifique.
- Audit et conformité : Il deviendra possible d'auditer de manière fiable le comportement d'un modèle, de détecter des biais ou des dérives, et de s'assurer de sa conformité à des réglementations strictes.
- IA de sécurité critique : Dans la santé, la finance, les systèmes autonomes ou les outils de diagnostic, la capacité à prédire et reproduire exactement le comportement d'un modèle est une condition sine qua non pour son déploiement.
Vers une nouvelle référence pour l'IA de confiance
En résolvant le problème du non-déterminisme, Thinking Machines positionne sa technologie comme un potentiel nouveau standard industriel pour le développement d'IA déterministes. Cette fiabilité accrue est un pas de géant vers la construction d'une confiance durable dans les systèmes d'intelligence artificielle, qui pourront être déployés dans des scenarios où la prévisibilité est aussi importante que la performance.
L'impact pourrait être comparable à l'introduction de méthodes formelles en informatique, garantissant que les programmes se comportent exactement comme prévu. Si cette technologie est adoptée à large échelle, elle pourrait reconfigurer les bonnes pratiques de développement et d'évaluation des LLM, en faisant passer l'industrie de l'ère du « ça marche presque toujours » à celle du « ça marche exactement comme spécifié ».
Cette innovation marque un tournant dans la quête d'une IA robuste et digne de confiance, essentielle pour son intégration dans notre quotidien et nos infrastructures critiques.
Ce qu'il faut retenir
- Thinking Machines a résolu le problème de non-déterminisme des LLM.
- La solution repose sur des « noyaux invariants par lot » pour les opérations clés.
- Elle garantit des réponses identiques à température zéro.
- Les applications visent la recherche, l'audit et l'IA de sécurité critique.
- Cette avancée pourrait établir un nouveau standard de fiabilité pour l'industrie.