[Leçon inaugurale] Yann Le Cun - Apprentissage profond et au-delà : les nouveaux défis de l'IA

L'avenir de l'IA : des LLM aux modèles du monde, une révolution en cours

Introduction et contexte historique de l'IA

Ils ont continué de travailler et ont trouvé des nouvelles méthodes d'apprentissage... ce qu'on appelle le deep learning qui ont complètement à partir des années 2010 revivifié le domaine.

• La conférence débute par une présentation de Yann LeCun, présenté comme une figure pionnière et persistante de l'intelligence artificielle. Son parcours est retracé, depuis ses études en France jusqu'à ses travaux aux laboratoires Bell Labs aux États-Unis, en passant par sa thèse à Paris. L'accent est mis sur sa persévérance et celle de ses collègues, comme Yoshua Bengio et Geoffrey Hinton, à une époque où les réseaux de neurones et l'IA étaient tombés en désuétude après l'engouement des années 70-80. Leur travail acharné a conduit au développement de nouvelles méthodes d'apprentissage, culminant avec la révolution du deep learning au début des années 2010, qui a redonné vie au domaine. Cette persistance a été récompensée par le prix Turing en 2018, souvent considéré comme l'équivalent du Nobel en informatique.
• Au-delà de l'aspect technique, l'intervention de LeCun est annoncée comme portant également une réflexion profonde sur le développement de l'IA. Les problématiques de transparence, de collaboration, la compréhension des limites actuelles et, surtout, la conviction que l'IA doit être un outil mis au service du bien commun sont présentées comme des thèmes centraux. Cette dimension sociétale est soulignée par la mention de ses ouvrages, co-écrits avec des spécialistes comme le neurobiologiste Stanislas Dehaene, qui lient l'intelligence biologique et artificielle, montrant que le sujet dépasse largement le cadre de l'ingénierie.
• LeCun est présenté comme ayant rejoint Facebook (Meta) en 2013 pour y fonder le FAIR (Facebook AI Research Lab), qu'il a dirigé pendant plusieurs années. Ce détail est important car il situe le conférencier à l'intersection de la recherche académique de pointe et du développement industriel à grande échelle, lui donnant une perspective unique sur les défis pratiques, les ressources nécessaires et l'impact sociétal des technologies d'IA qu'il contribue à créer.

L'IA comme amplificateur d'intelligence humaine : perspectives et leçons historiques

L'histoire de l'informatique, c'est qu'on a fait des systèmes informatiques dont les capacités en fait surpassent les capacités humaines. C'est un peu le principe d'utiliser des outils... Donc l'IA doit être vu comme un moyen d'amplifier l'intelligence humaine.

• Yann LeCun pose d'emblée le cadre philosophique de sa vision : l'IA est avant tout un outil d'amplification de l'intelligence humaine, dans la continuité historique de tous les outils développés par l'humanité. Il insiste sur le fait que cet effet ne peut être, dans l'ensemble, que positif, tout en reconnaissant l'existence de risques qu'il ne faut ni ignorer ni exagérer. Cette position cherche à équilibrer l'enthousiasme technologique et une prudence raisonnée, rejetant à la fois le catastrophisme et l'angélisme.
• Pour illustrer l'impact transformateur et parfois imprévisible d'une telle amplification, LeCun fait un parallèle historique puissant avec l'invention de l'imprimerie au XVe siècle. Il explique que cette technologie, en démocratisant l'accès au savoir (en commençant par la Bible), a eu des conséquences profondes et ambivalentes : elle a engendré le mouvement protestant, provoqué des siècles de conflits religieux en Europe, mais a aussi été le catalyseur des Lumières et du progrès scientifique en Occident. À l'inverse, son interdiction dans le monde musulman de l'époque aurait, selon lui, contribué à un déclin relatif. La leçon est double : disséminer le savoir est fondamentalement bénéfique, mais cela s'accompagne de dangers et de perturbations sociales qu'il faut anticiper.
• Appliquant cette leçon à l'IA, LeCun en déduit que son développement, bien mené, permettra une prise de décision plus rationnelle pour tous et accélérera considérablement le progrès scientifique, notamment dans des domaines comme la science des matériaux. Il anticipe ainsi des décennies de transformations majeures et encourage son auditoire, les futurs ingénieurs, à ne pas en avoir peur mais à en être des acteurs. Il normalise également l'idée de travailler avec des entités plus intelligentes que soi, arguant que c'est la meilleure chose qui puisse arriver, s'appuyant sur sa propre expérience de collaboration.

Notre future relation avec l'IA : des assistants personnels omniprésents

Vous quand vous aurez fini vos études, vous aurez des assistants d'IA avec vous qui seront plus ou moins intelligents... Il faut pas avoir peur de travailler avec des entités qui sont plus intelligentes que vous.

• LeCun décrit une vision concrète et personnelle de l'intégration future de l'IA dans la vie quotidienne. Il prédit que chaque individu sera accompagné par des assistants d'IA, d'abord modestes, puis de plus en plus capables, pour finalement dépasser potentiellement l'intelligence humaine dans certains domaines. Ces assistants seront comme une équipe de "gens virtuels" nous accompagnant en permanence. Pour rendre cette idée tangible, il donne l'exemple de ses propres lunettes intelligentes, équipées d'un assistant (sans doute basé sur un modèle de langage comme Meta AI) capable de répondre à des questions, de prendre des photos ou d'interagir sur commande.
• Cette perspective est présentée comme une évolution naturelle et positive. LeCun dédramatise la peur d'être dépassé par une intelligence supérieure en la comparant à la dynamique d'une équipe de travail : avoir des collaborateurs plus intelligents est un atout, pas une menace. Il partage son expérience personnelle, affirmant avoir toujours collaboré avec des gens plus intelligents que lui et que cela a été extrêmement bénéfique. L'objectif est de faire passer l'IA d'un concept abstrait et parfois anxiogène à celui d'un outil collaboratif et familier, un prolongement de nos capacités cognitives.
• Cette partie sert de transition vers l'explication technique. Après avoir posé le "pourquoi" (amplifier l'intelligence) et le "comment" sera-t-elle intégrée (assistants personnels), il introduit la question fondamentale du "comment ça marche", en soulignant la différence cruciale entre la programmation explicite et l'apprentissage automatique pour résoudre des tâches complexes comme la vision par ordinateur.

Fondements de l'apprentissage machine : de la régression linéaire au neurone simple

Et l'idée pour entraîner ça est vraiment super simple... Donc on appelle ça une fonction de coût et c'est une fonction du vecteur de paramètres W.

• Pour rendre son exposé accessible, LeCun entreprend de démystifier les bases de l'apprentissage machine en partant d'un exemple très simple : la reconnaissance d'une lettre (par exemple, "C") dans une image. Il explique qu'une image n'est qu'un tableau de nombres (les pixels) et que l'on peut vouloir calculer une combinaison linéaire de ces valeurs avec un ensemble de coefficients (ou "poids", notés W). Si la somme pondérée dépasse un seuil, on décide que l'image contient la lettre C. Le défi est de trouver les bons poids.
• Il introduit alors le concept central de fonction de coût (ou loss function). Pour entraîner le système, on dispose d'un ensemble d'exemples étiquetés (des images de "C" et de "non-C"). L'idée est de définir une fonction mathématique qui mesure l'erreur entre la sortie souhaitée (par exemple, +1 pour "C", -1 pour "non-C") et la sortie réelle produite par le système avec ses poids actuels. Une fonction classique est l'erreur quadratique moyenne. Le problème d'apprentissage se réduit ainsi à un problème d'optimisation : trouver le vecteur de poids W qui minimise cette fonction de coût sur l'ensemble des exemples.
• La solution à ce problème d'optimisation est présentée via l'algorithme de descente de gradient. LeCun en donne une explication intuitive : pour minimiser l'erreur, on calcule le gradient de la fonction de coût par rapport aux poids (c'est-à-dire la direction de la plus forte augmentation de l'erreur), et on ajuste les poids dans la direction opposée, proportionnellement à un petit pas appelé "taux d'apprentissage". Il montre même la forme simple de la mise à jour pour un exemple individuel, mettant en lumière l'élégance et la simplicité conceptuelle de ce mécanisme fondamental, qui remonte aux années 50-60.

La révolution du Deep Learning et la rétropropagation du gradient

Qu'est-ce que c'est le deep learning ? C'est une petite modification de ça dans lequel on a toujours une entrée X mais au lieu d'avoir une machine qui est relativement simple... on va en fait en empiler plusieurs.

• LeCun explique que les modèles linéaires simples sont insuffisants pour des tâches complexes comme la vision ou le langage. Le deep learning résout ce problème par une "petite modification" architecturale mais profonde : au lieu d'une seule couche de calcul, on empile plusieurs couches de transformations. Chaque couche applique une multiplication par une matrice de poids suivie d'une fonction non-linéaire (comme ReLU). L'entrée traverse cette pile de couches pour produire une sortie finale, et l'objectif reste le même : minimiser l'erreur entre cette sortie et la valeur désirée.
• La clé qui a rendu l'entraînement de ces réseaux "profonds" possible est l'algorithme de rétropropagation du gradient. LeCun souligne que le concept mathématique sous-jacent, la règle de dérivation des fonctions composées (ou chaîne), est connu depuis l'époque de Newton et Leibniz. L'innovation a été d'appliquer cette règle de manière systématique pour calculer efficacement le gradient de l'erreur par rapport à tous les paramètres de toutes les couches du réseau, en partant de la sortie et en remontant vers l'entrée. Il esquisse le calcul, montrant comment le gradient se propage à travers les matrices de poids (leurs transposées, en fait) et les fonctions non-linéaires.
• Il contextualise historiquement cette idée, née dans les années 80, tombée en désuétude dans les années 90, puis revenue en force au début des années 2010, déclenchant la révolution actuelle de l'IA. Il note aussi la commodité offerte par les frameworks modernes comme PyTorch, qui utilisent la différenciation automatique pour calculer ces gradients sans que le programmeur n'ait à le faire manuellement, rendant le développement de modèles complexes beaucoup plus accessible.

Architectures spécialisées : réseaux convolutifs pour la vision et transformers pour le langage

Pratiquement tous les systèmes de vision sont à base de réseau convolutif... Les Transformers sont les architectures qui sont utilisées principalement dans les pour le traitement de la langue, donc dans les LLM, les chatbot et cetera.

• Après les principes généraux, LeCun présente deux architectures spécialisées qui dominent l'IA moderne. D'abord, les réseaux de neurones convolutifs (CNN), dont il est un inventeur clé. Ces réseaux exploitent la structure spatiale des images en utilisant des filtres (convolutions) qui s'appliquent localement et se déplacent sur toute l'image. Cette architecture confère une propriété cruciale d'invariance par translation : un objet est reconnu quel que soit son emplacement dans l'image. Il énumère leurs applications omniprésentes : assistance à la conduite, analyse d'images médicales, reconnaissance faciale, drones autonomes, soulignant à la fois les usages bénéfiques (santé) et problématiques (surveillance, guerre).
• Ensuite, il présente les Transformers, l'architecture à la base des grands modèles de langage (LLM) comme GPT. Leur propriété clé est d'être équivariants aux permutations : l'ordre des mots (ou tokens) en entrée influence l'ordre en sortie, mais pas la compréhension globale des relations entre eux. Cette architecture est idéale pour le langage, où la signification dépend des relations entre les mots plus que de leur position absolue. LeCun explique sommairement que les Transformers sont aussi des empilements de couches entraînées par descente de gradient, mais avec un mécanisme d'attention qui permet au modèle de "se concentrer" sur différentes parties de la séquence d'entrée.
• Il décrit le processus d'entraînement des LLM comme un apprentissage auto-supervisé. Le modèle est entraîné sur des quantités astronomiques de texte (des milliards de milliards de tokens) à prédire le mot suivant dans une séquence. En forçant le modèle à reconstruire sa propre entrée mais en ne lui donnant accès qu'à une fenêtre contextuelle limitée, on l'oblige à apprendre une représentation interne riche et compressée de la langue et, par extension, d'une partie de la connaissance humaine. Il note cependant que cette approche, bien que très puissante, a des limites fondamentales.

Les limites fondamentales des LLM et la voie vers l'intelligence de niveau humain

Il y a quand même un problème essentiel avec ça, c'est qu'il y a pas vraiment de capacité de raisonnement dans un système comme ça... On va pas arriver à un système au niveau d'intelligence humain ou surhumain simplement en entraînant sur du texte.

• LeCun dresse un constat critique des limites des LLM actuels. Il souligne qu'ils manquent de compréhension du monde physique, de mémoire persistante, de capacités de raisonnement robuste et de planification. Ils sont essentiellement réactifs et statistiques, ce qui explique les phénomènes d'"hallucination". Tout l'effort industriel actuel (post-formation, alignment) consiste à tenter de pallier ces faiblesses a posteriori, avec un succès partiel.
• Pour illustrer l'écart avec l'intelligence humaine, il propose une comparaison quantitative frappante. Un enfant de 4 ans a été exposé, via sa vision, à environ 10^15 bits d'information. C'est un ordre de grandeur similaire à la quantité de données textuelles utilisée pour entraîner les plus grands LLM. La conclusion est sans appel : le texte seul est un signal trop pauvre et trop indirect sur le monde pour mener à une intelligence de niveau humain. L'argument selon lequel des LLM plus grands nous mèneront bientôt à une intelligence artificielle générale (IAG) est qualifié de "faux".
• Cette analyse sert de prélude à la présentation de ce qu'il considère comme la prochaine révolution de l'IA : le développement de modèles du monde (world models). L'idée est de passer de modèles qui prédisent le prochain mot à des modèles qui prédisent les conséquences d'actions dans un environnement, permettant ainsi la planification et le raisonnement. C'est sur ce front de recherche qu'il travaille et place ses espoirs pour franchir un nouveau cap.

Les modèles du monde (JEPA) : la clé pour le raisonnement et la planification

Donc la prochaine révolution de l'IA à mon avis passe par les JPA, par les world models, donc les modèles du monde et puis par des systèmes qui à partir du moment où ils ont ce genre de modèle du monde, ils pourront planifier une séquence d'action.

• LeCun décrit le concept de modèle du monde comme un système capable, à partir d'une représentation de l'état du monde à un instant t et d'une action envisagée, de prédire l'état du monde à l'instant t+1. C'est le fondement du sens commun et de la capacité de planification. Contrairement à une simulation physique complète (impossible), un modèle du monde opère sur des représentations abstraites et hiérarchiques de la réalité, similaires aux concepts utilisés par les sciences (atomes, molécules, cellules, organismes, sociétés).
• Il présente une architecture concrète qu'il a proposée, le Joint Embedding Predictive Architecture (JEPA). Le principe est d'entraîner un encodeur à produire une représentation abstraite (un embedding) de l'observation du monde, et un prédicteur à anticiper la représentation future à partir de la représentation actuelle et d'une action. Le système est entraîné en minimisant la différence entre la prédiction et la représentation réellement observée au moment suivant. Cette approche, qui suscite un engouement croissant dans la recherche, permet d'apprendre des modèles causaux du monde.
• Avec un tel modèle, un système peut faire de la planification : étant donné un objectif (un état du monde désiré), il peut rechercher, par simulation interne, une séquence d'actions qui y mène. Cela correspond à ce que les psychologues appellent le système 2 (raisonnement lent et délibéré), par opposition au système 1 (réactions rapides et intuitives) que représentent les LLM. LeCun est convaincu que c'est la voie pour créer des systèmes capables de raisonnement véritable, d'apprentissage continu et d'amélioration autonome.

Questions-réponses : apprentissage continu, IAG, formation et rôle de l'Europe

Apprenez des méthodes de base dont la durée de vie la date de péremption est après la fin de votre carrière. Et pas des technologies dont la durée de vie va être 5 ans... Apprenez à apprendre.

• En réponse aux questions, LeCun approfondit plusieurs points. Sur l'apprentissage continu, il confirme que les futurs systèmes devront, comme les humains, mettre à jour leurs modèles en temps réel face aux erreurs de prédiction, et que ce n'est pas un obstacle conceptuel majeur. Concernant l'Intelligence Artificielle Générale (IAG), il critique sévèrement le terme, arguant que l'intelligence humaine n'est pas "générale" mais très spécialisée, comme le prouvent les systèmes qui nous surpassent déjà dans des domaines précis (échecs, calcul). Il est cependant convaincu que nous créerons des machines plus intelligentes que les humains dans tous les domaines humains, peut-être d'ici 5 à 20 ans, mais que cela ne correspondra pas à une "intelligence générale" au sens mathématique du terme.
• Sur les conseils de formation pour les futurs ingénieurs, son message est clair : privilégier l'acquisition de fondamentaux solides en mathématiques et en physique (comme la mécanique quantique ou la physique statistique) dont les concepts sous-tendent de nombreuses méthodes avancées, plutôt que de se spécialiser prématurément dans des technologies éphémères. Il valorise le doctorat comme un atout majeur pour une carrière d'innovation, notant une revalorisation de ce diplôme en France. La compétence clé est "apprendre à apprendre".
• Enfin, sur la place de l'Europe, LeCun rejette tout complexe d'infériorité. Il rappelle que des contributions majeures (comme les modèles LLaMA de Meta, à l'origine de Mistral AI) sont l'œuvre de petits groupes de chercheurs principalement français. L'Europe a les talents ; le défi est de leur donner les moyens (capital-risque, infrastructures) pour s'épanouir. Il voit la prochaine révolution (celle des modèles du monde) comme une opportunité pour l'Europe de jouer un rôle de premier plan, juste au moment où les étudiants actuels termineront leurs études.

Enjeux sociétaux : énergie, robustesse et souveraineté technologique

La proportion de parmi toute l'énergie consommée dans le monde, la proportion qui est à l'heure actuelle consommée par les data center est en fait relativement faible. C'est l'ordre de 2 ou 3%.

• Abordant les enjeux énergétiques, LeCun relativise la consommation actuelle des data centers (2-3% de l'énergie mondiale) mais anticipe une forte croissance due principalement à l'inférence (l'exécution des modèles) pour des milliards d'utilisateurs. Cette demande pourrait paradoxalement revitaliser l'industrie nucléaire (notamment les petits réacteurs) et stimuler la recherche sur le stockage d'énergie (hydrogène). Il voit aussi dans l'IA un outil puissant pour la science des matériaux, citant le projet Open Catalyst de Meta qui utilise l'IA pour découvrir de nouveaux catalyseurs pour la production d'hydrogène vert, contribuant ainsi à résoudre la crise énergétique.
• Sur la robustesse, il note que les réseaux de neurones sont intrinsèquement robustes aux pannes partielles, une propriété qui pourrait devenir cruciale si l'on développait un hardware neuromorphique (s'inspirant du cerveau). Concernant la dépendance technologique, il reconnaît le leadership américain en capital-risque mais insiste sur l'excellence européenne en recherche fondamentale. La clé pour l'Europe est de créer un écosystème qui permette à ses talents de transformer la recherche en innovations et entreprises compétitives au niveau mondial, en capitalisant sur les révolutions technologiques à venir.
• En conclusion, la conférence de Yann LeCun brosse un tableau à la fois pédagogique, prospectif et engagé de l'IA. Elle trace une ligne directrice allant des bases mathématiques du deep learning aux limites des LLM, pour finalement pointer vers l'horizon des modèles du monde comme prochain paradigme. Tout au long, il insiste sur une vision humaniste de la technologie comme amplificateur d'intelligence, sur l'importance des fondamentaux scientifiques pour les futurs acteurs du domaine, et sur le rôle que l'Europe et ses talents peuvent et doivent jouer dans la construction de cet avenir.