Le Deep learning » ou apprentissage en profondeur

Jean-Paul Baquiast 24/11/2012

Dans un excellent ouvrage récent, dont nous préparons une présentation pour Automates Intelligents, Ray Kurzweil expose les progrès rapides faits simultanément par les neurosciences et l'Intelligence Artificielle dans la compréhension du cerveau et de son fonctionnement (« How to create a Mind, Viking, octobre 2012). Un des points clefs de la démonstration repose sur la constatation (encore à vérifier dans les détails) que le cortex supérieur du cerveau humain met en oeuvre des millions de structures neuronales très semblables et relativement simples jouant le rôle de « pattern recognizers ».

Le mot est plus difficile à traduire qu'il ne semble. Retenons ici le terme barbare d'« identificateurs de permanences structurales ». Il s'agit d'acquits de l'évolution indispensables pour interpréter les messages sensoriels, endogènes et exogènes, en y faisant apparaître les ordres indispensables à la survie. Si je ne confond pas une souris avec un tigre, ou mon collègue avec un voisin, c'est parce que des pyramides hiérarchiques constituées de tels identificateurs m'ont permis de construire des images aussi adéquates que possible correspondants aux « réalités » extérieures « permanentes » supposées correspondre aux messages sensoriels en émanant. Les fonctions considérées comme les plus nobles de l'esprit humain en découlent.

Or un point essentiel du travail d'interprétation du fonctionnement cortical présenté par Ray Kurzweil est que cet auteur s'est inspiré des innovations remarquables en matière d'identification des images et des sons qu'il avait lui-même depuis bientôt 30 ans mis au point avec quelques collaborateurs. Les produits commerciaux en résultant se retrouvent aujourd'hui dans des centaines de millions d'appareils grand public, que l'on utilise sans même prêter attention aux performances extraordinaires ainsi permises, impensables il y a seulement quelques années. C'est le cas avec l'assistant virtuel personnel Siri de Apple, basé sur le logiciel de reconnaissance du langage « Nuance Communications ».

Cette convergence entre les neurosciences et l'intelligence artificielle appelle des réflexions philosophiques de première importance. Est-elle fortuite ou correspond-elle à des logiques profondes communes? Mais nous n'aborderons pas la question dans cet article. Bornons-nous à constater que cette convergence ne cesse de faire sentir ses effets, notamment dans un domaine essentiel qui est l'amélioration des modalités d'apprentissage dont disposent les milliards d'humains aujourd'hui confrontés à la nécessité de comprendre un environnement de plus en plus complexe.

L'enjeu est important, en particulier pour les organismes en charge de l'éducation, à tous les niveaux des cursus et des compétences requis. De nouvelles procédures de formation semblent devoir s'imposer. On parle de « deep learning » ou « apprentissage en profondeur ». Il s'agit d'un aspect encore nouveau qui s'ajoute à la révolution déjà en cours (voir notre dossier consacré à l'impact du Très Haut Débit dans l'éducation http://www.admiroutes.asso.fr/larevue/2012/131/treshautdebitEN.htm). Le « deep learning » sera en ce cas rendu possible par l'utilisation des hauts débits, permettant des échanges interactifs en parallèle et à hauts flux comparables à ceux réalisés dans le cerveau au sein du cortex.

Les premiers intéressés sont les chercheurs et industriels en intelligence artificielle développant des logiciels visant à augmenter les capacités des humains en matière de vision, audition et formalisation de règles. On a vu ces derniers temps revenir à l'actualité des programmes connus depuis au moins trente ans et quelque peu délaissés faute de performance, ceux désignés par le terme de « réseaux neuronaux artificiels » ou « neural netwoks ». Ceux-ci étaient censés correspondre aux modalités selon lesquelles les réseaux de neurones biologiques acquièrent leur expérience du monde (voir http://fr.wikipedia.org/wiki/R%C3%A9seau_de_neurones_artificiels).
De nouvelles recherches, conduites par un certain nombre d'équipes dans le cadre du « deep learning » ont amélioré notamment les processus statistiques (ou bayésiens) utilisés par ces réseaux. On ne confondra pas les réseaux neuronaux et les algorithmes génétiques, eux aussi inspirés du biologique et permettant d'améliorer les méthodes d'apprentissage (Voir http://fr.wikipedia.org/wiki/Algorithme_g%C3%A9n%C3%A9tique) Mais comme le montre le livre de Ray Kurzweil, les deux méthodes peuvent être conjuguées.

Concernant le « deep learning », il faut citer en particulier aujourd'hui les travaux du chercheur Geoffrey E. Hinton (voir http://www.cs.toronto.edu/~hinton/) . Ils ont permis de gagner un concours sponsorisé par la firme pharmaceutique Merck en vue de déterminer les molécules les plus aptes à composer tel ou tel médicament.

Mais les nouveaux logiciels inspirés du cerveau biologique ne se limitent pas à ce domaine. Les applications en matière de reconnaissance de patterns concernent désormais l'analyse de vastes bases de données prélevées sur le web et intéressant les comportements des citoyens et plus particulièrement des consommateurs. De même ils serviront à perfectionner les méthodes d'identification de visage et de silhouette utilisées par les application de surveillance et de sécurité. Certains à juste titre s'en inquiéteront.

Applications dans le domaine éducatif

Les nouveaux réseaux neuronaux disposent d'optimisations en termes informatiques mais ils bénéficient aussi des massives possibilités apportées par les super-calculateurs. Leurs performances dépassent dans certains domaines celles des cerveaux humains. Aussi leurs applications seront prochainement étendues au profit des programmes éducatifs.

On peut espérer que ceci se fera dans un cadre non compétitif. Même Microsoft, qui veut se donner un rôle primordial en ce domaine, aurait admis que travailler dans le cadre de l'open-source devrait s'imposer compte-tenu des enjeux sociétaux en cause.

Il faudra voir ce qui en sera dans les prochains mois. Ce serait une raison de plus pour que les institutions européennes s'intéressant à l'éducation favorisent les investissements en matière de "deep learning" provenant des universités et laboratoires universitaires.