Le deep learning ( aussi appelé deep structured learning, hierarchical learning ou apprentissage profond1) est un ensemble de méthodes d'apprentissage automatique
tentant de modéliser avec un haut niveau d’abstraction des données
grâce à des architectures articulées de différentes transformations non
linéaires.
On parle de plus en plus d’une nouvelle technique d’intelligence artificielle (IA), le deep learning, qui ferait des miracles en matière de reconnaissance et classification de données. On l’a vu, le “deep learning” repose sur les réseaux de neurones. Cela implique des centaines, voire des milliers d’unités actives fonctionnant en parallèle : dans le cas de Google, 16 000 processeurs égalent donc 16 000 neurones.En 2012, Google créa l’événement en utilisant cette série d’algorithmes pour reconnaître des chats sur les images (activité principale des internautes, comme chacun sait), avec un taux de succès de 70 % supérieur aux méthodes concurrentes. Depuis, le deep learning est employé, entre autres, par Microsoft (afin de permettre une traduction en temps réel des conversations Skype) ou encore Facebook, qui a engagé récemment l’un des plus grands spécialistes du domaine, le français Yann LeCun. Dans un récent article, Wired fait le point sur les succès de cette technologie, mais pointe surtout un aspect peu connu et particulièrement intéressant : non, pas besoin d’être un GAFA, un des géants du net disposant des milliers de machines pour faire du deep learning !
Ray Kurzweil expose les progrès rapides faits simultanément par les neurosciences et l'Intelligence Artificielle dans la compréhension du cerveau et de son fonctionnement (« How to create a Mind, Viking, octobre 2012). Un des points clefs de la démonstration repose sur la constatation (encore à vérifier dans les détails) que le cortex supérieur du cerveau humain met en oeuvre des millions de structures neuronales très semblables et relativement simples jouant le rôle de « pattern recognizers ».
Cette convergence entre les neurosciences et l'intelligence artificielle appelle des réflexions philosophiques de première importance. Est-elle fortuite ou correspond-elle à des logiques profondes communes? Mais nous n'aborderons pas la question dans cet article. Bornons-nous à constater que cette convergence ne cesse de faire sentir ses effets, notamment dans un domaine essentiel qui est l'amélioration des modalités d'apprentissage dont disposent les milliards d'humains aujourd'hui confrontés à la nécessité de comprendre un environnement de plus en plus complexe.
L'enjeu est important, en particulier pour les organismes en charge de l'éducation, à tous les niveaux des cursus et des compétences requis. De nouvelles procédures de formation semblent devoir s'imposer. On parle de « deep learning » ou « apprentissage en profondeur ». Il s'agit d'un aspect encore nouveau qui s'ajoute à la révolution déjà en cours (voir notre dossier consacré à l'impact du Très Haut Débit dans l'éducation http://www.admiroutes.asso.fr/larevue/2012/131/treshautdebitEN.htm). Le « deep learning » sera en ce cas rendu possible par l'utilisation des hauts débits, permettant des échanges interactifs en parallèle et à hauts flux comparables à ceux réalisés dans le cerveau au sein du cortex.
Les premiers intéressés sont les chercheurs et industriels en intelligence artificielle développant des logiciels visant à augmenter les capacités des humains en matière de vision, audition et formalisation de règles. On a vu ces derniers temps revenir à l'actualité des programmes connus depuis au moins trente ans et quelque peu délaissés faute de performance, ceux désignés par le terme de « réseaux neuronaux artificiels » ou « neural netwoks ». Ceux-ci étaient censés correspondre aux modalités selon lesquelles les réseaux de neurones biologiques acquièrent leur expérience du monde (voir http://fr.wikipedia.org/wiki/R%C3%A9seau_de_neurones_artificiels).
De nouvelles recherches, conduites par un certain nombre d'équipes dans le cadre du « deep learning » ont amélioré notamment les processus statistiques (ou bayésiens) utilisés par ces réseaux. On ne confondra pas les réseaux neuronaux et les algorithmes génétiques, eux aussi inspirés du biologique et permettant d'améliorer les méthodes d'apprentissage (Voir http://fr.wikipedia.org/wiki/Algorithme_g%C3%A9n%C3%A9tique) Mais comme le montre le livre de Ray Kurzweil, les deux méthodes peuvent être conjuguées.
Concernant le « deep learning », il faut citer en particulier aujourd'hui les travaux du chercheur Geoffrey E. Hinton (voir http://www.cs.toronto.edu/~hinton/) . Ils ont permis de gagner un concours sponsorisé par la firme pharmaceutique Merck en vue de déterminer les molécules les plus aptes à composer tel ou tel médicament.
Mais les nouveaux logiciels inspirés du cerveau biologique ne se limitent pas à ce domaine. Les applications en matière de reconnaissance de patterns concernent désormais l'analyse de vastes bases de données prélevées sur le web et intéressant les comportements des citoyens et plus particulièrement des consommateurs. De même ils serviront à perfectionner les méthodes d'identification de visage et de silhouette utilisées par les application de surveillance et de sécurité. Certains à juste titre s'en inquiéteront.
Applications dans le domaine éducatif
Les nouveaux réseaux neuronaux disposent d'optimisations en termes informatiques mais ils bénéficient aussi des massives possibilités apportées par les super-calculateurs. Leurs performances dépassent dans certains domaines celles des cerveaux humains. Aussi leurs applications seront prochainement étendues au profit des programmes éducatifs.
On peut espérer que ceci se fera dans un cadre non compétitif. Même Microsoft, qui veut se donner un rôle primordial en ce domaine, aurait admis que travailler dans le cadre de l'open-source devrait s'imposer compte-tenu des enjeux sociétaux en cause.
Il faudra voir ce qui en sera dans les prochains mois. Ce serait une raison de plus pour que les institutions européennes s'intéressant à l'éducation favorisent les investissements en matière de "deep learning" provenant des universités et laboratoires universitaires.
Source.:
blogs.mediapart.fr
On parle de plus en plus d’une nouvelle technique d’intelligence artificielle (IA), le deep learning, qui ferait des miracles en matière de reconnaissance et classification de données. On l’a vu, le “deep learning” repose sur les réseaux de neurones. Cela implique des centaines, voire des milliers d’unités actives fonctionnant en parallèle : dans le cas de Google, 16 000 processeurs égalent donc 16 000 neurones.En 2012, Google créa l’événement en utilisant cette série d’algorithmes pour reconnaître des chats sur les images (activité principale des internautes, comme chacun sait), avec un taux de succès de 70 % supérieur aux méthodes concurrentes. Depuis, le deep learning est employé, entre autres, par Microsoft (afin de permettre une traduction en temps réel des conversations Skype) ou encore Facebook, qui a engagé récemment l’un des plus grands spécialistes du domaine, le français Yann LeCun. Dans un récent article, Wired fait le point sur les succès de cette technologie, mais pointe surtout un aspect peu connu et particulièrement intéressant : non, pas besoin d’être un GAFA, un des géants du net disposant des milliers de machines pour faire du deep learning !
Ray Kurzweil expose les progrès rapides faits simultanément par les neurosciences et l'Intelligence Artificielle dans la compréhension du cerveau et de son fonctionnement (« How to create a Mind, Viking, octobre 2012). Un des points clefs de la démonstration repose sur la constatation (encore à vérifier dans les détails) que le cortex supérieur du cerveau humain met en oeuvre des millions de structures neuronales très semblables et relativement simples jouant le rôle de « pattern recognizers ».
- Les humains organisent leurs idées et leurs concepts de façon hiérarchique.
- Les humains apprennent d’abord des concepts simples, et les combinent ensuite pour représenter des concepts plus abstrait.
- Les ingénieurs (généralement humains) construisent des solutions en combinant de nombreux niveaux d’abstraction et de traitement.
Cette convergence entre les neurosciences et l'intelligence artificielle appelle des réflexions philosophiques de première importance. Est-elle fortuite ou correspond-elle à des logiques profondes communes? Mais nous n'aborderons pas la question dans cet article. Bornons-nous à constater que cette convergence ne cesse de faire sentir ses effets, notamment dans un domaine essentiel qui est l'amélioration des modalités d'apprentissage dont disposent les milliards d'humains aujourd'hui confrontés à la nécessité de comprendre un environnement de plus en plus complexe.
L'enjeu est important, en particulier pour les organismes en charge de l'éducation, à tous les niveaux des cursus et des compétences requis. De nouvelles procédures de formation semblent devoir s'imposer. On parle de « deep learning » ou « apprentissage en profondeur ». Il s'agit d'un aspect encore nouveau qui s'ajoute à la révolution déjà en cours (voir notre dossier consacré à l'impact du Très Haut Débit dans l'éducation http://www.admiroutes.asso.fr/larevue/2012/131/treshautdebitEN.htm). Le « deep learning » sera en ce cas rendu possible par l'utilisation des hauts débits, permettant des échanges interactifs en parallèle et à hauts flux comparables à ceux réalisés dans le cerveau au sein du cortex.
Les premiers intéressés sont les chercheurs et industriels en intelligence artificielle développant des logiciels visant à augmenter les capacités des humains en matière de vision, audition et formalisation de règles. On a vu ces derniers temps revenir à l'actualité des programmes connus depuis au moins trente ans et quelque peu délaissés faute de performance, ceux désignés par le terme de « réseaux neuronaux artificiels » ou « neural netwoks ». Ceux-ci étaient censés correspondre aux modalités selon lesquelles les réseaux de neurones biologiques acquièrent leur expérience du monde (voir http://fr.wikipedia.org/wiki/R%C3%A9seau_de_neurones_artificiels).
De nouvelles recherches, conduites par un certain nombre d'équipes dans le cadre du « deep learning » ont amélioré notamment les processus statistiques (ou bayésiens) utilisés par ces réseaux. On ne confondra pas les réseaux neuronaux et les algorithmes génétiques, eux aussi inspirés du biologique et permettant d'améliorer les méthodes d'apprentissage (Voir http://fr.wikipedia.org/wiki/Algorithme_g%C3%A9n%C3%A9tique) Mais comme le montre le livre de Ray Kurzweil, les deux méthodes peuvent être conjuguées.
Concernant le « deep learning », il faut citer en particulier aujourd'hui les travaux du chercheur Geoffrey E. Hinton (voir http://www.cs.toronto.edu/~hinton/) . Ils ont permis de gagner un concours sponsorisé par la firme pharmaceutique Merck en vue de déterminer les molécules les plus aptes à composer tel ou tel médicament.
Mais les nouveaux logiciels inspirés du cerveau biologique ne se limitent pas à ce domaine. Les applications en matière de reconnaissance de patterns concernent désormais l'analyse de vastes bases de données prélevées sur le web et intéressant les comportements des citoyens et plus particulièrement des consommateurs. De même ils serviront à perfectionner les méthodes d'identification de visage et de silhouette utilisées par les application de surveillance et de sécurité. Certains à juste titre s'en inquiéteront.
Applications dans le domaine éducatif
Les nouveaux réseaux neuronaux disposent d'optimisations en termes informatiques mais ils bénéficient aussi des massives possibilités apportées par les super-calculateurs. Leurs performances dépassent dans certains domaines celles des cerveaux humains. Aussi leurs applications seront prochainement étendues au profit des programmes éducatifs.
On peut espérer que ceci se fera dans un cadre non compétitif. Même Microsoft, qui veut se donner un rôle primordial en ce domaine, aurait admis que travailler dans le cadre de l'open-source devrait s'imposer compte-tenu des enjeux sociétaux en cause.
Il faudra voir ce qui en sera dans les prochains mois. Ce serait une raison de plus pour que les institutions européennes s'intéressant à l'éducation favorisent les investissements en matière de "deep learning" provenant des universités et laboratoires universitaires.
Source.:
blogs.mediapart.fr
