L'apprentissage profond1 (en anglais deep learning, deep structured learning, hierarchical learning) est un ensemble de méthodes d'apprentissage automatique
tentant de modéliser avec un haut niveau d’abstraction des données
grâce à des architectures articulées de différentes transformations non
linéaires[réf. souhaitée].
Ces techniques ont permis des progrès importants et rapides dans les
domaines de l'analyse du signal sonore ou visuel et notamment de la reconnaissance faciale, de la reconnaissance vocale, de la vision par ordinateur, du traitement automatisé du langage.
Dans les années 2000, ces progrès ont suscité des investissements
privés, universitaires et publics importants, notamment de la part du
GAFA (Google, Apple, Facebook, Amazon)2.
Le « deep learning » fait partie d’une famille de méthodes d'apprentissage automatique fondées sur l’apprentissage de modèles de données. Une observation (comme une image) peut être représentée de différentes façons par un vecteur de données en fonction de :
Une des perspectives des techniques de l'apprentissage profond est le remplacement de travaux qui aujourd’hui sont encore relativement laborieux par des modèles algorithmiques d’apprentissage supervisé, non supervisé (c’est-à-dire ne nécessitant pas de connaissances spécifiques du problème étudié) ou encore par des techniques d’extraction hiérarchique des caractéristiques.
Les recherches dans ce domaine s’efforcent de construire de meilleures représentations du réel et de créer des modèles capables d’apprendre ces représentations à partir de données non labellisées à grande échelle. Certaines de ces représentations s’inspirent des dernières avancées en neuroscience qui sont grosso modo des interprétations du traitement de l’information et des modèles de communication du système nerveux, de la même façon que le système nerveux tente d’établir des connexions en fonction des messages reçus, de la réponse neuronale consécutive et du poids des connexions entre les neurones du cerveau.
Les différentes architectures de « deep learning » telles que les « deep neural networks », les « convolutional deep neural networks », et les « deep belief network » ont des champs d’application tels que la vision par ordinateur, la reconnaissance automatique de la parole, le traitement automatique du langage naturel, la reconnaissance audio et la bioinformatique6,7 où elles ont démontré qu’elles étaient capables de produire d’excellents résultats pour différentes problématiques.
L’architecture
est bâtie autour de coeurs nommés DPU (Deep Learning Processing Unit).
Le nombre exact de DPU est inconnu, mais on sait que chacun d’entre eux
intègre 16 DPE (Deep Learning Processing Element), et chaque DPE
offre huit unités d’exécution SIMD (Single Instruction Multiple Data),
ainsi qu'un grand banc de registre au lieu d’une mémoire cache L1
traditionnelle. L’avantage de cette structure est que le banc
est complètement programmable pour plus de flexibilité. Enfin, le
package utilise une mémoire HBM2 partagée comme cache centralisé.
Les premiers DLU devraient sortir des chaînes de production l’année prochaine. Ils serviront de coprocesseur aux CPU SPARC déjà installés dans les supercalculateurs de Fujitsu. La firme devra aussi développer des applications tirant parti de sa nouvelle architecture.
REF.:
Le « deep learning » fait partie d’une famille de méthodes d'apprentissage automatique fondées sur l’apprentissage de modèles de données. Une observation (comme une image) peut être représentée de différentes façons par un vecteur de données en fonction de :
- l’intensité des pixels dont elle est constituée ;
- ses différentes arêtes ;
- les différentes régions de forme particulière ;
- etc.
Une des perspectives des techniques de l'apprentissage profond est le remplacement de travaux qui aujourd’hui sont encore relativement laborieux par des modèles algorithmiques d’apprentissage supervisé, non supervisé (c’est-à-dire ne nécessitant pas de connaissances spécifiques du problème étudié) ou encore par des techniques d’extraction hiérarchique des caractéristiques.
Les recherches dans ce domaine s’efforcent de construire de meilleures représentations du réel et de créer des modèles capables d’apprendre ces représentations à partir de données non labellisées à grande échelle. Certaines de ces représentations s’inspirent des dernières avancées en neuroscience qui sont grosso modo des interprétations du traitement de l’information et des modèles de communication du système nerveux, de la même façon que le système nerveux tente d’établir des connexions en fonction des messages reçus, de la réponse neuronale consécutive et du poids des connexions entre les neurones du cerveau.
Les différentes architectures de « deep learning » telles que les « deep neural networks », les « convolutional deep neural networks », et les « deep belief network » ont des champs d’application tels que la vision par ordinateur, la reconnaissance automatique de la parole, le traitement automatique du langage naturel, la reconnaissance audio et la bioinformatique6,7 où elles ont démontré qu’elles étaient capables de produire d’excellents résultats pour différentes problématiques.
Processeur DLU : Fujitsu promet 10 fois plus d'efficacité pour l'intelligence artificielle
Après le CPU et le GPU, voici le DLU.
Fujitsu a récemment annoncé avoir travaillé sur un processeur dédié à l’apprentissage automatique depuis 2015.
Répondant au nom de DLU (Deep Learning Unit), il optimise la gestion
des données en FP32, FP16, INT16 et INT8, la firme ayant déjà démontré
que ce type de calculs offrait d’excellents résultats, malgré une
précision moins importante. Le japonais affirme que la puce offre un
rapport performances/Watt dix fois supérieur à la concurrence.
Nouvelle architecture
L’architecture
est bâtie autour de coeurs nommés DPU (Deep Learning Processing Unit).
Le nombre exact de DPU est inconnu, mais on sait que chacun d’entre eux
intègre 16 DPE (Deep Learning Processing Element), et chaque DPE
offre huit unités d’exécution SIMD (Single Instruction Multiple Data),
ainsi qu'un grand banc de registre au lieu d’une mémoire cache L1
traditionnelle. L’avantage de cette structure est que le banc
est complètement programmable pour plus de flexibilité. Enfin, le
package utilise une mémoire HBM2 partagée comme cache centralisé.Les premiers DLU devraient sortir des chaînes de production l’année prochaine. Ils serviront de coprocesseur aux CPU SPARC déjà installés dans les supercalculateurs de Fujitsu. La firme devra aussi développer des applications tirant parti de sa nouvelle architecture.
REF.:
