L
'apprentissage profond1 (en anglais
deep learning,
deep structured learning,
hierarchical learning) est un ensemble de méthodes d'
apprentissage automatique
tentant de modéliser avec un haut niveau d’abstraction des données
grâce à des architectures articulées de différentes transformations non
linéaires
[réf. souhaitée].
Ces techniques ont permis des progrès importants et rapides dans les
domaines de l'analyse du signal sonore ou visuel et notamment de la
reconnaissance faciale, de la
reconnaissance vocale, de la
vision par ordinateur, du
traitement automatisé du langage.
Dans les années 2000, ces progrès ont suscité des investissements
privés, universitaires et publics importants, notamment de la part du
GAFA (Google, Apple, Facebook, Amazon)
2.
Le
« deep learning » fait partie d’une famille de méthodes d'
apprentissage automatique
fondées sur l’apprentissage de modèles de données. Une observation
(comme une image) peut être représentée de différentes façons par un
vecteur de données en fonction de :
- l’intensité des pixels dont elle est constituée ;
- ses différentes arêtes ;
- les différentes régions de forme particulière ;
- etc.
Certaines représentations et une bonne capacité d'analyse automatique des différenciations
5 rendent la tâche d’apprentissage plus efficace.
Une des perspectives des techniques de l'apprentissage profond est le
remplacement de travaux qui aujourd’hui sont encore relativement
laborieux par des modèles algorithmiques d’
apprentissage supervisé,
non supervisé
(c’est-à-dire ne nécessitant pas de connaissances spécifiques du
problème étudié) ou encore par des techniques d’extraction hiérarchique
des caractéristiques.
Les recherches dans ce domaine s’efforcent de construire de
meilleures représentations du réel et de créer des modèles capables
d’apprendre ces représentations à partir de données non labellisées à
grande échelle. Certaines de ces représentations s’inspirent des
dernières avancées en neuroscience qui sont grosso modo des
interprétations du traitement de l’information et des modèles de
communication du système nerveux, de la même façon que le système
nerveux tente d’établir des connexions en fonction des messages reçus,
de la réponse neuronale consécutive et du poids des connexions entre les
neurones du cerveau.
Les différentes architectures de
« deep learning » telles que
les « deep neural networks », les « convolutional deep neural
networks », et les « deep belief network » ont des champs d’application
tels que la
vision par ordinateur, la
reconnaissance automatique de la parole, le
traitement automatique du langage naturel, la reconnaissance audio et la bioinformatique
6,7 où elles ont démontré qu’elles étaient capables de produire d’excellents résultats pour différentes problématiques.
Processeur DLU : Fujitsu promet 10 fois plus d'efficacité pour l'intelligence artificielle
Après le CPU et le GPU, voici le DLU.
Fujitsu a récemment annoncé avoir travaillé sur un processeur dédié à l’apprentissage automatique depuis 2015.
Répondant au nom de DLU (Deep Learning Unit), il optimise la gestion
des données en FP32, FP16, INT16 et INT8, la firme ayant déjà démontré
que ce type de calculs offrait d’excellents résultats, malgré une
précision moins importante. Le japonais affirme que la puce offre un
rapport performances/Watt dix fois supérieur à la concurrence.
Nouvelle architecture
L’architecture
est bâtie autour de coeurs nommés DPU (Deep Learning Processing Unit).
Le nombre exact de DPU est inconnu, mais on sait que chacun d’entre eux
intègre 16 DPE (Deep Learning Processing Element), et
chaque DPE
offre huit unités d’exécution SIMD (Single Instruction Multiple Data),
ainsi qu'un grand banc de registre au lieu d’une mémoire cache L1
traditionnelle. L’avantage de cette structure est que le banc
est complètement programmable pour plus de flexibilité. Enfin, le
package utilise une mémoire HBM2 partagée comme cache centralisé.
Les premiers DLU devraient sortir des chaînes de production l’année prochaine.
Ils serviront de coprocesseur aux CPU SPARC déjà installés dans les
supercalculateurs de Fujitsu. La firme devra aussi développer des
applications tirant parti de sa nouvelle architecture.
REF.:
