percee-du-deep-learning-realisee-par-des-scientifiques-de-la-rice-university

Percée du Deep Learning réalisée par des scientifiques de la Rice University

Deep Learning breakthrough made by Rice University scientists

Agrandir (crédit: pitju / Adobe Stock )

Dans un article antérieur sur l'apprentissage en profondeur , nous avons expliqué comment les charges de travail d'inférence – l'utilisation de réseaux de neurones déjà formés pour analyser les données – peuvent fonctionner sur du matériel assez bon marché, mais l'exécution de la charge de travail de formation sur laquelle le réseau de neurones «apprend» est de l'ordre de grandeur plus cher.

En particulier, plus vous avez d'entrées potentielles dans un algorithme, plus votre problème de mise à l'échelle devient incontrôlable lors de l'analyse de son espace de problème. C'est là que MACH, un projet de recherche rédigé par Tharun Medini et Anshumali Shrivastava de l'Université Rice, entre en jeu. MACH est un acronyme pour Merged Average Classifiers via Hashing, et selon le chercheur principal Shrivastava, « [its] les temps de formation sont d'environ 7- 10 fois plus rapidement, et … les empreintes mémoire sont 2 à 4 fois plus petites  » que celles des techniques d'apprentissage approfondi à grande échelle précédentes.

En décrivant l'ampleur des problèmes de classification extrêmes, Medini se réfère aux requêtes de recherche d'achats en ligne, notant qu ' »il y a facilement plus de 100 millions de produits en ligne.  » C'est, au moins, conservateur – une société de données a affirmé qu'Amazon US a vendu seul 606 millions de produits distincts, l'ensemble de l'entreprise proposant plus de trois milliards de produits dans le monde. Une autre société estime le nombre de produits aux États-Unis à 353 millions. Medini continue, « un réseau de neurones qui prend la recherche d'entrée et prédit à partir de 100 millions de sorties, ou produits, se terminera généralement avec environ 2 000 paramètres par produit Donc, vous multipliez ceux-ci, et la couche finale du réseau neuronal est 200 milliards de paramètres. .. [and] Je parle d'un modèle de réseau neuronal simple très, très mort. « 

Lire les 6 paragraphes restants | Commentaires

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *