Une loi de Moore pour l’intelligence artificielle ? Selon OpenAI, les algorithmes d’IA suivent une courbe d’évolution

Elle pourrait être décrite comme l’évolution prévue par la loi de Moore.

L’intelligence artificielle (IA) a connu de grandes avancées au cours de ces dernières années, les algorithmes s’améliorant chaque année.

Selon les travaux d’OpenAI, l’organisation sans but lucratif dédiée à l’intelligence artificielle (IA) fondée par Elon Musk et Sam Altman, les algorithmes de l’IA suivent une courbe d’évolution qui pourrait être décrite comme l’évolution prévue par la loi de Moore pour le nombre de transistors dans un circuit intégré. Alors, existe-t-il une loi de Moore équivalente pour les algorithmes permettant de suivre les progrès de l’IA ?

Gordon Moore est le cofondateur d’Intel. En 1965, il a affirmé dans son article fondateur que le nombre de transistors dans un circuit intégré doublerait chaque année, ce qui est connu sous le nom de loi de Moore. Aujourd’hui, 50 ans après cette déclaration, même si beaucoup de personnes pensent que la loi de Moore est mourante, les processeurs d’Intel sont en mesure de fournir 3500 fois plus de performances que ce qu’ils pouvaient fournir dans leur version de 1965. Jusque-là, aucune autre technologie ne s’est améliorée en suivant un tel rythme.

L’évolution très rapide des processeurs a donné naissance à un sous-produit, l’intelligence artificielle qui est devenue peu à peu un domaine à part entière. Les progrès de l’algorithmique ont également progressé à un rythme qui résonne avec le succès des circuits intégrés. Cependant, il n’y a pas une mesure globale pour mesurer l’innovation algorithmique. D’après les observations d’OpenAI, les paramètres sont généralement mesurés en fonction de la précision ou d’une note. Elle s’est alors intéressée à ce sujet, mais sous un aspect particulier : « l’efficacité algorithmique ».

« L’amélioration de l’algorithme est un facteur clé de la progression de l’IA. Il est important de rechercher des mesures qui mettent en lumière les progrès algorithmiques globaux, même s’il est plus difficile de mesurer de telles tendances en informatique », a écrit OpenAI dans un rapport. Elle a étudié les récents succès de l’IA et a recommandé quelques mesures qui peuvent avoir un impact ses progrès. Mais avant, elle a d’abord identifié les facteurs qui rendent difficile la création d’une mesure pouvant permettre de suivre les progrès globaux de l’intelligence artificielle.

Voici les différents points qu’OpenAI a évoqués dans son rapport :

• il n’est pas pratique de faire une telle analyse pour un apprentissage profond, car l’on cherche des solutions approximatives ;
• les performances sont souvent mesurées dans différentes unités (précision, BLEU, perte d’entropie croisée, etc.) et les gains sur de nombreux paramètres sont difficiles à interpréter ;
• les problèmes sont uniques et leurs difficultés ne sont pas comparables sur le plan quantitatif, de sorte que l’évaluation nécessite de se faire une idée de chaque problème ;
• la plupart des recherches se concentrent sur la communication des améliorations globales des performances plutôt que sur les améliorations de l’efficacité, de sorte que des travaux supplémentaires sont nécessaires pour démêler les gains dus à l’efficacité algorithmique des gains dus aux calculs supplémentaires ;
• le rythme auquel les nouveaux critères de référence sont résolus aggrave le problème.

Pour réaliser leur étude, les auteurs du rapport, Danny Hernandez et Tom Brown d’OpenAI, se sont fondés sur la classification d’images à partir d’ImageNet, une base de données d’images à l’endroit de la recherche dans le domaine de la vision par ordinateur. Hernandez et Brown ont constaté qu’entre 2012 et 2020, la quantité de calculs nécessaires pour former un réseau neuronal à la même performance sur la classification ImageNet1 a diminué d’un facteur 2 tous les 16 mois. Ce résultat est dû au différentiel mesuré entre EfficientNet et AlexNet, deux réseaux de neurones convolutionnels.

En effet, comparativement à 2012, il faut désormais 44 fois moins de calculs pour former un réseau neuronal au niveau d’AlexNet, alors que la loi de Moore permettrait seulement une amélioration des coûts de 11 fois sur cette période. Selon les auteurs du rapport, les résultats suggèrent que pour les tâches de l’IA nécessitant des investissements récents importants, les progrès algorithmiques ont permis de réaliser des gains qui sont plus importants que l’efficacité du matériel classique. Cette recherche sonde la notion communément admise de progrès rapide dans l’IA.

Intel a fondé son succès sur les fondements de la loi de Moore. Cela a révolutionné la vie d’aujourd’hui. Selon les analystes, si les algorithmes sont présentés en termes d’efficacité, il serait alors facile pour toutes les personnes qui sont impliquées, des développeurs aux décideurs politiques, de prendre des décisions. Par exemple, une augmentation de l’efficacité algorithmique pourrait se traduire par davantage d’expériences. De même, les gouvernements seront encouragés à financer la recherche sur l’IA s’ils comprennent de quoi il s’agit.

Les chercheurs d’OpenAI estiment que la mesure des progrès globaux accélérera la recherche future en matière d’IA d’une manière qui s’apparente à une augmentation des calculs. Enfin, il ressort de cette étude que l’efficacité est une grandeur simple à mesurer parce qu’elle ne représente qu’une tranche significative des courbes d’apprentissage générées par le biais de toutes les expériences. En outre, elle montre aussi que les tâches d’IA avec des niveaux d’investissement élevés (temps et argent) peuvent conduire à une efficacité algorithmique dépassant les gains d’efficacité matérielle (loi de Moore).

Lire aussi : L’intelligence artificielle évolue pour traiter le monde comme les humains

Sources : Developpez – OpenAI, Rapport de l’étude (pdf)