Tuyau d’incendie d’information: La pratique standard pour enseigner un algorithme d’apprentissage automatique est de lui donner tous les détails à la fois. Supposons que vous construisez un système de classification d’images pour reconnaître différentes espèces d’animaux. Vous lui montrez des exemples de chaque espèce et les étiquetez en conséquence: «berger allemand» et «caniche» pour chiens, par exemple.

Mais lorsqu’un parent enseigne à un enfant, l’approche est entièrement différente. Ils commencent par des étiquettes beaucoup plus larges: toute espèce de chien est tout d’abord «un chien». Ce n’est qu’après que l’enfant a appris à distinguer ces catégories plus simples que le parent les décompose en plus de détails.

Confusion dissipée: S’inspirant de cette approche, des chercheurs de l’Université Carnegie Mellon ont créé une nouvelle technique qui enseigne à un réseau de neurones de classer les choses par étapes. À chaque étape, le réseau voit les mêmes données d’entraînement. Mais les étiquettes commencent simples et larges, devenant plus spécifiques au fil du temps.

Pour déterminer cette progression de difficulté, les chercheurs ont d’abord montré au réseau neuronal les données d’entraînement avec les étiquettes détaillées finales. Ils ont ensuite calculé ce que l’on appelle une matrice de confusion, qui montre les catégories que le modèle a le plus de difficulté à distinguer. Les chercheurs l’ont utilisé pour déterminer les étapes de la formation, en regroupant les catégories les moins distinctes sous une seule étiquette dans les premiers stades et en les divisant en étiquettes plus fines à chaque itération.

Meilleure précision: Dans les tests avec plusieurs ensembles de données de classification d’images populaires, l’approche a presque toujours abouti à un modèle d’apprentissage automatique final qui a surpassé celui formé par la méthode conventionnelle. Dans le meilleur des cas, il a augmenté la précision de classification jusqu’à 7%.

Apprentissage curriculaire: Bien que l’approche soit nouvelle, l’idée derrière elle ne l’est pas. La pratique consistant à former un réseau de neurones sur des étapes de difficulté croissantes est connue sous le nom d ‘«apprentissage curriculaire» et existe depuis les années 1990. Mais les efforts d’apprentissage du programme d’études précédents se concentraient sur la présentation au réseau neuronal d’un sous-ensemble différent de données à chaque étape, plutôt que les mêmes données avec des étiquettes différentes. La dernière approche a été présenté par la co-auteure du journal Otilia Stretcu à la Conférence internationale des représentations de l’apprentissage la semaine dernière.

Pourquoi est-ce important: Aujourd’hui, la grande majorité des recherches approfondies mettent l’accent sur la taille des modèles: si un système de classification d’images a du mal à distinguer différents objets, cela signifie qu’il n’a pas été formé sur suffisamment d’exemples. Mais en empruntant un aperçu de la façon dont les humains apprennent, les chercheurs ont trouvé une nouvelle méthode qui leur a permis d’obtenir de meilleurs résultats avec exactement les mêmes données d’entraînement. Il suggère un moyen de créer des algorithmes d’apprentissage plus efficaces en termes de données.