Les algorithmes sont biaisés et Facebook ne fait pas exception.

La semaine dernière, le géant de la technologie a été poursuivi par le département américain du Logement et du Développement urbain pour avoir laissé les annonceurs cibler délibérément leurs annonces par race, sexe et religion, toutes des classes protégées en vertu de la loi américaine. La société a annoncé qu’elle cesserait de l’autoriser.

Mais de nouvelles preuves montre que l’algorithme de Facebook, qui décide automatiquement à qui est présentée une annonce, effectue de toute façon la même discrimination, en diffusant des annonces à plus de deux milliards d’utilisateurs sur la base de leurs informations démographiques.

Une équipe dirigée par Muhammad Ali et Piotr Sapiezynski de l’Université Northeastern a diffusé une série d’annonces par ailleurs identiques avec de légères variations dans le budget, le titre, le texte ou l’image disponibles. Ils ont constaté que ces ajustements subtils avaient des impacts significatifs sur l’audience atteinte par chaque annonce, notamment lorsque les annonces étaient destinées à des emplois ou à l’immobilier. Les postes d’enseignants et de secrétaires préscolaires, par exemple, ont été signalés à une fraction plus élevée de femmes, tandis que les postes de concierges et de chauffeurs de taxi ont été signalés à une proportion plus élevée de minorités. Des annonces de maisons à vendre ont également été diffusées auprès d’un plus grand nombre d’utilisateurs blancs, tandis que des annonces de locations ont été diffusées à un plus grand nombre de minorités.

« Nous avons apporté des modifications importantes à nos outils de ciblage publicitaire et nous savons que ce n’est qu’une première étape », a déclaré un porte-parole de Facebook. m’a dit dans une déclaration en réponse aux conclusions. « Nous avons examiné notre système de diffusion d’annonces et avons engagé des chefs de file de l’industrie, des universitaires et des experts des droits civiques sur ce même sujet – et nous explorons d’autres changements. »

À certains égards, cela ne devrait pas être surprenant: le biais dans les algorithmes de recommandation est un problème connu depuis de nombreuses années. En 2013, par exemple, Latanya Sweeney, professeur de gouvernement et de technologie à Harvard, a publié un article qui montrait la discrimination raciale implicite de l’algorithme de diffusion d’annonces de Google. Le problème revient à la façon dont ces algorithmes fonctionnent fondamentalement. Tous sont basés sur l’apprentissage automatique, qui trouve des modèles dans des quantités massives de données et les réapplique pour prendre des décisions. Il existe de nombreuses façons dont les biais peuvent se répercuter au cours de ce processus, mais les deux plus apparents dans le cas de Facebook sont liés à des problèmes lors du cadrage des problèmes et de la collecte de données.

Un biais se produit lors du cadrage du problème lorsque l’objectif d’un modèle d’apprentissage automatique est mal aligné avec la nécessité d’éviter la discrimination. L’outil publicitaire de Facebook permet aux annonceurs de choisir parmi trois objectifs d’optimisation: le nombre de vues qu’une annonce obtient, le nombre de clics et le montant de l’engagement qu’elle reçoit, et la quantité de ventes qu’elle génère. Mais ces objectifs commerciaux n’ont rien à voir, par exemple, avec le maintien de l’égalité d’accès au logement. En conséquence, si l’algorithme découvrait qu’il pourrait gagner plus d’engagement en montrant plus de foyers d’utilisateurs blancs à l’achat, il finirait par discriminer les utilisateurs noirs.

Un biais se produit lors de la collecte des données lorsque les données de formation reflètent les préjugés existants. L’outil publicitaire de Facebook base ses décisions d’optimisation sur les préférences historiques que les gens ont démontrées. Si plus de minorités se sont engagées avec des annonces de location dans le passé, le modèle d’apprentissage automatique identifiera ce modèle et le réappliquera à perpétuité. Une fois de plus, il s’engagera aveuglément sur la voie de la discrimination en matière d’emploi et de logement – sans qu’on lui dise explicitement de le faire.

Bien que ces comportements dans l’apprentissage automatique soient étudiés depuis un certain temps, la nouvelle étude offre un aperçu plus direct de l’ampleur de son impact sur l’accès des individus au logement et aux possibilités d’emploi. « Ces découvertes sont explosives! » Christian Sandvig, directeur du Center for Ethics, Society, and Computing de l’Université du Michigan, Raconté L’économiste. «Le journal nous dit que […] les mégadonnées, utilisées de cette manière, ne peuvent jamais nous offrir un monde meilleur. En fait, il est probable que ces systèmes aggravent le monde en accélérant les problèmes mondiaux qui rendent les choses injustes. »

La bonne nouvelle est qu’il existe peut-être des moyens de résoudre ce problème, mais ce ne sera pas facile. De nombreux chercheurs en IA recherchent actuellement des correctifs techniques pour les biais d’apprentissage automatique qui pourraient créer des modèles plus équitables de publicité en ligne. Une récente papier de l’Université de Yale et de l’Indian Institute of Technology, par exemple, suggèrent qu’il peut être possible de contraindre les algorithmes pour minimiser les comportements discriminatoires, quoique à un faible coût pour les revenus publicitaires. Mais les décideurs devront jouer un plus grand rôle si les plates-formes commencent à investir dans ces correctifs, surtout si cela peut affecter leurs résultats.

Cela est apparu à l’origine dans notre newsletter AI The Algorithm. Pour le faire livrer directement dans votre boîte de réception, inscrivez-vous ici gratuitement.