Par C. THI NGUYEN
Traduction de l’article The Limits of Data, dans le VOL. XL, NO. 2, WINTER 2024 de la revue ISSUES
« Data is powerful because it’s universal. The cost is context.«
Je me suis un jour retrouvé dans une pièce avec un groupe de spécialistes du machine learning qui développaient une intelligence artificielle créative pour produire du « bon art ». J’ai interrogé l’un des chercheurs sur les données utilisées pour l’entraînement. Comment avaient-ils choisi d’opérationnaliser le « bon art » ? Leur réponse : ils avaient utilisé les données Netflix sur le temps passé à regarder des contenus.
Le problème, c’est que le temps passé à regarder n’est pas synonyme de bonne œuvre d’art. L’art peut être important pour nous de nombreuses façons. Il peut nous émouvoir, nous apprendre des choses, nous bouleverser profondément. Mais ces qualités ne se mesurent pas nécessairement en nombre d’heures passées à regarder. Si nous optimisons nos outils créatifs en fonction du temps passé à regarder, nous risquons d’optimiser davantage l’addiction que toute autre chose. J’ai dit tout cela. Ils ont répondu : montrez-moi un grand ensemble de données avec une meilleure opérationnalisation du « bon art », nous l’utiliserons. Et c’est là le problème central, car il est très improbable qu’un tel ensemble de données existe un jour.
À l’heure actuelle, le langage de l’élaboration des politiques est celui des données. (Je parle ici des « données » en tant que concept, et non en tant que mesures particulières.) Les agences gouvernementales, les entreprises et les autres décideurs politiques veulent tous prendre des décisions basées sur des données claires concernant des résultats positifs. Ils veulent réussir sur le plan des mesures, c’est-à-dire réussir en termes clairs, objectifs et compréhensibles par le public. Mais les mesures et les données sont incomplètes de par leur nature même. Toutes les méthodes de collecte de données sont limitées et tous les ensembles de données sont filtrés.
Certaines choses très importantes ne sont pas prises en compte dans les données. Il est plus facile de justifier les décisions en matière de soins de santé en termes de résultats mesurables : augmentation de la longévité moyenne ou augmentation du nombre de vies sauvées dans les services d’urgence, par exemple. Mais il existe de nombreux facteurs importants qui sont beaucoup plus difficiles à mesurer : le bonheur, la communauté, la tradition, la beauté, le confort et toutes les singularités qui composent la « qualité de vie ».
Prenons, par exemple, une proposition politique selon laquelle les médecins devraient inciter leurs patients à réduire considérablement leur consommation de graisses saturées. Cela devrait conduire à de meilleurs résultats en matière de santé, du moins pour ceux qui sont plus faciles à mesurer : le nombre de crises cardiaques et la longévité moyenne. Mais l’accent mis sur les résultats faciles à mesurer diminue souvent l’importance d’autres conséquences en aval : la perte des traditions culinaires, la déconnexion d’un patrimoine culinaire et la réduction du plaisir culinaire quotidien. Il est facile de rejeter ces éléments comme étant « intangibles ». Mais en réalité, quoi de plus tangible qu’un bon fromage ou une joyeuse soirée fondue entre amis ?
Il est tentant d’utiliser le terme intangible lorsque nous voulons en réalité dire que ces éléments sont difficiles à quantifier dans notre environnement institutionnel moderne avec les outils de mesure utilisés par les systèmes bureaucratiques modernes. L’écart entre la réalité et ce qui est facile à mesurer est omniprésent. Prenons l’exemple de l’analyse coûts-avantages, qui est censée être une procédure objective – et donc irréprochable – pour prendre des décisions en calculant les coûts financiers attendus et les avantages financiers attendus. Mais ce processus est fortement limité par les types d’informations sur les coûts qui sont faciles à recueillir. Il est relativement simple de fournir des données pour étayer les affirmations selon lesquelles un nouveau viaduc pourrait contribuer à fluidifier la circulation, permettre aux gens de se rendre plus rapidement au travail et attirer davantage d’entreprises dans le centre-ville. Il est plus difficile de produire des données à l’appui d’affirmations selon lesquelles le viaduc pourrait nuire à la beauté d’une ville, ou que le bruit pourrait affecter le bien-être des citoyens, ou encore qu’un mur séparant les quartiers pourrait éroder la communauté. Du point de vue politique, tout ce qui est difficile à mesurer peut commencer à disparaître de la vue.
Un optimiste pourrait espérer contourner ces problèmes grâce à de meilleures données et mesures. Ce que je veux montrer ici, c’est que ces limites des données ne sont pas le fruit du hasard. La méthodologie de base des données, telles qu’elles sont collectées par des institutions réelles obéissant aux forces réelles de l’économie et de l’échelle, omet systématiquement certains types d’informations. Les grands ensembles de données ne sont pas neutres et ne sont pas exhaustifs. Il existe des limites profondes à ce que les grands ensembles de données peuvent capturer.
La méthodologie de base des données, telles qu’elles sont collectées par des institutions réelles obéissant aux forces réelles de l’économie et de l’échelle, omet systématiquement certains types d’informations.
Je ne parle pas seulement des contingences des préjugés sociaux. Il est évident que les ensembles de données sont mauvais lorsque les procédures de collecte sont biaisées par un suréchantillonnage en fonction de la race, du sexe ou de la richesse. Mais même si les analystes peuvent corriger ce type de biais, il existe d’autres biais intrinsèques intégrés dans la méthodologie des données. Les techniques de collecte de données doivent être reproductibles à grande échelle. Elles nécessitent des catégories standardisées. La reproductibilité et la standardisation rendent les méthodes basées sur les données puissantes, mais cette puissance a un prix. Elle limite les types d’informations que nous pouvons collecter.
Un petit groupe de chercheurs s’est penché sur cette question, principalement dans le domaine des études scientifiques et technologiques, un domaine interdisciplinaire axé sur le fonctionnement de la science qui mène des études en philosophie, histoire, anthropologie, sociologie, etc. Ces travaux permettent de comprendre les limites intrinsèques du processus de collecte de données et du contenu des grands ensembles de données. Et ces limites ne sont pas le fruit du hasard ou de mauvaises politiques. Elles sont inhérentes à la nature même des données. Les données sont censées être cohérentes et stables dans tous les contextes. La méthodologie des données exige de laisser de côté certaines de nos façons plus sensibles et dynamiques de comprendre le monde afin d’atteindre cette stabilité.
Ces limites sont particulièrement préoccupantes lorsque nous réfléchissons à la réussite, aux objectifs, aux buts et aux résultats. Lorsque les actions doivent être justifiées par le langage des données, les limites inhérentes à la collecte de données deviennent des limites aux valeurs humaines. Et je ne m’inquiète pas seulement des incitations perverses et des situations dans lesquelles des acteurs malveillants manipulent les indicateurs. Je crains qu’une importance excessive accordée aux données puisse induire en erreur même les décideurs politiques les mieux intentionnés, qui ne se rendent pas compte que l’exigence d’« objectivité » – dans ce sens très spécifique et institutionnel – les conduit à ignorer systématiquement une partie cruciale du monde.
DÉCONTEXTUALISATION
Tous les types de connaissances et tous les types de compréhension ne peuvent pas être considérés comme des informations et des données. L’historien de la quantification Theodore Porter décrit l’« information » comme une forme de « communication entre des personnes qui ne se connaissent pas et qui n’ont donc aucune base personnelle pour une compréhension commune ». En d’autres termes, l’« information » a été préparée pour être comprise par des étrangers éloignés. L’exemple le plus clair de ce type d’information est la donnée quantitative. Les données ont été conçues pour être collectées à grande échelle et agrégées. Les données doivent pouvoir être collectées et échangées entre différentes personnes dans tous types de contextes, avec tous types de parcours. Les données sont portables, ce qui les rend particulièrement puissantes. Mais cette portabilité a un prix caché : pour transformer notre compréhension et nos observations en données, nous devons procéder à une décontextualisation.
Les données doivent pouvoir être collectées et échangées entre différentes personnes dans tous types de contextes, avec tous types de parcours.
Un exemple simple est la notation. Je suis professeur de philosophie. Je donne deux évaluations pour chaque dissertation d’étudiant : l’une est une évaluation qualitative longue et détaillée (paragraphes de commentaires écrits) et l’autre est une note alphabétique (une évaluation quantitative). L’évaluation quantitative peut facilement circuler entre les institutions. Différentes personnes peuvent saisir des données dans le même système, ce qui permet de générer facilement des agrégats et des moyennes, par exemple la moyenne pondérée cumulative de l’étudiant. Mais pensez à tout ce qui est retiré de l’évaluation pour permettre cette noyau portable et agrégable.
Les évaluations qualitatives peuvent être flexibles et réactives et s’appuyer sur une histoire commune. Je peux adapter mon évaluation écrite aux objectifs de l’étudiant. Si un devoir cherche à être original, je peux commenter son originalité. Si un devoir cherche à expliquer précisément un passage d’Aristote, je peux l’évaluer en fonction de la rigueur de son argumentation. Si un étudiant souhaite devenir journaliste, je peux me concentrer sur la qualité de son écriture. Si un étudiant en soins infirmiers s’intéresse aux applications concrètes des théories éthiques, je peux répondre en conséquence. Plus important encore, je peux m’appuyer sur notre contexte commun. Je peux dire des choses qui pourraient sembler obscures à un observateur extérieur, car l’étudiant et moi avons passé du temps ensemble en classe, nous avons discuté pendant des heures de philosophie, de pensée critique et d’écriture, et j’ai une idée de ce que veut et de ce dont a besoin un étudiant en particulier. Je peux fournir des réponses plus subtiles, complexes et multidimensionnelles. Mais contrairement à une note alphabétique, ces évaluations écrites sont difficiles à transmettre à des administrateurs, des doyens et des services de recrutement éloignés.
La quantification, telle qu’elle est utilisée dans les institutions du monde réel, fonctionne en supprimant les informations sensibles au contexte. Le processus de quantification est conçu pour produire des informations hautement transférables, comme une note alphabétique. Les notes alphabétiques peuvent être comprises par tout le monde ; elles sont faciles à transmettre. Une note alphabétique est un classement simple sur un spectre unidimensionnel. Une fois qu’une institution a créé ce noyau stable et invariant dans le contexte, elle peut facilement agréger ce type d’informations, pour les étudiants, pour les cohortes d’étudiants, pour des universités entières. Une pile d’informations qualitatives, sous la forme de milliers de commentaires écrits, par exemple, ne peut pas être agrégée. Elle est difficile à manier, voire inutilisable, pour l’administrateur, le responsable des admissions à la faculté de droit ou le futur employeur, à moins qu’elle n’ait été transformée et décontextualisée.
Voici donc le premier principe des données : la collecte de données implique un compromis. Nous gagnons en portabilité et en agrégabilité au prix de la sensibilité au contexte et des nuances. Que manque-t-il aux données ? Les données sont conçues pour être utilisables et compréhensibles par des personnes très différentes, issues de contextes et d’horizons très divers. Les procédures de collecte de données ont donc tendance à filtrer les informations fortement liées au contexte. Cela dépend en grande partie des personnes autorisées à saisir les données et des destinataires de ces données. Les données produites par et pour des spécialistes en médecine légale, par exemple, peuvent s’appuyer sur un bagage technique commun, à défaut de détails spécifiques au travail dans un lieu ou une communauté particuliers.
Les cas les plus évidents de décontextualisation concernent la transparence publique, où les indicateurs basés sur des données doivent être compréhensibles par tous. La sociologue Jennifer Lena fournit un excellent exemple tiré de l’histoire du financement des arts. Évaluer quels projets artistiques sont intéressants et méritent d’être financés nécessite une expertise spécifique considérable. Pour déterminer ce qui est original, créatif et marquant, il faut connaître en profondeur le médium et le genre en question, qu’il s’agisse de cinéma, de bandes dessinées ou d’art performatif avant-gardiste. Et il n’existe pas vraiment d’expertise générique en matière de critique artistique. Être expert en jazz ne vous donne aucune idée de ce qui est passionnant dans le monde des jeux vidéo indépendants.
Mais les indicateurs de transparence ont tendance à éviter de s’appuyer sur une expertise spécialisée, précisément parce que cette expertise n’est pas accessible au grand public. Lena écrit que lorsque le Congrès s’est inquiété de la possibilité de népotisme et de corruption dans les décisions de financement du National Endowment for the Arts, il a imposé un régime de responsabilité qui a écarté l’expertise au profit d’un indicateur simple et compréhensible par le public : les ventes de billets. Le problème est évident : le statut de blockbuster n’est pas une mesure de la qualité artistique. Mais les ventes de billets sont faciles à mesurer, à agréger et à comprendre à grande échelle.
Plus la base d’utilisateurs des données est large, plus les données doivent être décontextualisées. L’ouvrage phare de Theodore Porter, Trust in Numbers, donne un bel exemple tiré d’une histoire de la mesure des terres compilée par Witold Kula, économiste polonais du début du XXe siècle. Les anciennes mesures des terres étaient souvent liées à leur productivité. Par exemple, un « hide » de terre correspondait à la superficie nécessaire pour subvenir aux besoins d’une famille moyenne. Ces mesures sont incroyablement riches en informations fonctionnelles. Mais elles nécessitaient une grande expertise sur le terrain et une connaissance approfondie du contexte. L’évaluateur foncier devait comprendre la fertilité du sol, le nombre de poissons dans les rivières et de cerfs dans les bois, et dans quelle mesure tout cela pouvait changer en cas de sécheresse. Ces mesures ne sont pas utilisables ni évaluables par des bureaucrates et des gestionnaires éloignés. Les sociétés ont tendance à abandonner ces mesures et à passer des hides aux acres lorsqu’elles passent d’une gouvernance locale décentralisée à de grandes bureaucraties centralisées. Les exigences en matière de données — et certainement les données à grande échelle — sont en tension avec l’opacité de l’expertise et de la sensibilité hautement locales. Ce type de conscience locale est généralement remplacé par des mesures mécaniquement reproductibles dans le cadre du passage à une bureaucratie à plus grande échelle.
Plus la base d’utilisateurs des données est large, plus les données doivent être décontextualisées.
Derrière ces changements se cache la pression d’être objectif d’une manière très particulière. Le terme « objectif » a de nombreuses significations différentes. Parfois, lorsque nous disons que quelque chose est « objectif », nous voulons dire qu’il est précis ou impartial. Mais d’autres fois, nous demandons une transformation sociale très spécifique de nos processus afin qu’ils s’adaptent à notre vie institutionnelle. Nous demandons une objectivité mécanique, c’est-à-dire qu’une procédure soit reproductible par n’importe qui (ou par toute personne ayant suivi une formation professionnelle donnée), avec à peu près les mêmes résultats. La quantification institutionnelle est conçue pour soutenir des procédures qui peuvent être exécutées par des employés interchangeables.
Cette objectivité mécanique est devenue centrale dans la vie institutionnelle contemporaine. Il est facile d’oublier que l’objectivité mécanique n’est pas tout. Les gens supposent souvent, par exemple, que si vous avez une objectivité mécanique, vous avez alors la précision, mais ce sont deux choses différentes. Un jugement précis permet d’aller à l’essentiel. Mais la méthodologie qui conduit aux jugements les plus précis n’est pas forcément applicable à grande échelle. Prenons, par exemple, la norme juridique permettant d’inculper une personne pour conduite en état d’ivresse lorsque son taux d’alcoolémie est de 0,08 %. Ce n’est pas le critère le plus fiable pour évaluer ce qui importe vraiment, à savoir l’état d’ébriété au point d’entraver les facultés. Il s’avère que certaines personnes ont leurs facultés affaiblies à des taux d’alcoolémie plus faibles, et d’autres à des taux plus élevés. Mais il est très difficile de trouver une procédure évolutive et reproductible pour juger de l’affaiblissement des facultés. Nous utilisons donc la norme de 0,08 % d’alcoolémie, car toute personne disposant d’un éthylotest peut l’appliquer avec des résultats approximativement identiques.
Considérons également la relation entre la notion complexe d’« âge adulte » et la notion plus mécanique d’« âge légal ». Le droit de vote, la capacité à donner son consentement et tous les autres droits associés à l’âge adulte devraient probablement être liés à la maturité intellectuelle et émotionnelle. Mais il n’existe aucun moyen mécanique objectif d’évaluer cela. Certaines personnes peuvent être douées pour évaluer la maturité intellectuelle et émotionnelle, en particulier chez celles qu’elles connaissent bien. Mais ces procédures ne sont pas reproductibles. C’est pourquoi des pays comme les États-Unis lient le droit de vote à une norme très simple, à savoir l’âge de 18 ans, afin d’atteindre une objectivité mécanique.
L’historienne Lorraine Daston l’explique ainsi : les anciennes formes de règles laissaient souvent une grande marge de manœuvre et de jugement. Mais au cours des derniers siècles, les jugements complexes ont été remplacés par des règles claires et explicites, qu’elle appelle « règles algorithmiques ». Au départ, l’algorithmisation n’avait pas pour but de rendre les informations calculables par des machines, mais plutôt de réduire le coût de la main-d’œuvre, en remplaçant des spécialistes hautement qualifiés par des travailleurs peu qualifiés et remplaçables, capables d’exécuter simplement un ensemble de règles explicites. Le problème, selon Daston, est que les ensembles de règles explicites et mécaniques ne fonctionnent bien que lorsque le contexte ne change pas beaucoup.
La première leçon, encore une fois, est que les données impliquent un compromis. La puissance des données réside dans le fait qu’elles peuvent être collectées par de nombreuses personnes et formatées pour être transmises et agrégées. Le processus de portabilité des données exclut également les modes de compréhension sensibles, locaux ou hautement contextuels. En transformant la compréhension en données, nous éliminons ou réduisons généralement les méthodes d’évaluation qui nécessitent une expérience significative ou un jugement discrétionnaire au profit de méthodes hautement reproductibles et mécaniques. Et si les décideurs politiques insistent pour fonder leur politique sur des ensembles de données publiques à grande échelle, ils filtrent alors systématiquement la discrétion, la sensibilité et l’expérience contextuelle de leur processus décisionnel.
LA POLITIQUE DE LA CLASSIFICATION
Les efforts de collecte de données nécessitent une classification, qui constitue un deuxième type de filtre. Imaginez un formulaire de recensement américain où chacun inscrirait simplement dans un espace vide son identité raciale, selon ses propres termes. Il serait impossible d’agréger facilement ces données. Les collecteurs doivent trier les informations dans des catégories préétablies pour permettre leur agrégation. Il existe donc des catégories distinctes — blanc, noir, amérindien, asiatique et, dans le dernier recensement, « deux ou plus » — qui organisent un spectre complexe en un ensemble discret de segments. Soit nous trions au préalable les réponses des personnes dans ces catégories en les obligeant à choisir parmi une liste limitée, soit nous les classons a posteriori en codant leurs réponses libres.
Geoffrey Bowker, spécialiste en informatique, et Susan Leigh Star, spécialiste en études scientifiques, proposent une analyse approfondie de ces pressions dans Sorting Things Out: Classification and its Consequences, leur histoire politique des systèmes de classification. Les catégories établies par les collecteurs de données constituent une sorte d’oubli intentionnel et institutionnel. Le classement des informations en catégories met l’accent sur les informations situées aux frontières, par exemple la différence entre les Blancs et les Asiatiques, et stocke ces informations. Mais ces catégories agissent également comme un filtre ; elles ne stockent pas les informations à l’intérieur des catégories. Les catégories du recensement américain, par exemple, éludent la différence entre les Coréens, les Chinois, les Philippins, les Khmers et bien d’autres encore, qui sont tous regroupés sous la catégorie « Asiatiques ». Ce regroupement est nécessaire, selon Bowker et Star : le processus de classification est conçu pour réduire la complexité écrasante du monde à quelque chose de plus gérable, de plus facile à traiter pour les individus et les institutions dont la capacité de stockage et d’attention est limitée. Les systèmes de classification décident à l’avance ce qu’il faut retenir et ce qu’il faut oublier.
Tous les systèmes de classification sont le résultat de processus politiques et sociaux, qui impliquent des décisions sur ce qui mérite d’être retenu et ce que nous pouvons nous permettre d’oublier.
Mais ces catégories ne sont pas neutres. Tous les systèmes de classification sont le résultat de processus politiques et sociaux, qui impliquent des décisions sur ce qui mérite d’être retenu et ce que nous pouvons nous permettre d’oublier. Certaines de ces contraintes sont simplement pratiques. Selon Bowker et Star, la collecte des données sur la mortalité précoce était limitée par la taille maximale de certains formulaires : il ne pouvait y avoir plus de causes de décès que de lignes dans le formulaire standard. Et il est très difficile d’ajouter de nouvelles causes de décès au système de collecte de données, car cela impliquerait de convaincre des centaines de bureaux nationaux de collecte de données de modifier tous leurs formulaires de déclaration de décès.
Voici le deuxième principe : chaque système de classification représente les intérêts d’un groupe. Ces intérêts sont souvent révélés par les domaines dans lesquels un système de classification est très précis et ceux dans lesquels il ne l’est pas. Par exemple, la Classification internationale des maladies (CIM) est un système mondial standardisé de classification des maladies qui est utilisé, entre autres, pour collecter des statistiques sur la mortalité. Sans un système centralisé et standardisé, les données collectées par les différents bureaux ne peuvent pas être agrégées. Mais la CIM présente une granularité très variable. Elle comporte des catégories distinctes pour les accidents impliquant une chute depuis un équipement de terrain de jeu, une chute depuis une chaise, une chute depuis un fauteuil roulant, une chute depuis un lit et une chute depuis une chaise percée. Mais elle ne comporte que deux catégories pour les chutes dans la nature : la chute depuis une falaise et une catégorie « autres chutes » qui regroupe toutes les autres chutes, y compris, dans son exemple, les chutes depuis des talus, des meules de foin et des arbres. L’ICD s’intéresse manifestement beaucoup plus à l’enregistrement des types d’accidents qui peuvent arriver aux personnes dans un environnement urbain industriel que dans un environnement rural, notent Bowker et Star. Le système de classification de l’ICD sert les intérêts de certaines personnes plutôt que d’autres.
Les systèmes de classification décident à l’avance ce qu’il faut retenir et ce qu’il faut oublier. Ce n’est pas mauvais en soi, affirment Bowker et Star. L’agrégation des données nécessite un tel filtrage. Le problème survient lorsque les utilisateurs des données oublient que les catégories sont des inventions sociales créées dans un but précis. Lorsque ces systèmes de classification entrent dans une infrastructure d’information, ils deviennent invisibles ; ils font partie de la structure opérationnelle de fond de notre monde. Les gens commencent à supposer que les catégories « asiatique », « blanc » et « noir » sont naturelles, et ces suppositions remodèlent discrètement le monde dans lequel nous vivons.
Les intérêts politiques façonnent les systèmes de classification, et les systèmes de classification façonnent tous les efforts institutionnels de collecte de données. Le gouvernement collecte des données sur le lieu de résidence des citoyens, leurs revenus et les biens qu’ils possèdent. Les chaînes de supermarchés collectent des informations sur ce que les consommateurs achètent et quand. Les compagnies d’assurance maladie collectent des informations sur le rythme cardiaque, la température et le diagnostic médical officiel de la personne assurée chaque fois que celle-ci a un contact officiel avec des établissements médicaux. Chacune de ces institutions utilise une infrastructure d’information, qui est mise en place pour enregistrer des types d’informations très spécifiques, mais qui rend également difficile l’enregistrement de toute autre information.
Parfois, les infrastructures d’information offrent un espace pour des notes non structurées. Lorsque je saisis mes notes dans la base de données de l’école, je dispose d’une petite case vide pour d’autres notes. Les informations sont collectées dans un certain sens, mais elles ne circulent pas vraiment bien ; elles ne sont pas agrégées. Le système agrège selon les critères de classification pour lesquels il a été préparé. Je peux fournir au système des informations contextuelles importantes, mais le système d’agrégation les filtrera généralement ; elles ne sont plus très visibles lorsque les décideurs de haut niveau obtiennent leurs repères et leurs indicateurs. Les informations non structurées ne sont pas lisibles pour l’institution. Nous qui saisissons des informations dans les systèmes de données, nous pouvons souvent ressentir leurs limites, alors nous essayons d’ajouter de la richesse et de la texture, que le système collecte nominalement, puis ignore fonctionnellement.
Les efforts de collecte de données ne sont ni neutres ni complets. Ils mettent l’accent sur un type particulier de connaissances formatées d’une manière particulière, ce qui permet aux données de passer facilement d’un contexte à l’autre, d’être collectées par toutes sortes de personnes différentes pour être utilisées à grande échelle. Cette évolutivité, cette indépendance par rapport au contexte, a un coût. La méthodologie de collecte de données tend à filtrer les informations personnelles, intimes et les connaissances particulières.
MESURES ET VALEURS
Les conséquences de ce nettoyage sont peut-être plus évidentes dans le cas des mesures et autres objectifs basés sur les données. Prenons l’exemple des mesures de transparence. J’ai soutenu que les programmes de transparence ont un coût évident ; la transparence est une forme de surveillance. La transparence publique exige que le raisonnement et les actions des acteurs institutionnels soient évalués par le public, à l’aide de mesures compréhensibles par celui-ci. Mais cela lie le raisonnement des experts à ce que le public peut comprendre, sapant ainsi leur expertise. Cela est particulièrement problématique dans les cas où l’évaluation du succès dépend d’une compréhension spécialisée. La demande de transparence publique tend à éliminer l’expertise approfondie du système. Les systèmes de transparence ont tendance à éviter les méthodes d’évaluation qui exigent une expertise et une sensibilité, et préfèrent plutôt des normes simples et compréhensibles par le public, telles que les ventes de billets, les taux de diplomation ou les clics.
Les systèmes de transparence ont tendance à éviter les méthodes d’évaluation qui exigent une expertise et une sensibilité, et préfèrent plutôt des normes simples et compréhensibles par le public.
Cela ne veut pas dire que la transparence est mauvaise. La demande de transparence fondée sur des données est un outil incroyablement puissant et efficace pour lutter contre les préjugés et la corruption. Mais cette demande nous expose également à une série de coûts. Les mesures de transparence sont basées sur des données compréhensibles par le public. Prenons le cas de Charity Navigator, qui promet de guider vos dons en classant l’efficacité de diverses organisations à but non lucratif. Pendant des années, les classements de Charity Navigator étaient largement basés sur un « ratio de frais généraux », qui mesure la part des dons affectée à un objectif externe par rapport à la part dépensée en interne, sous forme de frais généraux. Cela semble être un excellent indicateur d’efficacité, et Charity Navigator est devenu une force dominante dans l’orientation des dons vers les organisations à but non lucratif. Mais comme l’ont déploré de nombreux experts du secteur à but non lucratif, la mesure du ratio de frais généraux est imparfaite et trompeuse. Supposons qu’une organisation à but non lucratif s’engage à améliorer la purification de l’eau dans les régions pauvres. La distribution de machines de purification de l’eau est considérée comme une dépense externe, ce qui améliore le ratio des frais généraux de l’organisation. Mais l’embauche d’un expert en bactéries d’origine hydrique ou la création d’une meilleure base de données interne pour suivre l’utilisation à long terme de ces machines de purification sont considérées comme des coûts internes, ce qui fait baisser le classement de l’organisation.
Pour comprendre ce qui est important, il faut généralement consacrer énormément d’expertise et de tempsà ce domaine particulier. La regrettée anthropologue Sally Engle Merry a exploré un exemple particulièrement dévastateur dans son livre publié en 2016, The Seductions of Quantification. À l’époque, elle rapportait que les efforts internationaux visant à réduire le trafic sexuel s’articulaient autour du suivi des résultats à l’aide d’un indicateur unique et clair, généré par le département d’État américain dans le rapport Trafficking in Persons (TIPS). Cet indicateur, expliquait Merry, était basé sur le taux de condamnation des trafiquants sexuels. Cela peut sembler logique pour les non-initiés, mais pour les experts en la matière, il s’agit d’un indicateur désastreux. Le trafic sexuel est étroitement lié à la pauvreté ambiante. Si un pays réduit la pauvreté ambiante, cela réduit généralement le trafic sexuel. Mais cela apparaîtrait dans le rapport TIPS comme un échec dans la lutte contre le trafic sexuel. Si le trafic sexuel diminuait pour des raisons économiques, il y aurait moins de trafiquants sexuels à condamner. Le rapport TIPS en est venu à dominer le débat international, écrit Merry, car le trafic sexuel réel est extrêmement difficile à mesurer, tandis que les taux de condamnation sont assez faciles à collecter.
Cette dangereuse séparation entre l’indicateur et sa signification s’accélère lorsque les gens intériorisent certains indicateurs comme des valeurs fondamentales. J’ai appelé ce processus « capture de valeur » : lorsque nos valeurs les plus profondes sont capturées par des indicateurs institutionnels, puis diluées ou déformées en conséquence. Les universitaires visent les taux de citation plutôt que la compréhension réelle ; les journalistes visent le nombre de clics plutôt que l’intérêt journalistique. Dans la capture de valeur, nous externalisons nos valeurs à des institutions à grande échelle. Ensuite, tous ces filtres impersonnels, décontextualisants et dé-expertisants sont importés dans nos valeurs fondamentales. Et une fois que nous avons intériorisé ces valeurs impersonnalisées comme étant les nôtres, nous ne remarquons même plus ce que nous négligeons.
Et aujourd’hui, à l’ère des algorithmes, ce problème prend une nouvelle dimension : ces valeurs filtrées seront tellement intégrées dans l’infrastructure de notre environnement technologique que nous oublierons qu’elles ont été filtrées au départ. Comme l’ont souligné les spécialistes de l’éthique de l’intelligence artificielle Sina Fazelpour et David Danks, la définition des objectifs est l’un des points d’entrée les plus importants, mais aussi les plus négligés, du biais algorithmique. Imaginons que des programmeurs entraînent un modèle d’apprentissage automatique afin d’améliorer certaines qualités : réduire la criminalité, par exemple, ou créer de belles œuvres d’art. De nombreuses procédures d’entraînement contemporaines consistent à générer aléatoirement des variations d’un modèle, puis à les opposer les unes aux autres pour voir laquelle atteint le mieux l’objectif. Fazelpour et Danks discutent d’un cas réel dans lequel des algorithmes d’apprentissage automatique ont été entraînés pour prédire la réussite des étudiants. Mais la procédure d’entraînement elle-même peut introduire des biais, selon qui fixe les objectifs et quels objectifs sont sélectionnés. Dans ce cas, les objectifs d’entraînement ont été fixés par les administrateurs et non par les étudiants, reflétant ainsi les intérêts des administrateurs. La « réussite des étudiants » était généralement opérationnalisée en termes de taux de diplomation et de taux d’abandon, plutôt qu’en termes de santé mentale ou d’expériences sociales enrichissantes, par exemple. Les algorithmes d’apprentissage automatique ont été entraînés pour atteindre un objectif, mais cet objectif lui-même peut être biaisé.
À l’ère des algorithmes, ce problème prend une nouvelle dimension : ces valeurs filtrées seront tellement intégrées dans l’infrastructure de notre environnement technologique que nous oublierons qu’elles ont été filtrées au départ.
Les enseignements de Porter s’appliquent également ici. Pour former un algorithme d’apprentissage automatique, les ingénieurs ont besoin d’un vaste ensemble de données de formation dans lequel les succès et les échecs sont clairement identifiés. Il est facile d’entraîner un algorithme d’apprentissage automatique à prédire quels étudiants sont susceptibles d’obtenir une moyenne élevée, d’obtenir rapidement leur diplôme ou de trouver un emploi par la suite. Il est facile de disposer d’une procédure mécanique, reproductible et évolutive pour évaluer avec précision la vitesse d’obtention du diplôme, mais il est très difficile de disposer d’une procédure mécanique, reproductible et évolutive pour évaluer avec précision l’amélioration de la réflexion. Il n’existe pas non plus de grands ensembles de données permettant d’entraîner un algorithme d’apprentissage automatique à prédire quels étudiants deviendront plus heureux, plus sages ou plus curieux grâce à leur éducation. Les algorithmes peuvent cibler en fonction du contenu des ensembles de données, et ces ensembles de données sont adaptés à ce qui peut être facilement et mécaniquement collecté à grande échelle.
Plus la procédure d’entraînement des algorithmes est opaque, plus ces décisions spécifiques, biaisées et politiques seront cachées dans la définition des cibles. Plus les utilisateurs sont éloignés du processus d’entraînement, plus il leur sera facile de supposer que les résultats de l’algorithme reflètent fidèlement la réalité, à savoir la réussite des étudiants, et plus il leur sera facile d’oublier que les exigences de la collecte de données institutionnelles ont déjà filtré des pans entiers de la vie humaine et de la valeur humaine.
QUE POUVONS-NOUS FAIRE ?
Je ne dis pas que nous devrions cesser complètement d’utiliser les méthodes basées sur les données. Les principales caractéristiques des méthodologies basées sur les données – décontextualisation, standardisation et impersonnalité – sont précisément ce qui permet l’agrégation de vastes ensembles de données et sont essentielles pour tirer pleinement parti des nombreuses avantages des méthodologies basées sur les données.
Mais les décideurs politiques et les autres utilisateurs de données doivent garder à l’esprit les limites inhérentes à cet outil puissant. Les méthodes basées sur les données sont intrinsèquement biaisées en faveur des formes d’information à faible contexte. Et chaque méthode de collecte de données nécessite un système de normalisation qui représente les intérêts de quelqu’un.
Cela suggère au moins deux réponses aux limites des données. Premièrement, lorsqu’il est confronté à un ensemble de données volumineux, l’utilisateur doit se demander : qui l’a collecté ? Qui a créé le système de catégories dans lequel les données sont classées ? Quelles informations ce système met-il en avant et quelles informations omet-il ? À qui profite ce système de filtrage ?
Ce sont des questions ordinaires. Dans des situations sociales ordinaires, nous en savons suffisamment pour poser des questions fondamentales : quelles sont les motivations d’un interlocuteur ? Quels sont ses intérêts et ses préjugés ? Ces mêmes soupçons fondamentaux devraient également s’appliquer aux données. Il est toutefois tentant de considérer les ensembles de données comme étant d’une manière ou d’une autre magiquement neutres et exempts de lacunes informationnelles. Cela s’explique peut-être par le fait que lorsqu’une personne nous parle, il est évident qu’il y a une personnalité en jeu, un agent indépendant avec ses propres intérêts, motivations et projets. Mais les données sont souvent présentées comme si elles provenaient d’une sorte de conception immaculée de la connaissance pure.
Comme le dit Merry, les mesures et les indicateurs nécessitent toutes sortes de compromis politiques et de jugements pour compresser autant d’informations riches en un seul classement. Mais la nature superficiellement simple du produit final – la mesure – tend à dissimuler toutes sortes de subjectivité et de politique. C’est pourquoi, comme l’observe Porter, les fonctionnaires et les bureaucrates préfèrent souvent se justifier en termes de mesures. Les chiffres semblent justes et impartiaux. Porter écrit : « La quantification est un moyen de prendre des décisions sans donner l’impression de décider. » La première réaction face aux données est donc de se rappeler qu’elles ont une source, qu’elles ne surgissent pas mystérieusement, exemptes de tout intérêt humain. La première réaction est de se rappeler que les données sont créées par des institutions, qui décident des catégories à utiliser et des informations à collecter, et de celles à ignorer.
Deuxièmement, les décideurs politiques et les utilisateurs de données doivent se rappeler que tout ne se prête pas aux méthodologies des données. Il est tentant d’agir comme si les méthodes basées sur les données offraient simplement un accès direct, objectif et sans entrave au monde, comme si le fait de suivre les méthodes des données permettait d’éliminer tout biais, toute subjectivité et toute ambiguïté du monde. La puissance des données réside dans leur grande évolutivité ; le prix à payer est le contexte. Nous devons nous affranchir du régime exclusivement basé sur les données, afin d’équilibrer la puissance des méthodologies basées sur les données avec la sensibilité au contexte et la flexibilité des méthodes qualitatives et des experts locaux dotés d’une compréhension approfondie mais non transférable. Les données sont puissantes mais incomplètes ; ne les laissez pas étouffer complètement les autres modes de compréhension.
Ce n’est pas comme si les méthodes qualitatives étaient parfaites ; chaque méthode qualitative ouvre la porte à d’autres types de biais. Les méthodes narratives ouvrent la porte aux biais personnels. Faire confiance à des experts locaux sensibles peut ouvrir la porte à la corruption. Le fait est que les méthodologies basées sur les données ont également leurs propres biais intrinsèques. Il n’existe pas de méthode unique, fiable et parfaite pour comprendre ou analyser le monde. Nous devons équilibrer nos nombreuses méthodologies, afin de confronter sciemment et délibérément leurs faiblesses les unes aux autres.
Une référence de Henry Farrell.