Comment un algorithme a empêché des millions d'Afro-Américains de bénéficier de soins de santé optimaux
Les algorithmes ne sont pas neutres, et cela peut avoir de lourdes conséquences.
L'algorithme en question est utilisé par de nombreux médecins dans le pays. Il permet d'évaluer le risque qu'une personne a de développer des problèmes de santé complexes. Les professionnels peuvent s'appuyer dessus, comme ils s'appuient sur des listes d'antécédents pour déterminer les facteurs de risque par exemple. Si le patient est considéré comme étant « à risque » par le logiciel, les médecins seront plus susceptibles de prescrire des examens complémentaires.
Or selon ce logiciel, les Afro-Américains présenteraient bien moins de risques que les personnes blanches. En conséquence, on leur prescrirait moins d'examens ou traitements médicaux. Le problème, c'est que ces données seraient en fait liées à un biais algorithmique, explique la revue Science.
Des patients précaires et moins bien soignés
Aux États-Unis, les soins de santé coûtent particulièrement cher. Une simple consultation chez le généraliste peut dépasser les 150 euros dans certaines villes, les médicaments sont coûteux, et les rendez-vous chez les spécialistes souvent hors de prix.
En 2018, le Centre national des statistiques de santé expliquait que 9 % de la population vivait sans couverture maladie. Les soins de santé sont particulièrement difficiles d'accès pour eux, ce qui pousse beaucoup de gens à y renoncer.
Parmi ces 9 %, explique l'étude, les patientes et patients noirs sont surreprésentés : en raison de leur couleur de peau, ils subissent des discriminations et sont davantage exposés à la précarité. L'algorithme mis en cause par la revue Science aurait uniquement compris qu'ils dépensaient moins d'argent dans les soins de santé... mais il n'a pas pris en compte les raisons. Pour ce genre d'outils, « moins d'argent dépensé » équivaut en effet bêtement à « moins de problèmes de santé ».
Selon l'étude, 17,7 % des patients américains noirs reçoivent actuellement ce que l'on appelle « une prise en charge complémentaire », réservée aux patients à risque. Science estime que si l'algorithme était correctement conçu, ce pourcentage devrait être de 46,5 %. À terme, cela peut créer des problèmes de santé majeurs.
L'étude ne mentionne pas l'identité des créateurs de l'algorithme. Elle explique que plusieurs firmes utilisent des systèmes similaires, les assureurs notamment. Ils permettent à ces derniers d'éviter des frais jugés inutiles, en analysant au mieux les besoins des patients.
Des biais pas uniquement technologiques
Le système de santé présente de manière générale des biais racistes. Les citoyens afro-descendants sont généralement plus précaires. Non seulement il est plus difficile pour eux d'avoir une couverture maladie ou de payer des soins, mais il est aussi plus difficile de se libérer pour aller à un rendez-vous, de s'y déplacer, etc, lorsque l'on est précaire.
Par ailleurs, les médecins ne sont pas aussi bien formés sur les peaux blanches et les peaux noires. Il y a quelques semaines, Numerama soulignait ainsi l'histoire d'un compte Instagram, sur lequel des photos de pathologies dermatologiques sur peaux noires sont publiées. Il permet de pallier le manque de formation.
Dans le cas de l'algorithme, ce n'est pas tant la technologie qui doit être remise en cause que son utilisation. De nombreux algorithmes présentent des biais, à cause de la manière dont ils sont conçus ou entraînés par des humains, eux-mêmes pas exempts de subjectivité. Faut-il, sachant cela, les utiliser dans un secteur aussi complexe et à risque que la santé ?