[Index Libertés] Pour parler des libertés, y compris numériques...

[Tugdual]

Extension du pass sanitaire, contrôle numérique :

• La CNIL signale un "risque d'accoutumance"...

[Tugdual]

Le logiciel espion Pegasus a été trouvé :

• sur les téléphones de journalistes français...

[Tugdual]

Apple envisage un système de détection d'images d'abus d'enfants :

• dans la galerie de photos des utilisateurs...

Apple préviendra parents et enfants :

• en cas de photos sexuellement explicites dans Messages...

Comment fonctionne le nouvel outil d’Apple :

• censé lutter contre la pédopornographie ?

[freeshost]

Maintenant, je regarde The Great Hack.

We are watching and influencing your behaviours.

[Tugdual]

Apple généralise l'analyse côté client :

• et ouvre la boîte de Pandore...

[Tugdual]

En Australie, la police peut désormais pirater un appareil :

• ou prendre le contrôle de vos comptes de médias sociaux...

[Tugdual]

Le gouvernement australien envisage :

• de lever l'anonymat sur Internet...

[Tugdual]

Apple repousse la mise en place :

• de son mécanisme de protection de l’enfance...

[Tugdual]

Afghanistan - quand la protection des données biométriques :

• devient une question de vie ou de mort...

Extrait :

Des rapports alarmants indiquent que les talibans, qui viennent de reprendre le pouvoir à Kaboul, pourraient accéder aux données biométriques que l’US Army a récoltées en Afghanistan pendant des années. Les nouveaux maîtres du pays auraient alors la possibilité d’identifier et de traquer les Afghans ayant travaillé pour la coalition internationale.

Ces derniers craignent que les traces physiques et numériques de leur identité, si elles se retrouvent entre les mains des talibans, se transforment en véritables arrêts de mort. C’est pourquoi ils cherchent désormais à dissimuler ou à effacer toutes ces données.

Ces inquiétudes montrent que, dans les zones de conflit, la protection des données – en particulier celles qui relient l’activité en ligne à la localisation physique de l’utilisateur – peut devenir une question de vie ou de mort.

Des journalistes, des défenseurs de la vie privée et des universitaires dont moi-même qui étudient la cybersurveillance biométrique alertent depuis longtemps sur ce type de risques.

[...]

Ces récents développements constituent un avertissement pour l’avenir. Lors de l’élaboration de technologies et de protocoles de guerre biométriques, il semble que le ministère américain de la Défense ait supposé que le gouvernement afghan disposerait d’un niveau de stabilité indispensable à la protection des données sensibles.

L’armée américaine devrait partir du principe que toute donnée sensible – données biométriques et biographiques, données d’écoute et communications, données de géolocalisation, dossiers gouvernementaux – peut potentiellement tomber entre les mains de l’ennemi. Il faudrait donc mettre en place un système de sécurité robuste pour empêcher les accès indésirables. Au-delà, il convient aussi de se demander si la collecte de toutes ces données biométriques était réellement indispensable.

[freeshost]

« Algorithmes, la bombe à retardement » : un cri d’alarme citoyen

Vincent Edin

14 novembre 2018

La mathématicienne Cathy O’Neil pousse un cri d’alarme citoyen avec « Algorithmes, la bombe à retardement », tout juste traduit en français. Chronique.

Attention, c’est du brutal. Algorithmes, la bombe à retardement (Novembre 2018, Les Arènes) nous plonge dans les cuisines peu ragoûtantes des fabricants d’algorithmes. L’auteure, Cathy O’Neil, est une mathématicienne américaine de haut vol passée de l’université aux banques puis aux analyses en big data avant de se reconvertir en lanceuse d’alerte. Elle pousse ici un cri d’alarme citoyen : nous ne pouvons pas rester spectateurs d’un monde où nous sommes de plus en plus tributaires d’outils conçus de façon opaque, utilisés à des fins commerciales ou sécuritaires et ayant pour conséquence d’exacerber les inégalités.

« Un manuel citoyen du XXIe siècle ». Voilà en quels termes le Financial Times présente Weapons of Math Destruction. How Big Data Increases Inequality and Threatens Democracy, le livre de Cathy O’Neil, sorti en 2016 aux États-Unis et fraîchement traduit en français. Un ouvrage également adoubé par l’historien Yuval Noah Harari, et dont la version française est préfacée par un autre mathématicien célèbre – et député, et candidat à la candidature à la mairie de Paris -, Cédric Villani. On se dit que l’engouement pour le propos de Cathy O’Neil devrait aller croissant, tant les thèses avancées dans son livre sont confirmées jour après jour. Ainsi, la postface du livre rappelle que ce qu’elle redoutait début 2016 s’est concrétisé avec l’élection présidentielle de Trump, à grands renforts d’algorithmes de Facebook déviants… Scandale déjà renvoyé au rang d’amateurisme par les magouilles sur Whatsapp effectuées pendant la campagne qui a mené à l’élection de Jair Bolsonaro à la présidence du Brésil.

Comme à la guerre

Contre ces algorithmes malséants, Cathy O’Neil s’insurge et, contrairement à une partie de la culture hacker, elle le fait à visage découvert : « Je suis sur Google, je n’utilise pas Tor ou autres proxy. Je n’ai pas besoin de me cacher : les ravages des algorithmes ne frappent pas des gens comme moi. Au contraire, le système est fait pour favoriser les gens comme moi et fragilise encore les plus fragiles », a-t-elle déclaré mardi 6 novembre, lors d’une rencontre organisée à Paris par son éditeur (les Arènes).

Pour comprendre la thèse du livre, il faut en lire l’envoi : « À tous ceux que l’on donne perdants ». « On », ce sont les dominants qui, sous couvert de discours méritocratique et exaltant l’égalité des chances, déploient des algorithmes qui traquent les dominés dans un grand nombre de domaines et leur infligent de sévères dommages. Comme à la guerre.

L’allégorie guerrière parcourt d’ailleurs tout le livre. Pour nommer ces algorithmes malfaisants, elle parle d’« ADM » pour « Arme de destruction mathématique ». Ces armes sont conçues sans que les soldats ne s’en rendent compte, comme elle l’écrit dans des travaux de recherche en géométrie algébrique et mathématique au MIT. Désireuse de confronter ses recherches à la réalité des marchés, elle quitte l’université pour un Wall Street en surchauffe, en 2007. Elle y reste quatre ans, stupéfaite par le déni de l’industrie de la finance par rapport aux risques pris. En 2011, elle ajoute deux mots à son CV – « data scientist » – et s’en va monnayer ses services chez Insent Media.

Si nous ne prenons pas des mesures politiques contraignantes, les algorithmes vont continuer d’exacerber violemment les inégalités

La désillusion est rapide : « Je décelais en réalité toutes sortes de parallèles entre la finance et le big data. Ces deux industries exploitent avidement le même vivier de talents, issus pour la plupart d’universités d’élite à qui on fait comprendre qu’ils deviendront riches et dirigeront le monde. En outre, leur productivité montre qu’ils sont sur la bonne voie, et se traduit en dollars. D’où cette conclusion – si fallacieuse soit-elle – que tout ce qui peut rapporter davantage d’argent est forcément bon et “ajoute de la valeur”. Sinon, pourquoi le marché récompenserait-il ce genre de comportements ? ».

Cette double immersion dans les milieux où l’on crée des fausses valeurs pousse la mathématicienne à prendre la plume : si nous ne prenons pas des mesures politiques contraignantes, les algorithmes vont continuer selon elle d’exacerber violemment les inégalités dans un grand nombre de secteurs, à rebours de ce que nous disent les solutionnistes.

Des inégalités accrues face à l’emploi ou l’éducation

Ainsi du monde du travail, où elle réalise que les recrutements se font de plus en plus sans passer par un jugement humain. Dans un grand nombre de postes où la réputation est en jeu, il y a ceux qui peuvent s’acheter un service d’achats de followers Twitter à 19,95 $ par mois et ceux qui restent bloqués à un nombre confidentiel de fans et qui n’auront jamais de community à manager. À l’autre bout de l’échelle sociale, un nombre croissant de demandeurs d’emplois dans des multinationales comme Home Depot, Lowe’s ou Walgreen voient leurs candidatures bloquées par des algos, pour cause d’antécédents psychiatriques.

O’Neil montre comment les inégalités jouent ici un rôle crucial, notamment avec l’exemple de Kyle Behm, jeune homme brillant, score parfait au SAT et admis dans la grande fac de Vanderbilt, qui doit faire une pause de deux ans dans ses études pour soigner des troubles bipolaires. Quand il reprend ses études dans une autre fac, il cherche à côté des petits jobs alimentaires pour lesquels il échoue systématiquement, ce qui le conforte dans l’idée de sa maladie mentale et de son incapacité à s’insérer. Mais le père de Kyle, avocat, se renseigne sur la société Kronos, celle qui a fait passer des tests de personnalité à son fils. Il découvre que ceux-ci se rapprochent de ceux exigés dans les hôpitaux. Sur la base de ces tests très discutables, Kyle est évincé du marché de l’emploi. Son père a alors intenté une class action (inaboutie à ce jour) pour déterminer qui, de Kronos ou des entreprises qui recourent aux services de ces tests, se rend coupable de discrimination à l’emploi. Mais tout le monde n’a pas la chance d’avoir un père avocat pour le défendre, et on pense aux milliers de personnes restées interdites face au refus reçus sans explication autre que « did not pass the test ».

L’analyse de Cathy O’Neil sur la puissance de destruction de certains algorithmes mal intentionnés vaut aussi dans le secteur de l’éducation. Aux Etats-Unis, les étudiants les plus pauvres se retrouvent ainsi inondés de pubs pour des facs de seconde catégorie, qui misent tout là-dessus pour remplir leurs amphis, quand les bonnes facs jouent plus de la réputation de leurs profs : « Apollo Group, maison mère de l’Université de Phoenix, a dépensé en 2010 plus de 1 milliard de dollars pour son marketing, focalisé presque entièrement sur le recrutement. Ce qui donnait 2 225 dollars par étudiant pour le marketing, et seulement 892 pour l’enseignement, raconte Cathy O’Neil. Un chiffre à comparer au Portland Community College, dans l’Oregon, qui dépense 5 953 dollars par étudiant pour l’enseignement et 185 pour le marketing ».

Un cercle vicieux potentiellement exponentiel

La sphère judiciaire suit la même pente, avec un nombre d’exemples accablants que l’on jurerait sortis de Minority Report, mais hélas puisés dans des décisions de justice bien réelles. Avec un tel déluge de mauvaises nouvelles, on se demande pourquoi ces bombes algorithmiques sont dites, dans le titre, « à retardement », et on se pince pour savoir ce qu’il pourrait y avoir de pire.

« Le sordide univers des ADM (armes de destruction mathématique) les bombarde de publicités prédatrices pour des prêts hypothécaires de type subprime ou des écoles à but lucratif »

La conclusion l’expose de façon limpide : il s’agit d’un cercle vicieux potentiellement exponentiel. « Les ADM se nourrissent les unes les autres. Les gens pauvres ont tendance à présenter un mauvais score de crédit et à vivre dans des quartiers à forte criminalité, entourés d’autres individus pauvres. Une fois ces données digérées, le sordide univers des ADM les bombarde de publicités prédatrices pour des prêts hypothécaires de type subprime ou des écoles à but lucratif. Il déploie plus de policiers pour les arrêter et, lorsqu’ils sont condamnés, leur inflige des peines de prisons plus longues… ».

Et le cercle vicieux continue d’étendre son rayon, tandis qu’à l’autre bout de la chaîne sociale, nous recevons des publicités ciblées pour des week-ends d’exception. « Mal nommer les choses, c’est ajouter au malheur du monde », écrivait très justement Camus. Cathy O’Neil apporte ici la preuve que mal mesurer les choses peut aussi apporter davantage de drames.

Je viens de le commencer.

[Tugdual]

Il faudra nous faire un petit résumé...

[user6375]

Rien que le résumé me fait déjà rire ... elle dénonce une société inégalitaire en visant les algorithmes. Mais c'est pas les algorithmes, le problème, c'est le fantasme d'une société égalitaire ... dans une société démocratique et capitaliste. Supprimer les algorithmes ne rendra pas la société plus égalitaire, ils ne sont que le révélateur d'un fonctionnement sociétale où tout est en concurrence et dans laquelle la majorité ne fait que se reposer sur elle sans chercher à la comprendre et la faire évoluer.

EDIT : Tout le monde oublie un facteur fondamentalement inégalitaire : la chance d'être au bon endroit au bon moment. Je l'ai vécu. Et tout le monde oublie aussi que rien n'est dû par principe. Une fois que la chance a joué son rôle, il faut s'accrocher et se battre pour garder ce que la chance nous a offert. C'est tout sauf égalitaire.

[Tugdual]

Dans le résumé, je ne vois pas le « fantasme d'une société égalitaire », mais la dénonciation d'outils « ayant pour conséquence d’exacerber les inégalités ».

[user6375]

Dans le résumé, je ne vois pas le « fantasme d'une société égalitaire », mais la dénonciation d'outils « ayant pour conséquence d’exacerber les inégalités ».

J'ai dit que le résumé me faisait rire, j'ai pas dit que l'autrice visait une société égalitaire. Ne me fait pas dire ce que je n'ai pas dit. Et tu viens de le dire : ces outils exacerbe les inégalités. Mais c'est pas l'outil qui est à l'origine du problème, c'est la société, c'est comme ca qu'elle fonctionne. Si on remet ca en question, ce fonctionnement fondamentalement inégalitaire, alors on vise une société égalitaire. Y a pas besoin des algorithmes pour exacerber les inégalités, juste laisser les gens faire, et c'est le fonctionnement fondamental d'une société démocratique et capitaliste. Mais ca fais partie de ce que j'ai moi dit au final : les gens ne cherchent pas à comprendre comment la société fonctionne ...

Le fantasme d'une société égalitaire est chez les gens, pas chez l'autrice.

EDIT : je sais pas comment les gens peuvent imaginer que la démocratie et le capitalisme puisse parvenir à l'égalité. Sans parler de la nuance entre égalité et équité. Bref

EDIT2 : les algorithmes ne font que simplifier le travail de sélection. Ils n'en sont pas à l'origine.

[user6375]

Quant des gens, que je connais, m'envoie des vidéos parlant de médecine quantique, c'est pas un algorithme qui m'expose a ce charabia pseudo-scientifique, c'est le choix de la personne d'adhérer a ce discours et de m'y exposer. Changer un algorithme ne changera rien à ce problème.

Si un RH décide de favoriser tel CV, avoir un algorithme ne changera rien non plus a ce choix. Par contre le fait que le RH se repose sur l'algorithme c'est son choix, pas celui d'un autre algorithme. C'est ca la racine du problème. Et tant que les gens ne comprendront pas cela, rien ne changera. Algorithme ou pas