Kurzzitat zum offenen Brief zu Künstlicher Intelligenz [in German]

Die Ausgangslage, in einem Satz zusammengefasst: Am Dienstag letzte Woche publizierte das Future of Life Institute (FLI) einen offenen Brief, unterzeichnet sowohl durch respektable Wissenschaftler als auch Charaktere wie EIon Mvsk, der auf die Gefahr von “menschenähnlicher Künstlicher Intelligenz” hinweist und unter anderem einen sechsmonatigen Entwicklungsstop von allen KI-Systemen fordert, welche intelligenter seien als GPT-4.

Aufgrund hoher Medienresonanz verfasste ich als Forscherin am Alexander von Humboldt Institut für Internet und Gesellschaft (HIIG) am Mittwoch Abend eine kurze Einschätzung gebeten, welche ich hier in voller Länge wiedergebe:

Der offene Brief des Future of Life Instituts ist Augenwischerei: Er beschreibt eine Phantasiewelt, in der bisherige KI bis auf ein paar technische Updates problemfrei ist und sechs Monate Entwicklungsstopp genügen, um geeignete regulatorische Rahmenbedingungen für die angeblich unausweichliche Superintelligenz zu schaffen.

So werden die Probleme von heute existierenden Systemen nicht nur ignoriert, sondern verharmlost. Das Superintelligenz-Thema gehört in Philosophieseminare und nicht in die Politik.

Auch ist der alleinige Fokus des Briefs auf die Entwicklungsstufe von KI sehr kurzsichtig. Seltsamerweise wird keine Einschränkung beim Einsatz gefordert, obwohl bei KI der Kontext der Anwendung mindestens genauso wichtig ist wie die Entstehung.

Schon fast zynisch mutet die Erwähnung von grundsätzlich sinnvollen Massnahmen wie Audits oder Kennzeichnung an, wenn sich unter den Erstunterzeichner Entscheidungsträger finden, die solche selbst nie eingeführt haben.

Und obwohl im Brief richtigerweise steht, dass wichtige Entscheidungen nicht ungewählten Tech Leadern überlassen werden sollten, erreicht die Publikation nun genau das Gegenteil: Agenda Setting durch Tech Leader.

Honi soit qui mal y pense.

a forest in the sunEinige meiner Worte fanden tatsächlich am Freitag ihren Weg in die TAZ, in den Tagesspiegel KI & Digitalisierung, sowie in die Berichterstattung auf Netzpolitik.org.

Ebenfalls am Freitag publizierten übrigens auch die Autorinnen des wegweisenden KI-Artikels “Stochastic parrots” ein Statement, das den offenen Brief des FLI ebenfalls kritisiert und zudem fundiert erklärt, warum die hypothetische Schwarzmalerei von zukünftiger machtvoller KI schädlich ist.

Ein unveröffentliches Interview zu KI [in German]

Vor etwa zwei Wochen erhielt ich eine Mail aus einer Schweizer Redaktion mit der Bitte, für eine Schweizer Sonntagszeitung auf vier Interviewfragen zum Thema KI und Ethik zu antworten. Anlass war offenbar eine polemische Aussage eines Angestellten bei Google (siehe 1. Frage). Meine Antworten wurden jedoch nie publiziert, denn der entsprechende Artikel wurde von der Redaktion erst verschoben, danach ganz aus dem “Programm” gekippt. Darum nun hier, mit freundlicher Genehmigung des Interviewers, meine paar schriftlichen Antwortsätze. Sie haben zum Ziel, den wissenschaftlichen Wissensstand dem breiten Publikum in einfachen Worten und Vergleichen zu vermitteln.

***

1. Blake Lemoine meint im Chatbot von Google ein eigenes Bewusstsein erkannt zu haben. Wäre es alleine aus technischer Sicht überhaupt möglich einer Maschine ein eigenes Bewusstsein und eigene Handlungsfähigkeit zu “geben”?

Ein Bewusstsein wie Menschen kann eine Maschine nie entwickeln. Sie kann natürlich so programmiert werden, dass sie menschliches Sprechen verblüffend ähnlich imitiert. Aber es ist gewollte Imitation, und auch der Datenraum wurde von Menschen definiert. Maschinen handeln nicht autonom. Zwar ist im Gegensatz zu anderen Automaten die sogenannte Künstlicher Intelligenz nicht von A bis Z durchprogrammiert, aber bei der Entwicklung wird ein Lernprozess oder ein Ziel festgelegt.

2. Warum versuchen ForscherInnen Künstliche Intelligenz zu entwickeln Continue reading

11 links to dive into the ethics of artificial intelligence

So many links… The Swiss start-up Refind proposes to deal with them in new ways. Refind offers not only social bookmarking, but also curation. In their section “Deep dives”, experts share a link selection of approximately 10 articles in their domain.

When I was asked to provide ten such links about the ethics of artificial intelligence, I was delighted to do so. Delighted… but also challenged. Because it is impossible to do justice [pun intended] to “AI ethics” via 10 websites.

Therefore, my selection is not meant to be exhaustive but to be just that: a selection. Its aim is to provide a rich overview of crucial issues, perspectives and criticisms in the field of “AI ethics” to people who have not already been studying them. I invite you to not simply evaluate each article linked in isolation, but to see my selection as a collection that derives value from being more than the sum of its parts. I have come up with a list of links where each one contributes a different piece to the puzzle, which should be even more insighful if read in the suggested order. Continue reading

La gouvernance des contenus en ligne [in French]

La Radio Télévision Suisse (RTS) a demandé récemment mon avis suite à la suppression d’une de leurs vidéos sur/par YouTube. Comme c’était mon premier entretien télévisé, je me suis préparée (“sur-préparée”, d’après l’équipe, que je remercie d’ailleurs de leur encadrement patient) avec quelques notes sur le sujet.

Screenshot 19h30 RTS Anna Jobin

Après plusieurs prises et montage, j’ai fini par avoir mes 15 secondes de gloire au téléjournal de 19h30, ce qui est évidemment trop peu pour rendre compte de la complexité des enjeux. C’est pourquoi je partage ci-dessous quelques paragraphes issus de mes notes.

Dans mes activités de recherche j’ai rencontré trois problématiques principales qui me semblent importantes par rapport à ce sujet:

La gouvernance privée d’un bien public

Premièrement, il faut reconnnaître que la supression d’une émission journalistique par une plateforme en ligne n’est pas qu’un enjeu juridique. Sous le seul angle légal, il semble logique qu’une entreprise privée puisse agir d’après ses propres termes et conditions. Cependant, Continue reading

Des résultats de recherche problématiques [in French]

Pourquoi les résultats de recherche de Google sont-ils parfois sexistes, racistes, ou autrement problématiques? En 2019, j’ai eu le plaisir de répondre à quelques questions de la professeure Stéphanie Pache à ce sujet. Avec son autorisation, je publie ci-dessous l’entretien qui, je l’espère, saura apporter quelques notions de base sur le fonctionement du moteur de recherche, mais aussi sur les enjeux y liés, toujours aussi actuels.

***

L’effet Google

Entretien avec Anna Jobin, sociologue du numérique, qui travaille notamment sur nos interactions avec les algorithmes et les dimensions sociales de l’intelligence artificielle. Propos recueillis par Stéphanie Pache.

Peux-tu décrire ce qu’est un moteur de recherche et pourquoi tout un chacun devrait s’y intéresser?

Un moteur de recherche nous assiste à localiser l’endroit où se trouve l’information que nous cherchons. En Suisse, et dans la plupart des pays européens, une majorité de personnes qui cherchent de l’information en ligne utilisent Google pour ce faire. Depuis sa conception il y a plus que vingt ans, le nom de l’entreprise a fini par servir de verbe, “googler”, pour désigner le fait même de faire des recherches en ligne – un reflet de sa place dans notre quotidien. Dans le contexte de l’explosion d’informations se trouvant en ligne dans une forme numérique ou numérisée, Google a réussi à nous rendre un immense service qui est celui de nous diriger vers des sources souvent légitimes qui répondent plus ou moins à ce que nous cherchions.

Deux grands aspects restent problématiques: premièrement, le modèle d’affaire. En effet, Google est une entreprise à but lucratif, donc nos recherches d’informations nourissent également un système publicitaire complexe, qui a rapporté plus que 100 milliards de dollars en 2018.

Deuxièmement, la position de l’entreprise et le manque d’alternatives. Il est impossible de surestimer le pouvoir actuel de Google (et, en occurrence, de quelques autres entreprises du numérique). La multinationale dispose désormais d’énormément de données, de puissance de calcul, d’argent pour racheter d’autres entreprises, et de connexions avec le monde politique. En plus, ses différents Bloomberk Businessweek issue with Google's income statement on the cover, showing the prevalence of advertisingservices (cartographie, webmail, navigateur web, système d’exploitation pour n’en nommer que quelques-uns) créent des synergies importantes qui ont des effets secondaires considérables.

Comment ce système contribue à la reproduction des inégalités sociales?

Dans le cas de Google Search, il y a au moins trois dimensions qui entrent en compte. D’abord, il y a le niveau de la production de contenus en ligne, car le moteur de recherche ne peut indexer et lister que ce qui existe. Toutes les inégalités reflétées dans et véhiculées par les contenus web se retrouvent alors reproduites. Ainsi, pour donner deux exemples simples, une recherche image du terme “PDG” vous montrera avant tout des images d’hommes blancs, et la recherche image “couple” résultera en une majorité de photos de couples hétérosexuels composés de personnes cis-genres et tout aussi blanches.

Ensuite, il y a une canalisation des usages basée sur les actions passées des personnes utilisant le moteur de recherche: par exemple, l’auto-remplissage, c’est-à-dire les propositions de recherche, s’appuient sur l’ensemble des recherches ayant été effectuées auparavant et tendent donc à reproduire des stéréotypes existants comme propositions de recherche désirables.

Finalement, la programmation et le design du moteur de recherche même agissent sur notre vie et la manière dont nous appréhendons le monde. Non seulement des décisions prises par des humains qui ont une influence, mais aussi des logiques algorithmiques. Un système d’identification de contenus web basé sur des mots-clés risque, par exemple, de perpétuer une stratification de l’accès à l’information en fonction du vocabulaire d’une personne. De plus, les algorithmes de Google favorisent les sites déjà bien connus, qui reçoivent encore davantage d’attention (et inversement).

Quelles actions peut-on imaginer contre ces effets et leur production?

De manière générale il faut davantage de diversité et créer des possibilités pour de vraies alternatives. Cela concerne Google tout autant que notre société, car les deux se nourrissent mutuellement. Davantage de diversité parmi les gens qui créent les outils que nous utilisons au quotidien, dans la production de contenus web, et là où les décisions sont prises. L’appel à de vraies alternatives quant à lui suggère une remise en question de notre rapport à l’information en ligne et de sa gouvernance.

Nos sociétés ont, il y a longtemps, reconnu l’accès à l’information comme valeur fondamental, et le meilleur exemple en sont nos bibliothèques publiques. Aujourd’hui, nous devons repenser comment nous souhaitons façonner non seulement l’accès, mais aussi la participation à la production et à la circulation des informations.

***

Cet entretien a paru en automne 2019 dans la publication Pages de gauche, no 173. Le numéro était dédié au sujet “Toute technique est politique” et est téléchargeable sur le site de la publication.

Why Dr. Timnit Gebru is important for all of us

Because its products and services permeate our lives, Google has tremendous power. If the company cannot even pretend to care about its internal “Ethical AI” co-leader, how much do you think they care about the rest of us?

***

Dr. Timnit Gebru and I do not know each other. I have never met her and she probably is not even aware I exist. And yet, she is very important in my life. Not only in my life, but in your life, too. Indeed, I believe Dr. Gebru is extremely significant for everyone and I will explain why below.

Before that, let me recap briefly what happened last week that inspired me to write this, in case you have never heard of Dr. Gebru before. (It is very well possible that you have not — as I may not have if I weren’t researching the social aspects of algorithmic systems for a living.) However, you certainly know Dr. Gebru’s former employer: Google. You may even have heard of her area of work: at Google, Dr. Gebru used to be the co-lead of the Ethical AI team. And maybe, just maybe, you have even heard of her ground-breaking research (with Joy Buolamwini) demonstrating how face recognition algorithms are most accurate for faces that are male and caucasian and perform terribly for people of color, especially women. [Dr. Gebru’s record goes far beyond this one example I picked. Yet it is the one I have heard and seen mentioned most frequently as the go-to example in industry, policy and public discussions of “algorithms are not neutral”.]

On the morning of December 3, I checked my twitter feed and discovered Timnit Gebru’s tweet, published a few hours prior, announcing her discovery that Google had fired her. She wrote that her employment had been terminated immediately with reference to an email to an internal mailing list.

The news spread like a wild fire and, within hours, disputes over details and definitions broke out. What exactly did her email to the mailing list say? Was this the real reason she was fired by Google? Was she actually fired or did she resign? And even if she was fired: did she deserve to be fired? But here’s the thing: although some of the answers to these questions are informative (and even the questions themselves are very telling!), I will not discuss internal e-mails and information about individual people at Google here. For the point I am trying to make, none of them really matter.

***

Google is still Continue reading

99 brilliant women in AI ethics… and I

I have just found out that I have been named one of 100 brilliant women in AI ethics. The Women in AI Ethics (WAIE) list is a global “list of 100 brilliant and inspiring women” issued once a year, and of course I am honored by the nomination. But I am even more thrilled by the fantastic company I find myself in. I mean: I am on the same list as danah boyd. Gina Neff. Anna Lauren Hoffmann. Abeba Birhane. And I could go on. Ninety-nine outstanding experts and amazing role-models from all over the world… and I.

It is a vertiginuous feeling. My ambiguity towards “AI ethics” are not exactly helpful here. (But as AI ethics seems definitely have become a thing, I should perhaps just embrace it, and drop the scare quotes?) Add to that my ambiguity towards top-ranking lists of any kind — the sociologist in me tends to be more curious about e.g. the categorization criteria and selection processes than the outcome…

Then again, it is Sunday morning, before my first coffee. And I have just been named a brilliant women in AI ethics among great company. I guess I’ll take it. :)