Should universities ban, use, or cite Generative AI?

The International Association of Universities (IAU) has asked me to write a short perspective on Generative Artificial Intelligence, which I have been allowed to also post below. It has been published in May 2024 in the IAU’s magazine IAU Horizons Vol. 29 (1), also available in this pdf (scroll to page 28).

Seventeen multicoloured post-it notes are roughly positioned in a strip shape on a white board. Each one of them has a hand drawn sketch in pen on them, answering the prompt on one of the post-it notes "AI is...." The sketches are all very different, some are patterns representing data, some are cartoons, some show drawings of things like data centres, or stick figure drawings of the people involved.

Picture: Rick Payne and team / Better Images of AI / Ai is… Banner / CC-BY 4.0

Ban, use, or cite Generative AI?

Should universities ban the use of generative AI (GenAI) in written works or, on the contrary, teach how to integrate it into learning practices? Extractive data practices of many available GenAI platforms support the first stance, whereas the general hype around AI and widespread access may favor the second one. However, neither position does justice to the university’s epistemic mission in teaching. Instead of focusing on banning or imposing new information technologies, universities should more than ever strive to provide the conditions within which humans can learn.

Digital transformation

The narrative of AI as a revolutionary force overlooks the foundational role of digitization and connectivity, with the Internet and web technologies pioneering the changes we now attribute to AI. These earlier innovations have profoundly impacted how information is accessed, consumed, created, and distributed. They have been used by our students from early on: From Google searches about topics or the spelling of words to reading Wikipedia articles, from sharing course notes online to asking for homework help in Internet forums, the university learning experience has already been changing long before the arrival of GenAI. At the same time, students’ learning experience has always included taking responsibility for their work, no matter how it was created.

Common misconceptions

Internet and web technologies have also facilitated unprecedented digital data generation and accumulation that have served to create current GenAI models. Today, few would advocate for a complete ban of access to web search or Wikipedia at universities. I find it therefore curious to see how GenAI starts such conversations anew. Why? Because GenAI is neither source nor author. Attributing human-like thinking or consciousness to it is misleading. GenAI does not provide knowledge. It is a powerful computational tool that generates output based on previous data, parameters and probabilities. These outputs can be used by humans for inspiration, modification, copy-paste, or simply be ignored.

At our university, students do not need to reference the use of thesauri, on- and offline dictionaries, writing correction software, or conversations with others about the topic in their writing. I am not fond of the idea of generically referencing the use of GenAI. Ascribing GenAI the status of a source or author to be cited is a profound mischaracterization of how the technology works and further reiterates the AI hype narrative. Moreover, it may wrongly incentivize students to view GenAI output similarly to other types of sources we already ask them to cite. But because GenAI generates individualized output with each request, hence its name, such output cannot be traced back or reproduced in the future. I fail to see what would be gained by citing it, unless it is for specific educational purposes.

Ethical challenges

Should the use of GenAI be encouraged, then? If it is such a powerful computational tool, harnessing its benefits within universities seems not only justified but necessary? However, as ever so often, it is complicated. Thanks to scholars in the humanities and social sciences, as well as activists and journalists, we know better than to uncritically endorse any of these platforms. There are valid points of criticism that can, and should, be brought up against GenAI platforms, such as illegal data acquisition strategies, veiled data labor, lack of basic testing and missing ethical guardrails, dubious business motives, lack of inclusive governance and harmful environmental impact.

Comprehension beyond the hype

What we cannot do is ignore the existence of GenAI platforms easily accessible to our students. In an article for The Guardian, the eminent media scholar Siva Vaidhyanathan warned us in May 2023 already that we might be “committing two grave errors at the same time. We are hiding from and eluding artificial intelligence because it seems too mysterious and complicated, rendering the current, harmful uses of it invisible and undiscussed.” GenAI, its output, and its implications need to be understood in all fields and contexts. This encompasses not only grasping the technical aspects of these technologies but also critically analyzing their social, political, and cultural dimensions. Our goal should thus be to cultivate a safe, positive learning environment that stimulates critical thinking. Ideally, universities foster the necessary skills that allow students to evaluate information and build on existing knowledge to make informed decisions outside of any hype discourse. Such skills will not become less relevant in times of abundant GenAI content but rather more.

Kurzzitat zum offenen Brief zu Künstlicher Intelligenz [in German]

Die Ausgangslage, in einem Satz zusammengefasst: Am Dienstag letzte Woche publizierte das Future of Life Institute (FLI) einen offenen Brief, unterzeichnet sowohl durch respektable Wissenschaftler als auch Charaktere wie EIon Mvsk, der auf die Gefahr von “menschenähnlicher Künstlicher Intelligenz” hinweist und unter anderem einen sechsmonatigen Entwicklungsstop von allen KI-Systemen fordert, welche intelligenter seien als GPT-4.

Aufgrund hoher Medienresonanz wurde ich als Forscherin am Alexander von Humboldt Institut für Internet und Gesellschaft (HIIG) am Mittwoch Abend um eine kurze Einschätzung gebeten, welche ich hier in voller Länge wiedergebe:

Der offene Brief des Future of Life Instituts ist Augenwischerei: Er beschreibt eine Phantasiewelt, in der bisherige KI bis auf ein paar technische Updates problemfrei ist und sechs Monate Entwicklungsstopp genügen, um geeignete regulatorische Rahmenbedingungen für die angeblich unausweichliche Superintelligenz zu schaffen.

So werden die Probleme von heute existierenden Systemen nicht nur ignoriert, sondern verharmlost. Das Superintelligenz-Thema gehört in Philosophieseminare und nicht in die Politik.

Auch ist der alleinige Fokus des Briefs auf die Entwicklungsstufe von KI sehr kurzsichtig. Seltsamerweise wird keine Einschränkung beim Einsatz gefordert, obwohl bei KI der Kontext der Anwendung mindestens genauso wichtig ist wie die Entstehung.

Schon fast zynisch mutet die Erwähnung von grundsätzlich sinnvollen Massnahmen wie Audits oder Kennzeichnung an, wenn sich unter den Erstunterzeichner Entscheidungsträger finden, die solche selbst nie eingeführt haben.

Und obwohl im Brief richtigerweise steht, dass wichtige Entscheidungen nicht ungewählten Tech Leadern überlassen werden sollten, erreicht die Publikation nun genau das Gegenteil: Agenda Setting durch Tech Leader.

Honi soit qui mal y pense.

a forest in the sunEinige meiner Worte fanden tatsächlich am Freitag ihren Weg in die TAZ, in den Tagesspiegel KI & Digitalisierung, sowie in die Berichterstattung auf Netzpolitik.org.

Ebenfalls am Freitag publizierten übrigens auch die Autorinnen des wegweisenden KI-Artikels “Stochastic parrots” ein Statement, das den offenen Brief des FLI ebenfalls kritisiert und zudem fundiert erklärt, warum die hypothetische Schwarzmalerei von zukünftiger machtvoller KI schädlich ist.

Ein unveröffentliches Interview zu KI [in German]

Vor etwa zwei Wochen erhielt ich eine Mail aus einer Schweizer Redaktion mit der Bitte, für eine Schweizer Sonntagszeitung auf vier Interviewfragen zum Thema KI und Ethik zu antworten. Anlass war offenbar eine polemische Aussage eines Angestellten bei Google (siehe 1. Frage). Meine Antworten wurden jedoch nie publiziert, denn der entsprechende Artikel wurde von der Redaktion erst verschoben, danach ganz aus dem “Programm” gekippt. Darum nun hier, mit freundlicher Genehmigung des Interviewers, meine paar schriftlichen Antwortsätze. Sie haben zum Ziel, den wissenschaftlichen Wissensstand dem breiten Publikum in einfachen Worten und Vergleichen zu vermitteln.

***

1. Blake Lemoine meint im Chatbot von Google ein eigenes Bewusstsein erkannt zu haben. Wäre es alleine aus technischer Sicht überhaupt möglich einer Maschine ein eigenes Bewusstsein und eigene Handlungsfähigkeit zu “geben”?

Ein Bewusstsein wie Menschen kann eine Maschine nie entwickeln. Sie kann natürlich so programmiert werden, dass sie menschliches Sprechen verblüffend ähnlich imitiert. Aber es ist gewollte Imitation, und auch der Datenraum wurde von Menschen definiert. Maschinen handeln nicht autonom. Zwar ist im Gegensatz zu anderen Automaten die sogenannte Künstlicher Intelligenz nicht von A bis Z durchprogrammiert, aber bei der Entwicklung wird ein Lernprozess oder ein Ziel festgelegt.

2. Warum versuchen ForscherInnen Künstliche Intelligenz zu entwickeln Continue reading

11 links to dive into the ethics of artificial intelligence

So many links… The Swiss start-up Refind proposes to deal with them in new ways. Refind offers not only social bookmarking, but also curation. In their section “Deep dives”, experts share a link selection of approximately 10 articles in their domain.

When I was asked to provide ten such links about the ethics of artificial intelligence, I was delighted to do so. Delighted… but also challenged. Because it is impossible to do justice [pun intended] to “AI ethics” via 10 websites.

Therefore, my selection is not meant to be exhaustive but to be just that: a selection. Its aim is to provide a rich overview of crucial issues, perspectives and criticisms in the field of “AI ethics” to people who have not already been studying them. I invite you to not simply evaluate each article linked in isolation, but to see my selection as a collection that derives value from being more than the sum of its parts. I have come up with a list of links where each one contributes a different piece to the puzzle, which should be even more insighful if read in the suggested order. Continue reading

La gouvernance des contenus en ligne [in French]

La Radio Télévision Suisse (RTS) a demandé récemment mon avis suite à la suppression d’une de leurs vidéos sur/par YouTube. Comme c’était mon premier entretien télévisé, je me suis préparée (“sur-préparée”, d’après l’équipe, que je remercie d’ailleurs de leur encadrement patient) avec quelques notes sur le sujet.

Screenshot 19h30 RTS Anna Jobin

Après plusieurs prises et montage, j’ai fini par avoir mes 15 secondes de gloire au téléjournal de 19h30, ce qui est évidemment trop peu pour rendre compte de la complexité des enjeux. C’est pourquoi je partage ci-dessous quelques paragraphes issus de mes notes.

Dans mes activités de recherche j’ai rencontré trois problématiques principales qui me semblent importantes par rapport à ce sujet:

La gouvernance privée d’un bien public

Premièrement, il faut reconnnaître que la supression d’une émission journalistique par une plateforme en ligne n’est pas qu’un enjeu juridique. Sous le seul angle légal, il semble logique qu’une entreprise privée puisse agir d’après ses propres termes et conditions. Cependant, Continue reading

Des résultats de recherche problématiques [in French]

Pourquoi les résultats de recherche de Google sont-ils parfois sexistes, racistes, ou autrement problématiques? En 2019, j’ai eu le plaisir de répondre à quelques questions de la professeure Stéphanie Pache à ce sujet. Avec son autorisation, je publie ci-dessous l’entretien qui, je l’espère, saura apporter quelques notions de base sur le fonctionement du moteur de recherche, mais aussi sur les enjeux y liés, toujours aussi actuels.

***

L’effet Google

Entretien avec Anna Jobin, sociologue du numérique, qui travaille notamment sur nos interactions avec les algorithmes et les dimensions sociales de l’intelligence artificielle. Propos recueillis par Stéphanie Pache.

Peux-tu décrire ce qu’est un moteur de recherche et pourquoi tout un chacun devrait s’y intéresser?

Un moteur de recherche nous assiste à localiser l’endroit où se trouve l’information que nous cherchons. En Suisse, et dans la plupart des pays européens, une majorité de personnes qui cherchent de l’information en ligne utilisent Google pour ce faire. Depuis sa conception il y a plus que vingt ans, le nom de l’entreprise a fini par servir de verbe, “googler”, pour désigner le fait même de faire des recherches en ligne – un reflet de sa place dans notre quotidien. Dans le contexte de l’explosion d’informations se trouvant en ligne dans une forme numérique ou numérisée, Google a réussi à nous rendre un immense service qui est celui de nous diriger vers des sources souvent légitimes qui répondent plus ou moins à ce que nous cherchions.

Deux grands aspects restent problématiques: premièrement, le modèle d’affaire. En effet, Google est une entreprise à but lucratif, donc nos recherches d’informations nourissent également un système publicitaire complexe, qui a rapporté plus que 100 milliards de dollars en 2018.

Deuxièmement, la position de l’entreprise et le manque d’alternatives. Il est impossible de surestimer le pouvoir actuel de Google (et, en occurrence, de quelques autres entreprises du numérique). La multinationale dispose désormais d’énormément de données, de puissance de calcul, d’argent pour racheter d’autres entreprises, et de connexions avec le monde politique. En plus, ses différents Bloomberk Businessweek issue with Google's income statement on the cover, showing the prevalence of advertisingservices (cartographie, webmail, navigateur web, système d’exploitation pour n’en nommer que quelques-uns) créent des synergies importantes qui ont des effets secondaires considérables.

Comment ce système contribue à la reproduction des inégalités sociales?

Dans le cas de Google Search, il y a au moins trois dimensions qui entrent en compte. D’abord, il y a le niveau de la production de contenus en ligne, car le moteur de recherche ne peut indexer et lister que ce qui existe. Toutes les inégalités reflétées dans et véhiculées par les contenus web se retrouvent alors reproduites. Ainsi, pour donner deux exemples simples, une recherche image du terme “PDG” vous montrera avant tout des images d’hommes blancs, et la recherche image “couple” résultera en une majorité de photos de couples hétérosexuels composés de personnes cis-genres et tout aussi blanches.

Ensuite, il y a une canalisation des usages basée sur les actions passées des personnes utilisant le moteur de recherche: par exemple, l’auto-remplissage, c’est-à-dire les propositions de recherche, s’appuient sur l’ensemble des recherches ayant été effectuées auparavant et tendent donc à reproduire des stéréotypes existants comme propositions de recherche désirables.

Finalement, la programmation et le design du moteur de recherche même agissent sur notre vie et la manière dont nous appréhendons le monde. Non seulement des décisions prises par des humains qui ont une influence, mais aussi des logiques algorithmiques. Un système d’identification de contenus web basé sur des mots-clés risque, par exemple, de perpétuer une stratification de l’accès à l’information en fonction du vocabulaire d’une personne. De plus, les algorithmes de Google favorisent les sites déjà bien connus, qui reçoivent encore davantage d’attention (et inversement).

Quelles actions peut-on imaginer contre ces effets et leur production?

De manière générale il faut davantage de diversité et créer des possibilités pour de vraies alternatives. Cela concerne Google tout autant que notre société, car les deux se nourrissent mutuellement. Davantage de diversité parmi les gens qui créent les outils que nous utilisons au quotidien, dans la production de contenus web, et là où les décisions sont prises. L’appel à de vraies alternatives quant à lui suggère une remise en question de notre rapport à l’information en ligne et de sa gouvernance.

Nos sociétés ont, il y a longtemps, reconnu l’accès à l’information comme valeur fondamental, et le meilleur exemple en sont nos bibliothèques publiques. Aujourd’hui, nous devons repenser comment nous souhaitons façonner non seulement l’accès, mais aussi la participation à la production et à la circulation des informations.

***

Cet entretien a paru en automne 2019 dans la publication Pages de gauche, no 173. Le numéro était dédié au sujet “Toute technique est politique” et est téléchargeable sur le site de la publication.

Why Dr. Timnit Gebru is important for all of us

Because its products and services permeate our lives, Google has tremendous power. If the company cannot even pretend to care about its internal “Ethical AI” co-leader, how much do you think they care about the rest of us?

***

Dr. Timnit Gebru and I do not know each other. I have never met her and she probably is not even aware I exist. And yet, she is very important in my life. Not only in my life, but in your life, too. Indeed, I believe Dr. Gebru is extremely significant for everyone and I will explain why below.

Before that, let me recap briefly what happened last week that inspired me to write this, in case you have never heard of Dr. Gebru before. (It is very well possible that you have not — as I may not have if I weren’t researching the social aspects of algorithmic systems for a living.) However, you certainly know Dr. Gebru’s former employer: Google. You may even have heard of her area of work: at Google, Dr. Gebru used to be the co-lead of the Ethical AI team. And maybe, just maybe, you have even heard of her ground-breaking research (with Joy Buolamwini) demonstrating how face recognition algorithms are most accurate for faces that are male and caucasian and perform terribly for people of color, especially women. [Dr. Gebru’s record goes far beyond this one example I picked. Yet it is the one I have heard and seen mentioned most frequently as the go-to example in industry, policy and public discussions of “algorithms are not neutral”.]

On the morning of December 3, I checked my twitter feed and discovered Timnit Gebru’s tweet, published a few hours prior, announcing her discovery that Google had fired her. She wrote that her employment had been terminated immediately with reference to an email to an internal mailing list.

The news spread like a wild fire and, within hours, disputes over details and definitions broke out. What exactly did her email to the mailing list say? Was this the real reason she was fired by Google? Was she actually fired or did she resign? And even if she was fired: did she deserve to be fired? But here’s the thing: although some of the answers to these questions are informative (and even the questions themselves are very telling!), I will not discuss internal e-mails and information about individual people at Google here. For the point I am trying to make, none of them really matter.

***

Google is still Continue reading