Category Archives: Publication

Should universities ban, use, or cite Generative AI?

Ban, use, or cite Generative AI?

Should universities ban the use of generative AI (GenAI) in written works or, on the contrary, teach how to integrate it into learning practices? Extractive data practices of many available GenAI platforms support the first stance, whereas the general hype around AI and widespread access may favor the second one. However, neither position does justice to the university’s epistemic mission in teaching. Instead of focusing on banning or imposing new information technologies, universities should more than ever strive to provide the conditions within which humans can learn.

Digital transformation

The narrative of AI as a revolutionary force overlooks the foundational role of digitization and connectivity, with the Internet and web technologies pioneering the changes we now attribute to AI. These earlier innovations have profoundly impacted how information is accessed, consumed, created, and distributed. They have been used by our students from early on: From Google searches about topics or the spelling of words to reading Wikipedia articles, from sharing course notes online to asking for homework help in Internet forums, the university learning experience has already been changing long before the arrival of GenAI. At the same time, students’ learning experience has always included taking responsibility for their work, no matter how it was created.

Common misconceptions

Internet and web technologies have also facilitated unprecedented digital data generation and accumulation that have served to create current GenAI models. Today, few would advocate for a complete ban of access to web search or Wikipedia at universities. I find it therefore curious to see how GenAI starts such conversations anew. Why? Because GenAI is neither source nor author. Attributing human-like thinking or consciousness to it is misleading. GenAI does not provide knowledge. It is a powerful computational tool that generates output based on previous data, parameters and probabilities. These outputs can be used by humans for inspiration, modification, copy-paste, or simply be ignored.

At our university, students do not need to reference the use of thesauri, on- and offline dictionaries, writing correction software, or conversations with others about the topic in their writing. I am not fond of the idea of generically referencing the use of GenAI. Ascribing GenAI the status of a source or author to be cited is a profound mischaracterization of how the technology works and further reiterates the AI hype narrative. Moreover, it may wrongly incentivize students to view GenAI output similarly to other types of sources we already ask them to cite. But because GenAI generates individualized output with each request, hence its name, such output cannot be traced back or reproduced in the future. I fail to see what would be gained by citing it, unless it is for specific educational purposes.

Ethical challenges

Should the use of GenAI be encouraged, then? If it is such a powerful computational tool, harnessing its benefits within universities seems not only justified but necessary? However, as ever so often, it is complicated. Thanks to scholars in the humanities and social sciences, as well as activists and journalists, we know better than to uncritically endorse any of these platforms. There are valid points of criticism that can, and should, be brought up against GenAI platforms, such as illegal data acquisition strategies, veiled data labor, lack of basic testing and missing ethical guardrails, dubious business motives, lack of inclusive governance and harmful environmental impact.

Comprehension beyond the hype

What we cannot do is ignore the existence of GenAI platforms easily accessible to our students. In an article for The Guardian, the eminent media scholar Siva Vaidhyanathan warned us in May 2023 already that we might be “committing two grave errors at the same time. We are hiding from and eluding artificial intelligence because it seems too mysterious and complicated, rendering the current, harmful uses of it invisible and undiscussed.” GenAI, its output, and its implications need to be understood in all fields and contexts. This encompasses not only grasping the technical aspects of these technologies but also critically analyzing their social, political, and cultural dimensions. Our goal should thus be to cultivate a safe, positive learning environment that stimulates critical thinking. Ideally, universities foster the necessary skills that allow students to evaluate information and build on existing knowledge to make informed decisions outside of any hype discourse. Such skills will not become less relevant in times of abundant GenAI content but rather more.

Freiheit im digitalen Zeitalter

Diagnose: Ambivalenz. Freiheit im digitalen Zeitalter

Im Frühjahr 1999 strahlte die BBC ein Interview mit David Bowie aus, in dem sich der Sänger unter anderem zum Thema Internet äusserte: «I don’t think we’ve even seen the top of the ice berg, I think the potential what the internet is going to do to society, both good and bad, is unimaginable. I think we’re actually on the cusp of something exhilarating and terrifying.»¹ Bowie hat mit diesen Worten unwissentlich eine zwanzig Jahre später stattfindende Debatte vorweggenommen und beantwortet.

Still photo of David Bowie speaking to Jeremy Paxman on BBC Newsnight (1999)

Gut oder schlecht? Frei oder unfrei?

Tatsächlich finden auch heute noch viele Diskussionen zum Thema in binären Denkmustern statt: Sind neue Technologien gut oder schlecht? Bringt die Digitalisierung mehr Freiheiten oder schränkt sie uns ein? Eine Auslegeordnung fördert jeweils zahlreiche Beispiele für beide Seiten zutage. Einerseits können wir auf abrufbereite, noch nie dagewesene Mengen von Informationen zugreifen. Andererseits wissen wir immer weniger auswendig und überschätzen zudem unser Wissen. Einerseits sind viele Arbeitende vor allem des tertiären Sektors mobiler und flexibler. Andererseits verwischt sich die Grenze zwischen Arbeit und Beruf immer mehr, was zusätzlichen Druck schaffen kann. Das Beispiel-Pingpong könnte so unendlich lange fortgesetzt werden. Wirklich produktiv erscheint mir dies allerdings nicht. Viel spannender und wichtiger, als einer Antwort in schwarz oder weiss nachzugehen, sind die Fragen, unter welchen Umständen die Digitalisierung Freiheit fördert, und von welcher Art Freiheit die Rede ist. Denn – wie das BBC-Publikum schon vor zwei Jahrzehnten erfahren konnte – Internet bringt Gutes und Schlechtes, Erfreuliches und Erschreckendes.

Der Journalist schien damals mit Bowies Aussage überfordert. Es sei doch nur ein Instrument, «it’s just a tool though», entgegnete er. Eine Auffassung, die ich selbst auch schon oft gehört habe, am prominentesten in Form der Messeranalogie an hippen Technologiekonferenzen: Ein Messer sei neutral, es komme bloss darauf an, ob es als Küchenutensil oder als Mordwaffe Continue reading →

Inclusive AI: empirical data from the civil society

1 Reply

I am thrilled about this most recent collaboration: together with Swissnex San Francisco, the think thank foraus and AI commons I have worked on a report that presents empirical data on what the ethical principle of inclusiveness means when it comes to artificial intelligence. Its title is: “Towards an Inclusive Future in AI – A Global Participatory Process“and it can be accessed for free on the foraus website.

Based on the policy kitchen method (explained in more details in the report) people from four continent have gathered in “11 workshops in 8 countries, involving 10 partner organizations and about 120 participants from a wide range of perspectives, collaboratively generated 43 ideas for an insclusive future in AI.”

The key take-aways of how inclusivity is understood, and can be achieved, are the following:

Aim at inclusive inclusion
Prevent, detect and eliminate bias in AI systems
Establish open standards & access to data
Alleviate power differentials between corporations and individuals
Guarantee shared benefits and prosperity
Provide access to education
Commit to participatory governance

What is most remarkable about this report is the fact that it draws on empirical data from civil society. It therefore applies its own value of inclusivity to the very process by which the conclusions are achieved: by including and listening to stakeholders when it comes to defining what is at stake.

The report is in English — for a short German summary click here.

By the way, our report has been publishes simultaneously with another great paper on “Making Sense of Artificial Intelligence – Why Switzerland Should Support a Scientific UN Panel to Assess the Rise of AI” which I encourage you to read here.

Towards an inclusive future in AI: was bedeutet “inklusive Künstliche Intelligenz”?

1 Reply

Dank Swissnex San Francisco, dem Think Tank foraus und AI Commons durfte ich bei der Ausarbeitung des Reports “Towards an inclusive future in AI. A global participatory process” mitarbeiten. (Hier geht es zum Report, sowie zu einem Kurzbeschrieb auf englisch.)

Am 22. Oktober 2019 fand in Bern eine Pressekonferenz stattfand, wo sowohl unser Report wie auch ein Positionspapier zum Thema AI, resp. zur Schnittstelle von AI Governance und der Schweiz (“Making Sense of Artificial Intelligence – Why Switzerland Should Support a Scientific UN Panel to Assess the Rise of AI”), vorgestellt wurde.

Untenstehend das Transkript meiner deutschen Vorstellung unseres Reports “Towards an Inclusive Future in AI: A Global Participatory Process“.

Künstliche Intelligenz geht uns alle etwas an.

Inklusion, Partizipation, Integration — all das sind wichtige Punkte für eine Technologie, die im Leben von allen Menschen eine immer wichtigere Rolle spielt. Das Prinzip der Inklusion ist tatsächlich sehr wichtig: Es taucht auch in ethischen Richtlinien für künstliche Intelligenz auf der ganzen Welt immer wieder auf. Auf Seite 6 und 7 des Reports sehen Sie einige Beispiele wo und wie “Inklusion” in bestehenden Berichten auftaucht.

Was genau jedoch Inklusion bedeutet, und wie sie erreicht werden kann, sprich: wie Partizipation umgesetzt werden kann, ist eine offene, nicht ganz einfache Frage. Anstelle einer theoretischen Abhandlung haben wir mit Hilfe der Policy Kitchen in einem bottom-up Prozess verschiedene Menschen aus der Zivilgesellschaft auf der ganzen Welt gefragt: “was bedeutet inklusive KI — inklusive künstliche Intelligenz — für euch, und wie kann sie erreicht werden?”

Das Ergebnis zeigt, dass Inklusion nicht mit einem einzigen magischen Rezept erreicht werden kann. Auch unsere Teilnehmenden verbinden mit Inklusion verschiedene, sich gegenseitig ergänzende Ansätze, die jeweils auf verschiedenen Niveaus wirken.

Ich werde die einzelnen Ansätze nun mit ein wenig mehr Details beschreiben. Im Report finden Sie die Zusammenfassung auf Seite 9 als Aufzählung, sowie ab Seite 22 als Schlussfolgerung (“Dessert”). Dabei möchte ich noch einmal betonen, wie wichtig aus gesellschaftpolitischer Perpektive der Prozess war, der zu diesen Ergebnissen geführt hat: Die Ansätze basieren auf Daten. Sie widerspiegeln die Auffassung von verschiedenen Menschen der Zivilgesellschaft in mehreren Ländern wieder.

Zum einen verbinden die Menschen mit Inklusion die Elimination von Bias. Bias — oder Verzerrung, Vorurteil oder Ungleichgewichtigkeit — innerhalb von Systemen mit künstlicher Intelligenz kommt zum Beispiel durch verzerrte Datenbestände zu Stande. Bestehende soziale Vorurteile werden in Daten widergespiegelt und danach durch Maschinen verstärkt.

Gemäss unseren Teilnehmenden muss inklusive KI Vorurteilen aktiv entgegenwirken. Zur Vorbeugung, aber auch Behebung wurden einerseits technische Massnahmen vorgeschlagen, aber auch zum Beispiel Qualitätskontrollen diesbezüglich. Diese sollen zu verschiedenen Zeitpunkten während der Entstehung, aber auch der Nutzung eines KI-Systems, systematisiert werden.

Auch erwähnt wurden organisatorische Neustrukturierung, zum Beispiel “inklusive Teams”, d.h. weniger sozial homogene Teams. Oder institutionalisierte Möglichkeiten für Nutzerinnen und Nutzer um Feedback über Bias geben zu können.

Weitere Vorschläge drehen sich um einen 2. Punkt: Datenzugang und offene Standards — Open Access und Open Standards. Inklusion wird verstanden als die Möglichkeit, Partizipation technisch zu ermöglichen. Denn wenn KI-Technologien in den Händen von Wenigen konzentriert sind, wird der Graben im Laufe der Zeit immer grösser: Je weiter fortgeschritten eine Organisation mit künstlicher Intelligenz bereits ist, umso grösser wird ihr Vorsprung.

Zugang zu Daten, offene Standards damit Daten — aber auch Systeme — genutzt, ja: weiterbenutzt werden können, verringern dieses Machtgefälle und führen zu vermehrter Partizipation bei der Herstellung.

A propos Machtgefälle, das bringt mich auch gleich zum dritten Punkt. Ab Seite 14 sehen Sie den wichtigen Punkt der Verringerung des Machtgefälles zwischen Unternehmen und Einzelpersonen. “User Rights and Transparency.”

Inklusion wird von vielen Menschen verstanden als aktives Arbeiten an der Verringerung dieses Machtgefälles. Die Vorschläge aus der Policy Kitchen in diesem Bereich betreffen vor allem Datensouveränität, Transparenz und Wahlmöglichkeit. Gerade der Wunsch nach Wahlmöglichkeit verbindet die Vorstellung von Inklusion mit einer weniger homogenen technischen Landschaft, wo Technologiehersteller nicht mehr unilateral die Funktionsweisen und Konditionen Ihre Systeme diktieren können.

Continue reading →

Artificial Intelligence: how many AI principles or ethics guidelines are there and what do they say?

3 Replies

This is it: the study I had been working on all winter (together with my colleague Marcello and our professor Effy Vayena) was published in Nature Machine Intelligence. It is an in-depth review of a corpus of 84 documents consisting of (or containing) ethical principles for artificial intelligence. Although no single principles occurred in all documents, some are more prevalent than others — and others are strikingly underrepresented.

Here is a link to the article “The global landscape of AI ethics guidelines”: https://www.nature.com/articles/s42256-019-0088-2. Unfortunately it is behind a paywall (and we were not able to select the option of having the article published Open Access), but if you get in touch via e-mail (anna.jobin at sociostrategy), on Social Media, or via ResearchGate, I will be more than happy to send you the article. (*)

This is what the abstract says:

In the past five years, private companies, research institutions and public sector organizations have issued principles and guidelines for ethical artificial intelligence (AI). However, despite an apparent agreement that AI should be ‘ethical’, there is debate about both what constitutes ‘ethical AI’ and which ethical requirements, technical standards and best practices are needed for its realization. To investigate whether a global agreement on these questions is emerging, we mapped and analysed the current corpus of principles and guidelines on ethical AI. Our results reveal a global convergence emerging around five ethical principles (transparency, justice and fairness, non-maleficence, responsibility and privacy), with substantive divergence in relation to how these principles are interpreted, why they are deemed important, what issue, domain or actors they pertain to, and how they should be implemented. Our findings highlight the importance of integrating guideline-development efforts with substantive ethical analysis and adequate implementation strategies.

On twitter I have given a little more information about our findings in a short thread:

https://twitter.com/annajobin/status/1168542077103333377

https://twitter.com/annajobin/status/1168542365310685185

https://twitter.com/annajobin/status/1168544896959094790

https://twitter.com/annajobin/status/1168545351789400064

There are more tweets, and if you click on the date link you should be able to acces the whole thread.

Although we analyzed 84 documents, many more AI principles and ethics guidelines exist today. For one, there is the time difference between the time one submits the first version of an article to a journal and the moment it is published (peer-review and production take time, and I would like to add that NMI has been much faster than I, a qualitative social scientist, have been used to from other experiences). But there is also another catch-22, due to our research design: our in-depth analysis takes time, and while we were analyzing new guidelines, even more principles would be issued during that time. At one point we simply had to wrap up… This will also explain why our analysis only takes into account the version of the documents our methodology provided us with, and does not account for subsequent versions (the Montreal Declaration, for example, was in stakeholder consultation stage so our analysis is not about its final version).

Therefore, and for methodological reasons, we are only able to provide a snapshot in time. Yet we hope that our research can serve as an overview and a stepping stone for anyone involved with “ethical AI”, from researchers and scholars to technology developers to policy makers.

(*) FWIW we did post a pre-print version on arXiv.org, though I am compelled to highlight that the arXiv version is not identical with the NMI journal version: it is our author version, before peer-review, and in addition to the clarifying modifications we were able to make in the final version thanks to the reviewer comments, one document was initially wrongly attributed to the UK instead of the USA (something we were able to correct thanks to a generous reader comment).

Sociostrategy

Think strategy. Think social.