Author Archives: Anna Jobin

About Anna Jobin

I like considering the bigger picture while keeping in mind that details matter.

Kurzzitat zum offenen Brief zu Künstlicher Intelligenz [in German]

Die Ausgangslage, in einem Satz zusammengefasst: Am Dienstag letzte Woche publizierte das Future of Life Institute (FLI) einen offenen Brief, unterzeichnet sowohl durch respektable Wissenschaftler als auch Charaktere wie EIon Mvsk, der auf die Gefahr von “menschenähnlicher Künstlicher Intelligenz” hinweist und unter anderem einen sechsmonatigen Entwicklungsstop von allen KI-Systemen fordert, welche intelligenter seien als GPT-4.

Aufgrund hoher Medienresonanz verfasste ich als Forscherin am Alexander von Humboldt Institut für Internet und Gesellschaft (HIIG) am Mittwoch Abend eine kurze Einschätzung gebeten, welche ich hier in voller Länge wiedergebe:

Der offene Brief des Future of Life Instituts ist Augenwischerei: Er beschreibt eine Phantasiewelt, in der bisherige KI bis auf ein paar technische Updates problemfrei ist und sechs Monate Entwicklungsstopp genügen, um geeignete regulatorische Rahmenbedingungen für die angeblich unausweichliche Superintelligenz zu schaffen.

So werden die Probleme von heute existierenden Systemen nicht nur ignoriert, sondern verharmlost. Das Superintelligenz-Thema gehört in Philosophieseminare und nicht in die Politik.

Auch ist der alleinige Fokus des Briefs auf die Entwicklungsstufe von KI sehr kurzsichtig. Seltsamerweise wird keine Einschränkung beim Einsatz gefordert, obwohl bei KI der Kontext der Anwendung mindestens genauso wichtig ist wie die Entstehung.

Schon fast zynisch mutet die Erwähnung von grundsätzlich sinnvollen Massnahmen wie Audits oder Kennzeichnung an, wenn sich unter den Erstunterzeichner Entscheidungsträger finden, die solche selbst nie eingeführt haben.

Und obwohl im Brief richtigerweise steht, dass wichtige Entscheidungen nicht ungewählten Tech Leadern überlassen werden sollten, erreicht die Publikation nun genau das Gegenteil: Agenda Setting durch Tech Leader.

Honi soit qui mal y pense.

a forest in the sunEinige meiner Worte fanden tatsächlich am Freitag ihren Weg in die TAZ, in den Tagesspiegel KI & Digitalisierung, sowie in die Berichterstattung auf Netzpolitik.org.

Ebenfalls am Freitag publizierten übrigens auch die Autorinnen des wegweisenden KI-Artikels “Stochastic parrots” ein Statement, das den offenen Brief des FLI ebenfalls kritisiert und zudem fundiert erklärt, warum die hypothetische Schwarzmalerei von zukünftiger machtvoller KI schädlich ist.

Digitalkompetenzen im Kontext (uvm)

Am 8. Mai 2019 durfte ich auf Einladung der EMEK/COFEM (der eidgenössischen Medienkommission, resp. der commission fédérale des médias) zusammen mit Friederike Tilemann den ersten Drittel eines überaus spannenden Nachmittagsprogramms zum Thema “Streamingdienste und Plattformen: Herausforderungen für Medien & Öffentlichkeit” bestreiten. Wir thematisierten Medien- und Digitalkompetenzen, danach sprachen Judith Möller und Sébastien Noir über die Relevanz von Algorithmen, und zuletzt widmeten sich Natascha Just und Wolfgang Schulz dem Thema Gouvernanz. Der Anlass war öffentlich und gut besucht. Im Folgenden nun ein subjektiver Allerkürzestbericht meinerseits, einschliesslich einer — wie ich doch hoffe — lesefreundlichen Version meiner Eingangspräsentation. Denn, wie heisst es so schön: sharing is caring.

Nach den Grussworten des EMEK/COFEM-Präsidenten Otfried Jarren stellte Manuel Puppis den derzeitigen Stand des Arbeitspapiers der Kommission vor. Die Erkenntnisse des Tages sollen in die bevorstehende neue Version des Dokuments einfliessen. Dies habe, zusammen mit dem Wille zur Förderung des öffentlichen Dialogs, den heutigen Anlass motiviert. Danach teilte Friederike Tilemann ihr Expertenwissen über Medienkompetenzen: gerade Heranwachsende brauchen sowohl Kompetenzen als auch Schutz, um gewinnbringend mit Medien umgehen zu können. Und erstere beinhalten nicht nur Nutzung, sondern auch Wissen, Kritikvermögen, reflektiertes Handeln und Gestaltungsfähigkeit.

Dadurch wurde mir natürlich ganz komfortabel ein Ball zugespielt, den ich nun ins Feld der Digitalisierung bringen konnte. Denn das meiste, was bisher zu Medienkompetenzen gesagt worden ist, bleibt wichtig und relevant. [Das ist übrigens auch aus Genners “Kompetenzen und Grundwerte im digitalen Zeitalter” ersichtlich.] Ich biete keinen Widerspruch sondern Ergänzung an.

Meine Präsentation ging ebenfalls auf die Frage ein, wie mit digitalen Medien umgegangen werden kann, aber aus einer etwas andern Perspektive. Mein Hintergrund ist einerseits in Soziologie, Volkswirtschaft und Wirtschaftsinformatik, andererseits bringe ich durch meine Vergangenheit als selbständige Social Media Beraterin auch praktische Erfahrungen mit. Untenstehend nun meine Folien — die ich, um der Mehrsprachigkeit der Schweiz an diesem gesamtschweizerischen Anlass wenigstens halbwegs gerecht zu werden, auf französisch verfasst hatte — sowie ein ungefähres Transkript meiner 10minütigen Präsentation, angereichert mit Klammerbemerkungen und ein paar Links. Continue reading

#SmartphoneDemokratie

Eine kurze Vorankündigung in eigener Sache: Bald erscheint mein erster Essay in deutscher Sprache! Seit Jahren bin ich eher auf französisch oder englisch unterwegs, und freue mich darum umso mehr über die Gelegenheit, in meiner Muttersprache gelesen werden zu können.

Dies verdanke ich Politologin und Medienexpertin Adrienne Fichter, deren aktuelles Projekt ein Sachbuch über die Schnittstelle von Digitalisierung und Politik ist. Als sie mich angefragt hat, ob ich zu ihrem Buch einen Text über Algorithmen beisteuern würde, habe ich “Mein Steckenpferd!” geantwortet. “Gerne!”

Und so kommt es, dass im Buch “Smartphone-Demokratie”, das im Herbst im Verlag NZZ Libro erscheint, ein Kapitel von mir zu lesen sein wird.

“Smartphone-Demokratie” kann auf der Seite des Buchverlags vorbestellt werden. Offizielles Erscheinungsdatum ist der 16. September 2017.

Die Lektüre der “Smartphone-Demokratie” lohnt sich bestimmt auch wegen der Vielzahl unterschiedlicher Themen, welche die Digitalisierung von unterschiedlichen Blickwinkeln aus angehen. Ein Vorgeschmack dazu gibt der Untertitel des Buches: #FakeNews #Facebook #Bots #Populismus #Weibo #Civictech

Spannend, nicht?

“If a computer is right 99% of the time, I wouldn’t want to be the 1% case”

A few days ago my FB memories reminded my of the time I discussed Artificial Intelligence on Swiss National Radio during a segment called “Artificial intelligence: between fantasy and reality”. The program was in French, and I’ve always wanted to translate it. Now seems as good a time as any, so no more procrastinating.

The title of this blog post is drawn from the interview and alludes to the fact that if you have been misjudged by AI you could have a hard time rectifying the situation – because algorithmic decision makes it difficult to know whom or what to hold accountable. When reading, please keep in mind that this is drawn from a spoken, non-scripted discussion originally taking place in another language. Furthermore, it’s from one year ago, which is why there is no mention of recent AI initiatives such as AI Now or Ethics and Governance of AI. While it was not my best interview, and there is so. much. more. to say about AI, I might still have managed to get a few major points across… What do you think?

The interview (excerpts)

Picture: Roomba

– Moderator: Artificial Intelligence is a reality we talk about more and more often. AI or the ability of a machine to argue like a human or even better. And as often, some are gleeful about it whereas others paint a darker picture of the future, even predicting the end of mankind. Well, let’s calm down and study the question more calmly. To do this we’ve got two journalists, Huma Khamis and Didier Bonvin, welcome. And we’re with you, Anna Jobin. You’re a sociologist and doctoral candidate at the Laboratory of Science and Technology Studies (STSlab) of Lausanne University. Anna Jobin, to start, what is your implication, your link to this “artificial intelligence”?

AJ: As a sociologist I’m interested in the social aspects of technologies, including AI. My own research centers on how humans cohabit with complex algorithmic systems, something we do already. And this is the link: complex algorithmic systems – which are one sort of AI.

– [Mod] So you link the general population and science? Do you try to understand and interpret them for us?

Well, in my opinion science and the general population are not two distinct entities. It’s a symbiosis with many questions about the use, but also the distribution and creation of these technologies.

Switch to Huma Khamis, who does an excellent job recalling the history of well-publicized applications of AI, from Deep Blue to AlphaGo and YuMi, and reminds everyone that most of us carry AI in our pocket in form of a smartphone. She ends by mentioning Ellie, a robot detecting depression largely based on face recognition technologies.

– [Mod] Anna Jobin, is this real progress? What do you make of this? Would you say we could do better, are we late at this point?

Of course, as has been said, there have been mindblowing advances within the last years. For instance in calculations – they have always been done, but there has been progress in doing them with computers, merging them with technologies, new materials that have only been used for decades… Secondly, there has been an automation of these calculations, an automation made possible by these computers. And as a third ingredient I’d point to data, no matter whether they have been generated by sensors and integrated in the system subsequently, or whether they represent “available” digital traces generated by our activities.

– [Mod] At what moment did we go from automated calculations to things like emotion recognition? Has there been a border, at one point, that has been crossed, or have we made real progress after years of stagnation?

It is an ancient human dream to reproduce that which makes us human. However, one mustn’t forget that what we consider being human has changed over years, decades and centenaries. It is not the first time that we think the essence of humanity is located in the brain, but even this time it is rather novel.

Huma Khamis and Didier Bonvin discuss Ray Kurzweil, his theory of “singularity”, and what makes us human: feelings? imperfections?

– [HK] So Anna Jobin, you’re part of the Laboratory of digital cultures and humanities, do you think this AI will be able to generate a culture and feelings of its own? And to evolve as we evolve with our imperfections? Will it be able to create imperfections?

AI is already creating its own culture if we look at Netflix and its algorithms of suggestion and classification. But it’s always in symbiosis with humans, which is why I think the idea of the “cyborg” is much closer to reality than a neat distinction between mankind and machine. A distinction that is rather recent and considers both as two clearly separated species by, notably, elevating machines to a species on its own. This of course paves the way to “robots rise up and fight for their survival” – which in and by itself is a very interesting vision of things…

But if we speak of the future, what I’m actually interested in is why we speak in a certain way about the future. I think our visions, fears, utopias and dreads reveal more about us today than they do about the future.

– [HK] Speaking of dreads and fears, we spend a lot of time trying to save human treasures, for instance in Digital Humanities. Is this an emergency because we will disappear?

Humans have always aimed at documentation, from oral tradition to writing to printing et cetera. Now that these great tools of information storage are available, that we try to make use of them for archiving and for digitizing our heritage does not seem like a surprising step. Of course they imply questions about the ways in which a format imposes its particularities on the content, but that’s not what we’re discussing today. What seems much more important to me regarding dreads and fears are – without going down to road until the end of human kind – the forms of autonomy within systems that learn “by themselves”, without forgetting that they have at one point been programmed to learn, so there has been a human intervention at the very beginning. […] There have been decisions about, for instance, the process by which the system will learn, or the parameters that will be taken into account for the learning. Although we might not have access neither to the exact process of learning, as is the case in deep learning,  nor to the justification of the results, there have been definitions and human values influencing the system at the very beginning. However, the problems begin if we don’t have access to the process of justification. Let’s imagine a robot will let us know that, according to its calculations, it would be unreasonable to undertake a medical intervention. Because, by taking into account your age and what you contribute to society through your work, a certain medical intervention might simply not be worth it? … Who are you going to discuss things with? Are you going to argue with a robot, a machine? Or a doctor? And which of these options are you more comfortable with?

Follows a discussion about the the Turing test and the chatbot, Eugene Goostman that had been announced to have passed it, before experts quickly denied its “victory”.

– [Mod] What do you think about this Anna Jobin? There’s debate…

The Turing test is very interesting and it has sparked a competition in the development of chatbots, which is great. Then again, it is a small test within a very limited area: conversation, and to be precise: linear conversation, which goes question/answer and so forth. It’s a very limited form of human interaction. If we look at artificial intelligence let’s start by asking the question about intelligence and what we actually mean. Logic intelligence, linguistic intelligence – but is there creative intelligence, emotional intelligence, inter- or intra-personal intelligence? Et cetera. And yes, there is great progress in very specialized areas, and scientific intelligence…

– [Mod] Several areas progress at the same time.

… yes, but to combine all of these and proclaim that the sum of these parts makes a human is, I am convinced, the wrong conclusion.

DB mentions the Open letter on AI and how Stephen Hawkins thinks AI could bring the end of mankind.

The point you’ve been making about being worried that there will be a threat 50 or 100 years from now [in form of a robot uprising]… it’s still rather hypothetical and I suggest we leave it to Hollywood and science fiction authors. However, there’s the much more recent issue of weapons such as L.A.W.S., lethal autonomous weapon systems. These have been very well created by humans. At one point it is a political issue: what do we want to do with these possibilities – no matter whether we call it “AI”, or “technological power”, or whatever. It is a questions for humans, why do we want to use it, what do we want to develop. We’re all impressionable by a robot, and well, a bi-pedic, advancing on two legs…

– [Mod] … you’res speaking of Google’s Atlas robot. It walks on its own on snow, and if pushed it gets up again.

Yes, and that really is impressive technologically speaking. However, let’s not forget that Boston Dynamics is also in the military business, and even if Google makes promises about its use…

– [Mod] … it will only be used for the love of humanity.

[youtube https://www.youtube.com/watch?v=rVlhMGQgDkY?rel=0]

To balance things, HK underlines areas where AI is used for good, e.g. the medical domain, care, etc.

– [Mod] Your last words, Anna Jobin?

I’d like to take up what Huma Khamis said. The potential exists, but it is up to humans to make up their minds what they will use it for, it is used for good? But also: are predictions based on the correct model? Meaning: in which area might it be useful to predict the future based on the past, and whether, for instance, statistical evaluations are the right model. If a computer is right 99% of the time, I wouldn’t want to be the 1% case. How are we going to deal with these question with regard to potential harm, with regard to transparency of the process, and with regard to responsibility?

– [Mod] Anna Jobin, sociologist and doctoral candidate at the Laboratory of Science and Technology of Lausanne University, thank you for accepting our invitation.

SGS-SSS: Call for papers // Appel à contributions

Tl;dr (in English): Together with a brilliant colleague of mine I organize a panel at the Congress of the Swiss Sociological Association (held in Zurich, June 21-23) about the political dimensions of digital platforms. Please consider contributing in English, German or French by February 20, 2017.

Cf. plus bas pour la version française.

Alle zwei Jahre findet der Kongress der Schweizerischen Gesellschaft für Soziologie statt, das nächste Mal am 21.-23. Juni in Zürich. Zusammen mit Loïse Bilat organisiere ich dort einen akademischen Workshop zum Thema der Informationsfragmentierung aus soziotechnischer Sicht. Der Workshop ist aus der Konvergenz unserer Forschungsinteressen heraus entstanden, denn meine Kollegin ist spezialisiert auf die Analyse ideologisches Gedankenguts, insbesondere der neoliberalen Ideologie. Dazu laden wir interessierte Forschende ein, ihre Ergebnisse und/oder Überlegungen auf englisch, deutsch oder französisch vorzustellen und zu diskutieren.

Common-Good-and-Self-Interest-Sociology-Switzerland-Conference

Hier unser “call for contributions”:

Politische Dimensionen digitaler Plattformen: ein soziotechnischer Ansatz der Informationsfragmentierung

Stichworte: Soziotechnik, STS, Medienepistemologie, Politische Soziologie, Ideengeschichte

Continue reading

[French] Algorithmes: entretien et suggestions de lectures

Prologue

Un magazine grand public paru cette semaine m’a cité dans le cadre d’un dossier sur les algorithmes. Intitulé “Les algorithmes veulent-ils notre peau?”, il ne donne pas de réponse définitive à la question posée mais aborde le sujet sous plusieurs angles en donnant la parole à des spécialistes de différents domaines.

L’article a été rédigé peu avant les élections américaines mais son sujet ne pourrait guère être davantage au coeur de l’actualité: parmi d’autres thématiques brulantes (telles que notamment la responsabilité des médias et de leur approche journalistique, la fonction des sondages, les facteurs sociaux qui favorisent l’extremisme et l’autoritarianisme) le résultat surprenant de cette élection présidentielle a également attiré l’attention sur le rôle potentiellement joué par les plateformes en ligne et leur gestion algorithmique des news, vraies ou fausses.

Pour son dossier dans Femina, le journaliste Nicolas Poinsot m’avait posé sept questions dont seule une petite partie des réponses s’est retrouvée dans la version finale faute de place. Il m’a gentiment donné la permission de reproduire l’entretien dans son intégralité, que vous pouvez lire ci-dessous. La question de l’influence des plateformes numériques sur la politique actuelle n’y est pas abordée, mais en vue de l’actualité il me semble bon d’ajouter quelques propositions de lecture à la fin de ce billet.

L’entretien

– Quels domaines de notre vie sont concernés par les algorithmes?
AJ: Dès que nous utilisons internet, un outil numérique ou simplement un appareil automatisé, nous interagissons directement avec des systèmes algorithmiques. S’y ajoute l’influence indirecte des algorithmes, par exemple le fait que nous habitions un monde de plus en plus optimisé pour une gestion algorithmique, que nous en fassions usage ou non.

– Observe-t-on une augmentation de l’usage de ces algorithmes depuis ces dernières années. Et si oui pourquoi?
AJ: Oui, clairement, et c’est lié à la numérisation. Il convient d’en distinguer deux caractéristiques principales: d’un côté, les algorithmes numériques permettent d’automatiser un grand nombre de tâches et processus à coût relativement faible. De l’autre côté, il y a l’optimisation: grâce au traitement automatique des données numériques ces dernières peuvent être récoltées, stockées et exploitées de manière exhaustive et très ciblée.

– Quelles sont les évolutions et les excès possibles avec le “deep learning”? Continue reading

Google Autocomplete revisited

Google autocomplete showing autocomplete suggestions for the search query "Google autocomplete re"«Did Google Manipulate Search for [presidential candidate]?» was the title of a video that showed up in my facebook feed. In it, the video host argued that upon entering a particular presidential candidate’s name into Google’s query bar, very specific autocomplete suggestions are not showing up although – according to the host – they should.

I will address the problems with this claim at a later point, but let’s start by noting that the argument was quickly picked up (and sometimes transformed) by blogs and news outlets alike, inspiring titles such as «Google searches for [candidate] yield favorable autocomplete results, report shows», «Did [candidate]’s campaign boost her image with a Google bomb?», «Google is manipulating search results in favor of [candidate]», and «Google Accused of Rigging Search Results to Favor [candidate]». (The perhaps most accurate title of the first wave of reporting is by the Washington Times, stating «Google accused of manipulating searches, burying negative stories about [candidate]».)

I could not help but notice the shift of focus from Google Autocomplete to Google Search results in some of the reporting, and there is of course a link between the two. But it is important to keep in mind that manipulating autocomplete suggestions is not the same as manipulating search results, and careless sweeping statements are no help if we want to understand what is going on, and what is at stake – which is what I had set out to do for the first time almost four years ago.

Indeed, Google Autocomplete is not a new topic. For me, it started in 2012, when my transition from entrepreneurship/consultant into academia was smoothed by a temporary appointment at the extremely dynamic, innovative DHLab. My supervising professor was a very rigorous mentor all while giving me great freedom to explore the topics I cared about. Between his expertise in artificial intelligence and digital humanities and my background in sociology, political economy and information management we identified a shared interest in researching Google Autocomplete algorithms. I presented the results of our preliminary study in Lincoln NE at DH2013, the annual conference of Digital Humanities. We argued that autocompletions can be considered “linguistic prosthesis” because they mediate between our thoughts and how we express these thought in written language. Furthermore, we underlined how mediation by autocompletion algorithms acts in a particularly powerful way because it intervenes before we have completed formulating our thoughts in writing and may therefore have the potential to influence actual search queries. A great paper by Baker & Potts, published in 2013, has come to the same conclusion and questions “the extent to which such algorithms inadvertently help to perpetuate negative stereotypes“.

Back to the video and its claim that, upon entering a particular presidential candidate’s name into Google’s query bar, very specific autocomplete suggestions are not showing up although they should. But why should they show up? The explanation Continue reading