Algorithmen

Fragestellung

Traditionelle Nachrichtenangebote sind in der Regel redaktionell erstellte Inhalte: JournalistInnen recherchieren Informationen, bereiten sie auf und produzieren Medienangebote, um diese Informationen zu verbreiten. Dabei sind Arbeitskraft, Geld und Zeit beziehungsweise Platz natürlich begrenzt, womit sich immer die Frage stellt, wie die Ressourcen der Redaktionen, der verfügbare Platz in einer Zeitung oder die Sendezeit in Fernsehnachrichten genutzt werden sollen: Welche Ereignisse sind wichtiger oder weniger wichtig? Welche Themen sollen es in welcher Reihenfolge in die Nachrichten schaffen? Wieviel Zeit oder Platz soll jedem Thema eingeräumt werden? Diese Vorauswahl von Themen (u.a. in der Medienforschung spricht man von einer Gatekeeper-Funktion der Medien) ist ein wesentlicher Bestandteil journalistischer Arbeit und beeinflusst, aus welchen Informationen MediennutzerInnen überhaupt auswählen können.

Mit der zunehmenden Entwicklung von Online-Angeboten, v.a. in sozialen Medien, sind heute aber nicht mehr nur Redaktionen verantwortlich dafür, welche Informationen die MediennutzerInnen erreichen. Zwar werden immer noch viele Artikel oder Beiträge journalistisch erstellt, sie werden heute aber zunehmend automatisiert durch Algorithmen zusammengestellt und den NutzerInnen präsentiert. Der Entscheidungsprozess, welche Nachrichten die NutzerInnen erreichen, liegt dann also nicht mehr in den Händen ausgebildeter JournalistInnen, sondern ist Ergebnis eines (häufig unter Verschluss gehaltenen) Algorithmus eines Unternehmens wie z.B. Facebook.

Das Format “Geht’s noch” des WDR behandelte in der Sendung vom 04. Juni 2018 unter anderem dieses Thema der Nachrichtenauswahl durch Algorithmen. Als universitärer Partner von WDR-Redakteurin Inga Hinnenkamp führten Prof. Frank Schwab, Michael Brill und Liv Bierhalter vom Lehrstuhl für Medienpsychologie der Universität Würzburg begleitend ein gemeines Forschungsprojekt in der Art einer Pilotstudie durch. In diesem Projekt interessierte uns, ob (und wenn ja: wie) sich bei MediennutzerInnen die Wahrnehmung der Welt verändert, wenn sie ihre Informationen entweder nur aus redaktionell zusammengestellten, klassischen Medienangeboten beziehen oder aber nur aus einer automatisierten Zusammenstellung eines Algorithmus.

Das Projekt steht damit in der Tradition der Medien- und Nachrichtenforschung, die sich seit langem dafür interessiert, wie Informationen über die Welt aufgenommen werden, verarbeitet werden und welche Wirkungen das letztendlich auf die Weltsicht einer Person hat. Aus der Fernsehforschung sind z.B. sogenannte Kultivierungseffekte bekannt, bei denen die Weltsicht durch Inhalte beeinflusst werden kann, die häufig im Fernsehen angeschaut werden. VielseherInnen von Krimis überschätzen dann beispielsweise die Häufigkeit von Verbrechen in der realen Welt. Es war also naheliegend, nach ähnlichen Effekten bei der Informationsvermittlung durch neuere Medien zu suchen - hier eben mit der Besonderheit, dass (wahrscheinlich überwiegend) Algorithmen statt Menschen die Informationen zusammenstellen.

Vorgehen

Um diese Fragen experimentell zu untersuchen, wurden in der Studie 28 Freiwillige auf eine dreiwöchige “Mediendiät” gesetzt. Die TeilnehmerInnen wurden zufällig einer von zwei Bedingungen zugeteilt: Sie sollten sich drei Wochen lang entweder nur mit Hilfe klassischer Medienangebote über das aktuelle Geschehen informieren (Kontrollgruppe) oder sich nur mit Hilfe algorithmisch zusammengestellter Medienangebote informieren, also etwa auf Facebook (Experimentalgruppe). Für ihre Teilnahme erhielten sie eine finanzielle Aufwandsentschädigung durch den WDR.

Das vorgeschriebene Mediennutzungsverhalten wurde begleitet durch eine Reihe von schriftlichen Online-Befragungen vor, während und nach der dreiwöchigen Testphase. In diesen drei Bestandteilen wurden unter anderem die folgenden Fragen gestellt:

Startbefragung:
Fragen zur Person, Gewohnheiten und Motive der eigenen Mediennutzung, Vertrauen in Nachrichtenangebote, Fragen zur persönlichen Sicht auf die Welt.

Tagebuch:
Eigene Stimmung, persönlich wichtigste Meldung des Tages, zusammenfassende Bewertung aller Meldungen des Tages, Fragen zur Weltsicht.

Abschlussbefragung:
Nutzungsmotive während der drei Wochen, Fragen zur Weltsicht, Fragen zur Angst, einem Verbrechen zum Opfer zu fallen, Schätzung verschiedener Sachverhalte rund um Kriminalität, Vertrauen in die genutzten Medien, Selbsteinschätzung des Informiertseins, etwaige Veränderung der Mediennutzung, genutzte Nachrichtenquellen während des Experiments.

Nach Abschluss der Untersuchung lagen dadurch insgesamt 606 einzelne Fragebögen vor: 28 Start-Befragungen der TeilnehmerInnen vor Beginn der Testphase, 551 kurze tägliche Befragungen während der Testphase und 27 Abschluss-Befragungen nach dem Ende der Testphase. Aus den Zahlen geht schon hervor, dass nicht alle TeilnehmerInnen das geforderte Antwortverhalten eingehalten haben. Trotzdem war es anhand der Daten möglich einzuschätzen, wie sich verschiedene Aspekte der Mediennutzung und der Weltsicht der TeilnehmerInnen über die drei Wochen hinweg verändert hatten.

Zusätzlich wurden alle TeilnehmerInnen gebeten, in einer kurzen wöchentlichen Videobotschaft ihre Eindrücke vom Geschehen in den Nachrichten zu schildern. Vier TeilnehmerInnen besuchten außerdem das Labor des Lehrstuhls für Medienpsychologie an der Universität Würzburg und wurden beim Lesen ihrer täglichen Nachrichten mit Videokameras beobachtet. Veränderungen der Mimik wurden während dieser Mediennutzung unsystematisch beobachtet und im Anschluss im Gespräch mit der Selbsteinschätzung der Probanden verglichen.

Ergebnisse

Nach dem Ende der Erhebung wurden die Daten statistisch ausgewertet. Bei einer solchen Auswertung wird abgeschätzt, wie wahrscheinlich es ist, dass beobachtete Effekte zufällig zustande gekommen sind. Ergibt die Rechnung, dass das gefundene Ergebnis nur sehr unwahrscheinlich auf Zufall beruht (laut Konvention mit einer Wahrscheinlichkeit kleiner 5%; ein sogenanntes statistisch bedeutsames oder signifikantes Ergebnis), nimmt man an, dass eben nicht ein Zufall, sondern eine tatsächliche Ursache zu dem Ergebnis geführt hat. Da in unserem Feld-Experiment beide Versuchsbedingungen bis auf die vorgeschriebene Mediennutzung gleich gehalten wurden, ist die wahrscheinlichste Ursache für etwaige Unterschiede zwischen Facebook-Gruppe und Klassische-Medien-Gruppe die unterschiedliche Mediennutzung.

Bei der Interpretation sollte bedacht werden, dass die untersuchte Stichprobe relativ klein war. Dadurch werden in der Berechnung nur große Effekte signifikant und die Berechnungen sind weniger robust gegenüber zufälligen Schwankungen in den Daten. Belastbarer wären Ergebnisse aus einer größeren Untersuchung, als erste Anhaltspunkte sind die Aussagen unserer kleineren Studie aber trotzdem interessant.

In Vorher-Nachher-Vergleichen wurde untersucht, welche Effekte die geforderte “Mediendiät” mit “nur Facebook” oder “nur klassische Medienangebote” hatte. Bezüglich der Weltsicht zeigte sich bei einer Frage ein signifikanter Unterschiede zwischen den Gruppen; eine weitere Frage war knapp nicht signifikant verschieden, bei vier Fragen ließen sich in dieser Stichprobe keine signifikanten Unterschiede nachweisen (n.s.: nicht signifikant; p und eta² sind statistische Angaben):

N.s.: “Die meisten Menschen nutzen ihre Mitmenschen aus, wenn sie dazu Gelegenheit haben.”
N.s.: “Im Umgang mit anderen Menschen kann man nicht vorsichtig genug sein.”
N.s.: “Im Allgemeinen bemühen sich die Leute, hilfsbereit zu sein.”
p < .018, eta² = 0.233: “Es geht kaum friedlich auf dieser Welt zu.”
N.s., p = .059 eta² = 0.140: “Es geht kaum gerecht auf dieser Welt zu.”
N.s.: “Man muss sich in dieser Welt um seine Sicherheit sorgen.”

Während der dreiwöchigen Testphase wurde auch täglich abgefragt, für wie friedlich, sicher und gerecht die Welt gehalten wurde. Dabei zeigte sich interessanterweise, dass die Facebook-NutzerInnen während den drei Wochen fast durchgängig eine leicht positivere Sicht auf die Welt hatten. Die Größe dieses Effekts wurde jedoch in unserer Auswertung nicht rechnerisch untersucht.
In der täglich abgefragten Stimmung lagen die beiden Gruppen ebenfalls sehr nah zusammen; in den Gruppenmittelwerten zeigte sich eine leicht bessere Stimmung in der Facebook-Gruppe, rechnerisch wurde dieser Unterschied aber nicht untersucht.
Bei den täglichen Bewertungen der Meldungen des Tages lagen beide Gruppen meistens ebenfalls dicht beieinander, punktuelle Unterschiede könnten auf prominente Themen in den Nachrichten zurückgehen. Dazu wurde aber keine weitergehende Auswertung durchgeführt.

Für weitere Angaben aus der Abschlussbefragung wurde untersucht, ob (und wenn ja: wie weit) die beiden Gruppen nach der Testphase auseinander lagen. Weil die TeilnehmerInnen zufällig auf beide Gruppen verteilt wurden, kann man wieder davon ausgehen, dass gefundene Unterschiede Folge der unterschiedlichen Mediennutzung sind:

Beide Gruppen wurden mit Hilfe einiger Fragen hinsichtlich ihrer Angst verglichen, Opfer eines Verbrechens zu werden (Viktimisierungsangst) und wurden gebeten, Schätzungen zu Häufigkeiten oder Vorkommen von Verbrechen und verwandten Sachverhalten zu abzugeben (Kriminalitätsschätzungen). Dabei ließen sich anhand unserer Stichprobe keine signifikanten Unterschiede zwischen beiden Gruppen feststellen.

Hinsichtlich des Vertrauens in die während des Tests genutzten Medien zeigte sich, dass die TeilnehmerInnen der Facebook-Gruppe signifikant weniger Vertrauen in ihre Informationsquelle hatten (p = .002, d = -1.51).

Hinsichtlich der Nutzungsmotive fanden sich keine signifikanten Unterschiede zwischen den Gruppen. Ebensowenig unterschieden sich die Angaben, ob sich der Umfang der Mediennutzung während des Experiments verändert habe.

Die TeilnehmerInnen der Facebook-Gruppe fühlten sich signifikant weniger gut informiert als die Kontrollgruppe (p < .001, d = -2.07). Sollten die TeilnehmerInnen ihr Gefühl, gut informiert zu sein vergleichen mit ihrem “normalen Level” von Informiertsein außerhalb des Experiments, so fühlte sich die Facebook-Gruppe im Vergleich zur Kontrollgruppe tendenziell schlechter informiert als sonst, der Unterschied war aber in unserer Stichprobe nicht signifikant.

Zusätzlich wurden noch die täglichen Abfragen des wichtigsten Themas während der Testphase ausgewertet, um zu überprüfen, ob die Facebook-Gruppe sozusagen abgehängt war von den Themen, die in den Nachrichten in den klassischen Medien vorkamen. Dazu wurden zuerst die jeweiligen Nennungen einzelnen Nachrichtenthemen zugeordnet. Dann wurde berechnet, wieviel Prozent der Facebook-TeilnehmerInnen ein Thema als ihr Top-Thema nannten, das gar nicht in den Nennungen der Gruppe “Klassische Medien” vorkam. Im Durchschnitt über die dreiwöchige Testphase lag dieser Anteil bei 53%, schwankte jedoch sehr stark mit Extremwerten von 13% und 85%. Es gab also Tage, an denen die Facebook-NutzerInnen fast alle völlig andere Themen für wichtig hielten als die Gruppe “Klassische Medien”, aber auch Tage, an denen beiden Gruppen die gleichen Themen wichtig waren. Es wurden keine weiteren Auswertungen durchgeführt, aber es kann vermutet werden, dass wichtige, z.B. weltpolitische Themen auch in den sozialen Netzwerken viel Resonanz fanden und dann auch von den Facebook-TeilnehmerInnen als entsprechend wichtig genannt wurden.

Fazit und offene Fragen

Bei der Interpretation der Ergebnisse sollte beachtet werden, dass die Stichprobe vergleichsweise klein war; deutlich besser abgesicherte Aussagen wären bei einer größeren Erhebung möglich. Außerdem mussten einige Probanden ausgeschlossen werden, weil sie während den drei Wochen nur wenige Fragebögen ausgefüllt hatten. Auch unter den verbliebenen Probanden gab es hin und wieder fehlende Tagebuch-Befragungen, so dass die verschiedene Anzahl von ProbandInnen pro Tag zusätzliche Schwankungen in den Verlaufsmaßen verursacht. In einer so kleinen Stichprobe können extreme Angaben einzelner ProbandInnen außerdem einen größeren Einfluss auf das Ergebnis haben als in einem größeren Datensatz.

Für weitere Untersuchungen bietet diese explorative Studie einige Ansatzpunkte, um Unterschiede in den Wirkungen traditioneller und sozialer Medien zu untersuchen: So könnte der individuelle Zuschnitt der präsentierten Informationen auf die eigenen Vorlieben bei manchen NutzerInnen z.B. zur Bildung von “Echokammern” führen, während die Steuerung entlang persönlicher Interessen bei anderen NutzerInnen dagegen zu einer positiveren Sicht auf die Welt führen könnte. Man könnte spekulieren, inwieweit die Nachrichtenauswahl durch einen Algorithmus als eine Art “neutraler” Verstärker für die vorhandenen Interessen und Eigenschaften der NutzerInnen wirken würde.
Mit der algorithmisch beeinflussten Nachrichtenaufnahme könnte auch eine insgesamt verringerte Aufnahme von (negativen) Nachrichten einher gehen. Das könnte die Befunde erklären, nach denen die Facebook-Gruppe sich im Mittel schlechter informiert fühlte, aber tendenziell eine bessere Stimmung hatte. Eine objektive Abfrage des Wissens über Nachrichtenthemen und eine genauere Aufzeichnung der aufgenommenen Informationen könnte helfen zu untersuchen, inwieweit die Facebook-NutzerInnen tatsächlich schlechter informiert sind. Mit einem genaueren Überblick über das Mediennutzungsverhalten könnte auch besser mit einer mangelnden Trennschärfe in den verschiedenen Medienangeboten umgegangen werden, z.B. wenn das klassische Medienprodukt Tagesschau einfach über Facebook genutzt wird.

Mit Blick auf die Interaktionsmöglichkeiten in neuen Medien könnte es außerdem eine Rolle spielen, dass die sozialen Medien mehr und vor allem direktere Möglichkeiten bieten, auf eine Nachrichtenmeldung zu reagieren. Verglichen mit den klassischen Medienangeboten könnte das zu einem stärkeren Gefühl der Selbstwirksamkeit führen und die Wirkung negativer Meldungen abmildern.

Wir möchten uns abschließend noch einmal bei allen TeilnehmerInnen für ihre Mitarbeit bedanken. Wir hoffen, dass es (vielleicht trotz eventueller persönlicher Einschränkungen) eine interessante Erfahrung für Sie war. Für weitere Fragen stehen wir Ihnen gerne zur Verfügung.

Der Beitrag ist voraussichtlich bis zum 04.06.2019 in der WDR Mediathek verfügbar:

https://www1.wdr.de/mediathek/video/sendungen/video-die-macht-des-algorithmus-100.html