Mit KI gegen Hass im Netz und sexualisierte Gewalt

Leah Schrimpf:
Wir haben heute einen Deep Dive mit ganz besonderen Gästen und ganz besonderen Praxisbeispielen zum Thema Tech for Good. 

Die Debatte über Technologie wird vor allem in der Öffentlichkeit in letzter Zeit häufig negativ bestimmt. Es geht um die Angst vor Arbeitsplatzverlust durch künstliche Intelligenz, um die systematische Verbreitung von Desinformation über soziale Medien und andere Medienformen. Das heißt: Wir sprechen an vielen Stellen darüber, wo Technologie zu einem Problem in unserem Alltag und in unserer Gesellschaft werden kann. Deshalb wollen wir in dieser Folge noch einmal ein Schlaglicht darauf werfen, wo Technologie vielleicht auch Teil der Lösung sein kann und wo ganz unterschiedliche Praxisbeispiele Technologie als Lösungsansatz für konkrete gesellschaftliche Herausforderungen einsetzen. Wie das aussehen kann, darum soll es heute gehen. 

Dafür habe ich drei tolle Gäste eingeladen. Wir sind heute eine All-Female-Round in diesem Tech-Weekly-Spezial. Anna, Sara und Julia sind heute bei mir. 

Wer sie sind und was sie machen, sollen sie euch selbst erzählen. Erst einmal ganz herzlich willkommen an euch drei. Schön, dass ihr da seid. 

Anna, Julia, ihr seid von WhisperToMe. Was das genau ist, dazu sprechen wir gleich. Aber stellt euch doch zunächst jeweils einmal kurz vor. Was sollten die Zuhörerinnen und Zuhörer über euch wissen, bevor wir starten?

Anna Giro:
Mein Name ist Anna Giro, ich bin Mitgründerin von WhisperToMe. Ich bin Kriminalkommissarin am Landeskriminalamt im Bereich Sexualstraftaten zum Nachteil von Erwachsenen tätig und habe im vergangenen Jahr meinen Master in Sicherheitsmanagement absolviert. Vor ziemlich genau einem Jahr habe ich gemeinsam mit Julia WhisperToMe gegründet – eine Plattform, die Betroffenen von sexualisierter Gewalt Unterstützung bietet.

Dr. Julia Danckwerth:
Ich bin Julia. Ich arbeite in Berlin in einem Softwareunternehmen und leite dort den Bereich Innovation und Experience. Davor war ich lange in der Anwendungsforschung, habe viele Jahre mit Patientinnen und Patienten gearbeitet und an smarten Textilien geforscht. Dadurch hatte ich eigentlich immer einen großen Schwerpunkt auf Patientendaten, Daten allgemein, Datensparsamkeit und der Frage, wie man verantwortungsvoll damit umgeht. Deshalb hatte das Thema Datenschutz bei uns von Anfang an eine sehr große Bedeutung.

Leah Schrimpf:
Ihr beiden habt sehr unterschiedliche Hintergründe. Darauf kommen wir gleich sicherlich noch einmal zurück, gerade mit Blick darauf, wie diese unterschiedlichen Perspektiven euer Projekt beeinflusst haben. Wir machen aber erst einmal weiter mit Sara. Was sollten die Zuhörerinnen und Zuhörer über dich wissen?

Sara Egetemeyr:
Ich bin Sara Egetemeyr, wohne in der Nähe von Freiburg und bin Co-Gründerin von PENEMUE. Wir sind ein KI-Startup, das sich um Schutz vor Hass im Netz kümmert. Ursprünglich komme ich aus der BWL, Philosophie und den Kulturwissenschaften und habe vorher schon einmal gegründet. Das Thema Unternehmertum liegt mir deshalb sehr am Herzen – vor allem die Frage, wie man mit Unternehmertum gesellschaftliche Probleme angehen kann. Da bin ich hier, glaube ich, genau richtig.

Leah Schrimpf:
Julia, Anna, ihr habt WhisperToMe gerade schon ein bisschen angeteasert und erklärt, in welche Richtung eure Arbeit geht. Julia, vielleicht erzählst du uns noch einmal kurz: Was ist WhisperToMe genau? Und Anna, vielleicht kannst du danach ergänzen, wie ihr überhaupt auf die Idee gekommen seid und warum ihr dieses Projekt initiiert habt.

Dr. Julia Danckwerth:
Ganz einfach beschrieben war uns wichtig, Betroffenen von Grenzüberschreitungen, Grenzverletzungen, sexualisierter Gewalt oder sexueller Belästigung einen möglichst anonymen und niedrigschwelligen Zugang zu Informationen und Unterstützung zu geben. Eine Beobachtung war für uns damals sehr wichtig: Viele Menschen holen sich heute Lebensrat bei ChatGPT. Das hat natürlich Vorteile. Es fühlt sich anonym und geschützt an, man gibt vermeintlich wenig von sich preis und kann jede Frage stellen. Das wird häufig kritisch betrachtet – gerade mit Blick auf Daten. Aber ich glaube, der richtige Ansatz ist nicht, Nutzerinnen und Nutzer zu belehren, sondern Strukturen zu schaffen, die eine ähnlich gute User Experience bieten, aber eben sicher sind. Das war unser Ansatzpunkt.

Das Herzstück von WhisperToMe ist deshalb ein Chatbot. Dort kann ich eine Situation schildern, die mir passiert ist – mit meinem Partner, bei der Arbeit, im Sportverein oder vielleicht auch etwas, das mir meine Kinder erzählen. Ich kann auch Situationen beschreiben, die ich beobachtet habe oder aus meinem Umfeld kenne und nicht einordnen kann. Also Fragen wie: War das eine Grenzverletzung? Ist das noch in Ordnung oder wurde hier eine Grenze überschritten? Gerade für Betroffene ist diese erste Einordnung enorm wichtig. Erst wenn ich verstehe, dass mir möglicherweise Unrecht widerfahren ist, kann ich überhaupt gezielt Hilfe suchen und in Anspruch nehmen. Und genau da liegt vermutlich auch ein Grund für das große Dunkelfeld: Viele Menschen trauen sich aus Angst oder Scham nicht, diesen ersten Schritt zu machen.

Leah Schrimpf:
Das heißt, ich bringe einen konkreten Fall mit – etwas, das ich selbst erlebt habe oder von dem ich gehört habe – und tippe das in eine webbasierte Oberfläche ein. Vielleicht kannst du unsere Zuhörerinnen und Zuhörer einmal mitnehmen: Wie läuft das genau ab und was bekomme ich am Ende als Ergebnis?

Dr. Julia Danckwerth:
Wenn man auf unsere Website kommt, erscheint zunächst ein Disclaimer. Das ist besonders für Betroffene partnerschaftlicher oder häuslicher Gewalt wichtig, weil Täterinnen oder Täter teilweise Zugriff auf die Endgeräte haben. Danach kann ich den Chat öffnen und relativ schnell meine Frage eingeben oder meine Situation schildern. Wenn bestimmte Informationen nicht bereits in der ersten Eingabe enthalten sind, stellt das System in der Regel vier Rückfragen. Diese sind wichtig, um die Situation richtig einordnen zu können. Die Informationen, die wir ausgeben, basieren auf einem RAG-System. Hinterlegt sind beispielsweise Gesetzestexte aus dem Allgemeinen Gleichbehandlungsgesetz, dem Strafgesetzbuch und forensische Dokumente. Daraus speisen sich die Antworten. Ergänzt wird das Ganze durch deterministische Komponenten.

Anna Giro:
Also durch Regeln, die wir gemeinsam mit unserem Expertennetzwerk entwickelt haben und stetig weiterentwickeln. Für eine möglichst valide Antwort brauchen wir bestimmte Informationen. Zum Beispiel das Alter der betroffenen Person. Wenn es sich um eine minderjährige Person handelt, verändert das LLM unter anderem seine Tonalität und auch der weitere Pfad ist ein anderer. Dann ist wichtig, wie lange eine mögliche Straftat zurückliegt, weil das mit Verjährungsfristen zusammenhängen kann. Viele Betroffene von Kindesmissbrauch beschäftigen sich erst später im Leben wieder mit dem Thema und suchen dann Rat. Auch deshalb ist diese Information relevant. Außerdem fragen wir, ob der Vorfall in Deutschland stattgefunden hat, weil der Ort für die rechtliche Einordnung wichtig ist. Momentan decken wir nur die deutsche Rechtslage ab. Und schließlich ist wichtig, ob die Situation im privaten oder beruflichen Kontext stattgefunden hat, weil beispielsweise AGG und StGB unterschiedliche Bereiche abdecken.

Dr. Julia Danckwerth:
Genau. Gleiche Handlungen können je nach Kontext unterschiedlich bewertet werden. Die Antwort ist anschließend sehr strukturiert. Zunächst gibt es eine Kurzantwort und danach klare nächste Schritte. Gerade das ist wichtig. Wenn es etwa um vertrauliche Spurensicherung oder Beweissicherung geht, kann eine zeitliche Komponente entscheidend sein. Dann muss eine betroffene Person wissen: Was muss ich jetzt akut tun? Auch im Arbeitsrecht kann beispielsweise wichtig sein, bestimmte Dinge zu dokumentieren. Wir versuchen, das empathisch und traumasensitiv zu formulieren und die betroffene Person zu stärken, ohne dabei zu sehr in eine AI-Companion-Rolle abzudriften. Danach bekommt man passende Hilfsangebote, die auf die jeweilige Situation abgestimmt sind. Wenn beispielsweise einer jungen Frau im Sportverein etwas Grenzüberschreitendes passiert ist, kann sie gezielt an SafeSport verwiesen werden. Das Ganze setzt sich also aus mehreren Komponenten zusammen. Wir arbeiten dabei auch mit verschiedenen Partnerorganisationen zusammen und verweisen direkt auf sie. Und natürlich kann man anschließend weitere Rückfragen stellen.

Leah Schrimpf:
Anna, gerade aus deiner Perspektive würde mich interessieren, welche Lücke ihr mit diesem Angebot schließen wolltet. Wie kam es dazu, dass ihr gesagt habt: So etwas braucht es?

Anna Giro:
Ich möchte vorher ganz kurz klarstellen, dass ich heute nicht als Polizistin hier bin, also nicht im Auftrag meiner Behörde, sondern als Privatperson beziehungsweise als Gründerin von WhisperToMe. Julia und ich sind schon viele Jahre befreundet. Und auch bevor ich selbst im Bereich Sexualstraftaten tätig war, haben wir immer wieder darüber gesprochen, wie schwierig der Zugang zu Hilfe für Betroffene ist. Sexualisierte Gewalt ist immer noch stark tabuisiert. Viele Betroffene kennen ihre Rechte nicht und wissen auch gar nicht, welche Hilfsangebote es gibt. Wir haben deshalb irgendwann gesagt: Da muss man doch heutzutage etwas machen können.

Ich habe auch in der Praxis erlebt, dass Betroffene mir in Vernehmungen gesagt haben: Hätte ich das früher gewusst, hätte ich mir deutlich eher Hilfe geholt. Und gerade im Kontext partnerschaftlicher oder häuslicher Gewalt kann frühzeitige Unterstützung möglicherweise auch Kreisläufe unterbrechen. Bei WhisperToMe konnte ich natürlich Erfahrungen aus der Praxis mitgeben – die Perspektive Betroffener, aber auch die polizeiliche Sicht auf solche Situationen. Zusätzlich haben wir ein großes Netzwerk aufgebaut. Dazu gehört unter anderem ein Richter mit Schwerpunkt Opferschutz. Wir haben Menschen mit unterschiedlichen Betroffenenperspektiven und Expertisen einbezogen und versucht, das gesamte Konstrukt möglichst ganzheitlich zu denken. Ich glaube, das ist uns ganz gut gelungen. Auch für den Polizeialltag könnte WhisperToMe künftig eine Unterstützung für Betroffene sein. Daran arbeiten wir aber noch. Solche Dinge brauchen einfach Zeit. Wir sind erst seit dem 8. März dieses Jahres online und ich denke, da wird in Zukunft noch einiges angestoßen.

Leah Schrimpf:
Jetzt haben wir lange über WhisperToMe gesprochen. Sara, mit PENEMUE haben wir noch ein zweites Best Practice aus dem Bereich Tech for Good dabei. Ihr seid ebenfalls in einem Bereich unterwegs, in dem häufig Unsicherheit darüber besteht: Was sind eigentlich meine Rechte und wie kann ich von ihnen Gebrauch machen? Nur eben im Online-Umfeld.

Sara Egetemeyr:
Genau. Im Netz haben viele Menschen das Gefühl, es sei ein rechtsfreier Raum. Einerseits entsteht der Eindruck, dass dort jeder machen kann, was er möchte. Andererseits glauben Betroffene oft, dass sie sich gegen Übergriffe oder problematische Inhalte nicht wehren können. Wir hatten als Unternehmen bereits vorher im KI-Bereich gearbeitet und verschiedene Dinge entwickelt. Dann kam jemand aus dem Medienbereich auf uns zu und fragte uns, ob wir beim Thema Hass im Netz beziehungsweise digitale Gewalt unterstützen können. Darunter fallen ganz unterschiedliche Dinge – von Hate Speech bis hin zur Veröffentlichung persönlicher Daten.

2023 beziehungsweise 2024 haben wir dann angefangen auszuprobieren: Was kann KI hier leisten? Können wir dieses Problem lösen oder zumindest unterstützen? Wir haben relativ schnell gemerkt, dass das gut funktionieren kann – vor allem, wenn man Expertise aus den Bereichen Antidiskriminierung und Recht mit einbezieht. Über die Zeit haben wir ein Team aufgebaut. Wir sind zu dritt im Founding-Team. Mittlerweile gibt es seit gut einem Jahr ein nutzbares Produkt beziehungsweise mehrere Produkte, die Personen, Unternehmen und Organisationen konkret vor Hass im Netz schützen. Zu Beginn liegt der Fokus auf der eigenen Social-Media-Präsenz. Man kann beispielsweise verhindern, dass strafbare Kommentare dauerhaft sichtbar bleiben. Das können Morddrohungen sein, Vergewaltigungsfantasien oder bildbasierte sexualisierte Gewalt. Auch unerwünschte sexualisierte Bilder können strafbar sein. Und natürlich können auch Beleidigungen strafrechtlich relevant sein.

Unsere Idee ist, eine Art digitalen Schutzengel zu schaffen: Ich soll mich im Netz wieder bewegen und meine Social-Media-Aktivitäten ausüben können, ohne permanent Angst vor dem nächsten Shitstorm haben zu müssen. Das ist für Unternehmen relevant, aber sehr stark auch für zivilgesellschaftliche Organisationen. Wo viel Interaktion stattfindet und beispielsweise Videos viral gehen, kann schnell eine negative Spirale entstehen. Sehr naheliegend ist das im politischen Bereich – bei Parteien, Ministerien oder einzelnen Personen. Und je weiter man auf die kommunale Ebene geht, desto weniger Unterstützungsstrukturen gibt es häufig. Da gibt es ehrenamtlich aktive Menschen, die teilweise täglich Morddrohungen bekommen. Das hat inzwischen extreme Ausmaße angenommen. Ähnliches gilt in der Creator-Branche. Gerade People of Color, queere Menschen oder andere Personen, die besonders häufig Ziel von Hass werden, erleben ein großes Eskalationspotenzial.

Wir wollen einerseits Schutz bieten, indem solche Inhalte herausgefiltert werden und Betroffene nicht alles selbst lesen müssen. Andererseits wollen wir zeigen: Was davon könnte strafbar sein? Und wie kann ich das weiterverfolgen? Wir haben es relativ früh geschafft, eine direkte Schnittstelle zur Justiz zu entwickeln und arbeiten eng mit Staatsanwaltschaften zusammen. Aktuell basiert die rechtliche Einordnung auf dem deutschen Strafrecht. Perspektivisch wollen wir das aber ausweiten. Wir sehen, dass dieses Angebot genutzt wird und sowohl Betroffene als auch Staatsanwaltschaften davon profitieren. Denn wenn wir wollen, dass Straftaten im Internet weniger werden, müssen sie auch verfolgt werden. Unser Ziel war deshalb, diesen Prozess so einfach wie möglich zu gestalten: mit wenigen Klicks, ohne dass Betroffene selbst juristische Expertise benötigen und ohne zwingend zunächst persönlich auf eine Polizeiwache gehen zu müssen.

Leah Schrimpf:
Nehmen wir einmal an, ich bin Bundesdigitalministerin und nutze PENEMUE. Ich bekomme auf Instagram eine Nachricht und bin mir nicht sicher: Ist das nach geltendem Recht strafbar? Kann ich das verfolgen? Wie nutze ich PENEMUE, um das herauszufinden und gegebenenfalls auch direkt die Schnittstelle zur Strafverfolgung zu nutzen?

Sara Egetemeyr:
Der erste Schritt ist, dass du deine Social-Media-Kanäle mit PENEMUE verknüpfst. Wir benutzen dafür die offiziellen Schnittstellen der Plattformen. Man meldet sich also beispielsweise mit Instagram, TikTok oder Facebook bei PENEMUE an. Ab diesem Moment können wir die Kommentare, die über diese Kanäle hereinkommen, einordnen und sortieren. Du siehst direkt: Diese Kommentare sind unproblematisch oder positiv, diese sind problematisch. Bei problematischen Inhalten unterscheiden wir zusätzlich vier Schweregrade. So sieht man sofort, welche Inhalte besonders schwerwiegend sind und welche vielleicht eher in Richtung Spam oder störende Inhalte gehen. Auch Bots schauen wir uns an, weil das ein immer größeres Thema wird. Und du siehst bereits in dieser ersten Übersicht, welche Inhalte potenziell strafrechtlich relevant sind.

Du musst also nicht jeden einzelnen Kommentar noch einmal separat prüfen lassen. Das Ganze wird auch mobil verfügbar sein. Dann bekommt man direkt eine Benachrichtigung, wenn problematische Inhalte auftauchen. Wenn man einen Inhalt anzeigen möchte, klickt man sich durch einige wenige Schritte. Viele Informationen haben wir bereits durch die Schnittstelle. Ergänzt werden kann beispielsweise, ob man die betreffende Person kennt oder ob nur ein Profilname vorliegt. Wenn die Staatsanwaltschaft anschließend bestätigt, dass ein strafrechtlich relevanter Vorgang vorliegt, können die Ermittlungen weitergehen. Und ein weiterer Vorteil ist die Transparenz im Verfahren. Viele Betroffene sagen: Ich war bei der Polizei und habe danach nie wieder etwas gehört. Bei uns kann man zumindest sehen, ob ein Vorgang gerade bearbeitet oder beispielsweise an eine andere Staatsanwaltschaft weitergeleitet wurde. Man bekommt also ein Stück weit mit: Im Hintergrund passiert tatsächlich etwas.

Leah Schrimpf:
Anna hat beschrieben, wie ihr irgendwann den Moment hattet, in dem ihr gesagt habt: Jetzt können wir mit KI wirklich aktiv werden und damit eine konkrete Lücke schließen. Julia, wie war das bei euch? Wann habt ihr gemerkt, dass die Technologie reif genug ist?

Dr. Julia Danckwerth:
Wir hatten vorher schon ungefähr zwei Jahre sehr intensiv an einem anderen KI-Projekt gearbeitet. Damals war die Technologie aber noch an einem anderen Punkt. Bei längeren Chats hattest du beispielsweise relativ schnell einen Drift. Nach mehreren Antworten wurde das System zunehmend unzuverlässig. Das ist heute deutlich anders. Uns war von Anfang an wichtig, dass wir nicht mit Anthropic oder OpenAI arbeiten wollten. Wir haben uns andere Anbieter angeschaut, uns von Expertinnen und Experten beraten lassen und lange ausprobiert, wo die Grenzen liegen. Schließlich haben wir viel mit Mistral gearbeitet, weil uns der europäische Datenraum sehr wichtig war. Im vergangenen Jahr war das technisch aus unserer Sicht dann wirklich gut umsetzbar. Für uns war entscheidend, dass wir unser Produkt mit einer europäischen KI beziehungsweise europäischen Technologie realisieren können.

Leah Schrimpf:
Sara, bei euch war das Thema sicherlich auch relevant.

Sara Egetemeyr:
Auf jeden Fall. Auch für unsere Kundschaft ist das sehr wichtig. Wir sind im Sicherheitsbereich unterwegs und arbeiten zunehmend auch mit Sicherheitsunternehmen zusammen. Themen wie EU-Datenraum, Resilienz und Unabhängigkeit spielen deshalb eine große Rolle. Auch bei uns bleibt alles in der EU. Das ist für uns sehr entscheidend.

Leah Schrimpf:
Anna, ihr bewegt euch mit eurem Projekt inzwischen auch aus eurer eigenen Bubble heraus und wollt in die Breite skalieren. Hast du das Gefühl, dass bei den Menschen inzwischen angekommen ist, dass Technologie nicht nur ein Risiko sein kann, sondern auch gesellschaftlichen Mehrwert schaffen kann? Oder begegnet euch zunächst oft Skepsis im Sinne von: Schon wieder ein KI-basiertes Angebot – und das ausgerechnet bei einem so persönlichen und ernsten Thema?

Anna Giro:
Viel negative Rückmeldung haben wir tatsächlich nicht bekommen. Ich glaube, digitale Nutzung ist inzwischen für die meisten Menschen relativ selbstverständlich. Was viele gar nicht wissen, ist, wie viele Menschen tatsächlich von solchen Delikten betroffen sind und ab wann auch beispielsweise im Arbeitskontext bestimmte Grenzen überschritten sind. Wir haben eher die Erfahrung gemacht, dass eine gewisse Dankbarkeit dafür da ist, dass es jetzt eine digitale, anonyme und niedrigschwellige Möglichkeit zur Information gibt. WhisperToMe ist eben nicht nur eine Plattform, auf der man etwas meldet oder Hilfsangebote findet. Es geht zunächst auch um eine Einordnung. Also dieses Gefühl: Okay, das, was sich für mich falsch angefühlt hat, bilde ich mir nicht einfach ein.

Dr. Julia Danckwerth:
Ich habe schon das Gefühl, dass wir manchmal mit einer gewissen Skepsis starten. Manchmal dauert ein Gespräch etwas länger, dann erklären wir, wie das System funktioniert, und die Perspektive verändert sich. Ich hatte beispielsweise kürzlich einen Austausch mit einer Journalistin. Am Anfang war durchaus etwas Skepsis da – nach dem Motto: Schon wieder ein KI-Tool. Nach dem Gespräch war die Reaktion dann eher: Eigentlich ist das ziemlich cool, was ihr macht. Das passiert uns relativ häufig. Natürlich ist es schade, wenn Leute vorher nur denken: Das ist jetzt das 95. KI-Tool, das irgendwie an ChatGPT hängt, meine Daten frisst und bei dem ich alles preisgebe.

Ganz wichtig ist deshalb für uns immer wieder die Botschaft: Wir wollen dieses Problem nicht mit KI lösen. KI ist nicht die eigentliche Lösung. KI soll den Zugang zur Lösung schaffen. Wir wollen keine bestehenden Beratungsstellen, Psychologinnen und Psychologen oder Anwältinnen und Anwälte ersetzen. Wir sind eine Ergänzung. Denn wir sehen dieses enorme Dunkelfeld und müssen uns fragen: Warum nehmen so viele Menschen überhaupt keine Hilfe in Anspruch?

Leah Schrimpf:
Aber damit seid ihr ja trotzdem eine Ergänzung, die ein konkretes Problem adressiert. Die Dunkelziffer ist hoch, Beratungsstellen sind teilweise überlastet und die Hürde, persönlich irgendwo hinzugehen, kann enorm sein. Es soll also nichts ersetzen, aber es kann eine vorhandene Lücke schließen.

Sara Egetemeyr:
Es ist zumindest eine Brücke von Betroffenen zur Unterstützung. Und ich glaube, auch bei KI-Anwendungen gibt es am Anfang häufig eine gewisse Skepsis. Wenn man aber erklärt, wie ein RAG-basierter Ansatz funktioniert und wie man dadurch bestimmte Risiken reduziert, kann man viele Menschen schon ein Stück weit mitnehmen.

Leah Schrimpf:
Sara, bewegt ihr euch auch noch in diesem Spannungsfeld? Also zwischen dem Nutzen eurer Lösung und der Reaktion: Ah, die 500. KI-Anwendung?

Sara Egetemeyr:
Wir sind in sehr unterschiedlichen Branchen unterwegs. Im Profisport beispielsweise ist es inzwischen gang und gäbe, aktiv nach KI-Lösungen zu suchen. Da gibt es Innovationsabteilungen, die vom Stadion bis zu internen Prozessen vieles digitalisieren wollen. Auf der anderen Seite arbeiten wir auch mit Behörden. Bei Staatsanwaltschaften hatte ich anfangs tatsächlich die größte Sorge. Deshalb war ich sehr froh, dass wir relativ früh eine Vorreiter-Staatsanwaltschaft gefunden haben, die bereit war, diesen Weg mit uns zu gehen. In Politik, Digitalwirtschaft oder Medienhäusern ist KI ohnehin häufig bereits an vielen Stellen im Einsatz. Da habe ich schon das Gefühl, dass die Technologie angekommen ist.

Und bei uns wird der Mehrwert sehr schnell deutlich. Man muss sich vorstellen: Wenn Menschen all diese Kommentare selbst lesen müssten, ist das eine enorme psychische Belastung. Das hält man eine gewisse Zeit aus. Aber irgendwann geht es einfach nicht mehr. Wenn Menschen in diesem Bereich arbeiten, sehen sie den Mehrwert deshalb sofort. Sie müssen nicht den hunderttausendsten Kotz-Emoji persönlich lesen. Und viele Formen von Hass sind viel subtiler. Sie beruhen auf Stereotypen oder impliziten Abwertungen. Auch solche Muster kann KI erkennen.

PENEMUE ist deshalb eher ein Unterstützungssystem. Natürlich kann ich meine Kanäle verbinden, den Schutz sehr hoch einstellen und dann kaum noch selbst hineinschauen. Wir empfehlen aber grundsätzlich, dass Menschen mit dem System arbeiten und Entscheidungen auch überprüfen können. KI sollte Unterstützung sein und nicht ein Autopilot, der vollkommen allein entscheidet. Ein sehr wichtiger Punkt ist deshalb für uns die Nachvollziehbarkeit. Bei uns kann jede Entscheidung, die die KI trifft, angeklickt werden. Dann bekommt man eine Erklärung dafür, warum ein Inhalt so eingestuft wurde. Wir wollten keine Blackbox bauen, bei der am Ende niemand versteht: Warum wurde dieser Kommentar gelöscht und ein anderer nicht? Man kann die Begründung sehen und uns auch Feedback geben, wenn eine Einstufung aus Sicht der Nutzerin oder des Nutzers falsch war.

Leah Schrimpf:
Also auch hier wieder der Ergänzungsgedanke: Technologie erweitert das Toolkit bestimmter Zielgruppen, um konkrete Probleme besser zu lösen.

Sara Egetemeyr:
Genau. Und bei uns gibt es natürlich auch sehr gute Fach- und Beratungsstellen. HateAid ist wahrscheinlich eines der bekanntesten Beispiele. Es gibt außerdem viele spezialisierte Beratungsstellen, etwa für Betroffene rechter oder antisemitischer Gewalt. Mit solchen Organisationen haben wir sehr früh geschaut, wie wir zusammenarbeiten können. Denn wir wollen ihre Angebote ebenfalls nicht ersetzen. Wir haben den technischen Teil und können durch Technologie ermöglichen, dass Beratungsstellen mehr Menschen erreichen. Bei der Menge an Daten wäre es schlicht unmöglich, alles händisch zu screenen. Und genau das finde ich das Spannende: Mit Technologie lassen sich bestehende Ansätze größer denken und dadurch mehr Menschen unterstützen.

Leah Schrimpf:
Das ist eine schöne Überleitung zum Thema Skalierung. Denn ein entscheidender Punkt ist sicherlich, ein Netzwerk und ein Partnernetzwerk aufzubauen, damit Lösungen wie eure tatsächlich diejenigen erreichen, die davon profitieren sollen. Anna, wie stellt ihr sicher, dass WhisperToMe nicht einfach nur eine weitere Website oder ein weiterer Chatbot im Internet bleibt? Wie erreicht ihr Betroffene tatsächlich?

Anna Giro:
Das ist sehr unterschiedlich. Etablierte Hilfsorganisationen sind teilweise sehr dankbar dafür, dass wir ein Tool anbieten, das vorgeschaltet werden kann und eine Brücke zwischen Betroffenen und bereits vorhandenen Hilfsstrukturen bildet. Wenn man aber wirklich in die Breite gehen möchte, muss man natürlich Kontakte zu Unternehmen und Institutionen aufbauen. Da ist das Feedback sehr unterschiedlich. Wir haben bereits tolle Kooperationen und freuen uns darüber, dass wir darüber Sichtbarkeit bekommen.

Gleichzeitig ist sexualisierte Gewalt weiterhin ein tabuisiertes Thema. Bei Unternehmen gibt es deshalb manchmal die Sorge: Wenn wir uns öffentlich dafür einsetzen, entsteht dann der Eindruck, wir hätten intern selbst ein Problem? Wenn es gesellschaftlich normaler wäre, über sexualisierte Gewalt zu sprechen und sich präventiv damit auseinanderzusetzen, wäre es sicherlich einfacher, Unternehmenspartner zu gewinnen. Trotzdem haben wir sehr positive Erfahrungen gemacht. Und Skalierung bedeutet für uns eben nicht einfach nur, möglichst viele Menschen zu erreichen. Wir müssen die Betroffenen in dem Moment erreichen, in dem sie diese Unterstützung brauchen.

Leah Schrimpf:
Gerade weil das Thema so schambehaftet und schwer ist, ist ja die Frage: Wo erreicht man Menschen so, dass sie sich tatsächlich trauen, WhisperToMe einmal auszuprobieren? Also vielleicht in einem stillen Moment zu sagen: Irgendwie war das komisch, was ich gestern im Fahrstuhl erlebt habe. Ich möchte das einmal einordnen.

Dr. Julia Danckwerth:
Wir haben da schon wirklich tolle Partner gefunden. Kamps war zum Beispiel sofort dabei und unterstützt uns unter anderem über Hinweise auf Brötchentüten. Unser Ziel ist, Menschen möglichst niedrigschwellig dort zu erreichen, wo sie ohnehin im Alltag sind. Denn sexualisierte Gewalt zieht sich durch alle Schichten der Gesellschaft. Sehr wichtig sind für uns deshalb auch Apotheken und sogenannte Safe-Space-Apotheken. Das verbindet analog und digital sehr gut. Apotheken sind häufig ohnehin Anlaufstellen für Menschen in schwierigen Situationen. Über einen QR-Code kann man dann in einem stillen Moment unser Angebot ausprobieren.

Solche Kooperationen würden wir gern noch stärker ausbauen – gerade auch im ländlichen Raum. Tankstellen, Raststätten, Bahnhöfe oder Flughäfen wären beispielsweise interessant, weil dort sehr viele unterschiedliche Menschen vorbeikommen. Auch Sportvereine sind wichtig. Und natürlich wären starke Stimmen aus der Öffentlichkeit oder Influencerinnen und Influencer hilfreich, die sich für das Thema einsetzen. Da merkt man aber wiederum die Tabuisierung. Manche fragen sich vermutlich: Was denken die Menschen, wenn ich mich öffentlich für dieses Thema starkmache?

Leah Schrimpf:
Sara, wie war das bei euch, als ihr das Produkt hattet und gesagt habt: Wir haben hier etwas, das bestimmten Institutionen und Personen wirklich helfen kann?

Sara Egetemeyr:
Bei uns ist ein Vorteil, dass wir von außen häufig sehen können, wenn jemand gerade betroffen ist, weil vieles im öffentlichen Raum stattfindet. Wir können also gezielt Menschen oder Organisationen ansprechen, bei denen wir sehen: Da passiert gerade etwas. Das kann hilfreich sein. Aber es kann auch bedeuten, dass man jemanden genau in dem Moment erreicht, in dem die Person überhaupt keinen Kopf dafür hat, sich noch mit einem neuen Tool auseinanderzusetzen – obwohl sie es eigentlich besonders dringend bräuchte.

Ideal ist deshalb, wenn Menschen uns schon kennen, bevor eine Situation völlig eskaliert. Uns hat geholfen, zunächst Branchen zu identifizieren, in denen das Thema schon länger bekannt ist. Sport und Politik sind gute Beispiele. Gleichzeitig sprechen immer mehr Personen des öffentlichen Lebens offen darüber, dass sie Hassnachrichten bekommen. Da ist die Hemmschwelle geringer als bei sexualisierter Gewalt. Das hilft uns, weil Kundinnen und Kunden häufig auch bereit sind, öffentlich darüber zu kommunizieren und zu zeigen: Wir setzen uns gegen Hass ein. Am Ende ist das auch eine Form, sich für Demokratie einzusetzen.

Bei Partnerschaften versuchen wir deshalb von Anfang an mitzudenken: Können wir auch gemeinsam darüber sprechen? Denn selbst heute hören wir noch sehr oft: Das wusste ich gar nicht. Hätte ich doch früher gewusst, dass es so etwas gibt. Deshalb entwickeln wir das bisher webbasierte Angebot jetzt auch als native App. Wir haben viele Nutzerinnen und Nutzer mit großer Reichweite. Für sie soll der Zugang so einfach wie möglich sein. Wenn es einen echten Selfservice gibt, muss man vorher mit niemandem telefonieren und nichts erklären. Man kann die App einfach finden und selbstständig ausprobieren. Und natürlich empfehlen Betroffene solche Angebote auch untereinander weiter. Gerade wenn man beispielsweise als politische Influencerin arbeitet, kennt man oft andere Menschen mit genau denselben Problemen. Auf diesen Effekt setzen wir stark.

Leah Schrimpf:
Ihr habt mit euren Projekten versucht, konkrete Lücken zu füllen und gesellschaftliche Herausforderungen mit Technologie zu adressieren. Ihr seid alle sehr techniknah und wisst, welche Potenziale gerade künstliche Intelligenz haben kann. Deshalb zum Abschluss die Frage an euch alle: Wenn ihr noch einmal ganz von vorne anfangen könntet, unbegrenzt Zeit und Ressourcen hättet – welcher gesellschaftlichen Herausforderung würdet ihr euch als Nächstes mit Technologie widmen?

Dr. Julia Danckwerth:
Für uns ist ziemlich klar, dass wir zunächst WhisperToMe weiter ausbauen möchten. Wir wissen, dass es in Europa bisher kein direkt vergleichbares Tool gibt. Wenn wir die entsprechenden Ressourcen hätten, würden wir die Plattform gern relativ schnell für weitere europäische Länder verfügbar machen. Jedes Land hat eigene Rechtsgrundlagen, eigene Sprachen, eigene Hilfsstrukturen und natürlich auch kulturelle Unterschiede. All das muss berücksichtigt werden, wenn man so ein Tool für weitere Märkte entwickelt. Meine Vision wäre deshalb: ein richtig gutes Team zusammenstellen und WhisperToMe zügig für Europa aufbauen, um möglichst vielen Menschen schnell Unterstützung geben zu können.

Anna Giro:
Wenn ich einmal von unserem eigenen Thema weggehe, würde ich tatsächlich den Bereich Gendermedizin und Frauengesundheit nennen. Damit sind wir über unsere Netzwerke ohnehin ein bisschen verbunden. Ich glaube, dort gibt es noch enormen Bedarf und viel Potenzial – bei Aufklärung, Forschung und Studien. Da sehe ich auch ein großes Potenzial für KI. Es wäre großartig, wenn dieses Thema noch einmal einen richtig starken Push bekommen würde.

Sara Egetemeyr:
Ich würde wahrscheinlich in einem ähnlichen Bereich bleiben – und das ist auch etwas, in das wir perspektivisch gehen wollen. Das Thema bildbasierte sexualisierte Gewalt und Deepfakes fängt gerade erst richtig an. Ich glaube, das tatsächliche Ausmaß ist vielen Menschen noch gar nicht bewusst. Dafür gute Lösungen zu entwickeln, halte ich für enorm wichtig.

Leah Schrimpf:
Vielen Dank, dass ihr euch alle die Zeit genommen habt. Ich finde eure Projekte sehr spannend und wertvoll und wünsche euch, dass es mit Outreach, Skalierung und vor allem mit dem Erfolg genauso gut weitergeht wie bisher. Danke für eure Zeit, danke für diese spannende Folge und hoffentlich bis zum nächsten Mal.