Strategies of an antidemocratic movement

Desinformation, hatespeech and conspiracytheories on social media

As an organization for media education, medialepfade.org develops innovative concepts to explore new digital pathways for learning and participation.

mediale pfade e.V.

  • Jugend hackt 2go (Coding and making for MINTA*)
  • DataSkop (Aunderstanding algorythm)
  • ULAT (Unlearning Anti-feminism on TikTok)
  • Medienkompetenzzentum 

Projects

Educational approach: media ecudaciton, political education, primary and universal prevention

 

Field: Antisemitism, the far right, islamism, antifeminism

 

Pillars of our work: Workshops for youth and young adults, train the trainers

Project AntiAnti

@wirsindantianti

Primary prevention

  • Work with a broad target group
  • use of different educational approaches (medialitercy, politcal education, historical education)
  • Our goal: critical reflection reflection of media usage and own attitude patterns
  • nor suitable for radicalized groups or individuals

 

Prevention of radicalisation

Prevention of radicalization

Technological perspective:
How does it work?

Socio-cultural perspective:
What are the effects?

Usage oriented perspective:
How do I use it?

"Radikalisierung ist die zunehmende Bereitschaft, eine normative Ordnung infrage zu stellen."

Radikalisierung

Quelle: PRIF Report 5/2018

Radikalisierung

Quelle: PRIF Report 5/2018

"Ein komplexer und auf ineinandergreifenden Ebenen stattfindender Prozess mit individuellen, zwischenmenschlichen, gruppenspezifischen, strukturellen, institutionellen, historischen und kulturellen Ursachen."

Radikalisierung

Quelle: PRIF Report 5/2018

Radikalisierung ist normativ offen und deshalb nicht zwingend negativ!

 

Beispiele für Radikalisierung:  Frauenrechtsbewegung, Civil Rights-Bewegung, Klimagerechtigkeitsbewegung

  • Easy access to unverified content

  • Simple explanations for complex issues
    (keyword: conspiracy narratives)

  • Fake news, hate speech, algorithms

  • Professionalization of ideological actors

  • BUT: no online radicalization without offline psychosocial foundations
     

 

Media education, information literacy, and critical thinking are essential for prevention.

 

Online radicalization

 

There are no separate “online versions” of group-focused enmity.However, the digital space offers:
 

  • easy access

  • new formats

  • wide reach

  • less opposition

  • anonymity

  • often a lack of consequences

  • online radicalization frequently leads to offline actions

Online vs. offline?

TikTok

  • Approximately 21 million TikTok users in Germany

  • Around 50% of all 14–19-year-olds have a TikTok account (average use: 90 minutes per day)

  • A key source of information and a search engine for young people

  • Moderation gaps on TikTok

  • Content tends to be more provocative or sensational because emotional reactions generate more engagement than factual communication

  • Engagement logic

  • Algorithmic recommendation system

Engagement logics

News-Stationen:

Ein Ereignis, viele Perspektiven

Nachricht

Falsch-information

Desinformation

überprüfbare Fakten nachvollziehbare Quellen

(gezielt)

"Alle Inseln schrumpfen." 

"Auf Grönland gibt es mehr Eis als vor 12 Jahren." 

absurde Behauptung

schlecht recherchierte Aussage

wahre Fakten in irreführendem Kontext

"Die Inseln im Pazifik wachsen." 

"Das Eis in der Antarktis wächst."

Finanzierung
Absicht


 
Pressecodex
Beispiele
 
Gesetzlich Werbung, Abos Verträge, Sponsoring
Bildung
Information
Gewinn
Klicks durch Schlagzeilen
Reichweite,
schnelle, virale Verbreitung
 
Ja Nein
ARD, ZDF, rbb Zeit, taz, Spiegel Online TikTok, Instagram, Youtube

Private Medien-Unternehmen

Soziale Netzwerke
und Plattformen

Öffentlich-
rechtliche Medien

News-Station

Medienlandschaft besser verstehen

News-Station

Zusammenfassung

Inhalte können sachlich klingen, sind aber verzerrt und falsch

Nachrichten bilden nur einen Teil der Realität ab

auch Öffentlich-Rechtliche Medien können nicht alle Perspektiven berücksichtigen

eine klare Trennung ist nicht möglich:
Private Nachrichtensender und die Öffentlich-Rechtlichen passen sich den Trends auf Social Media an

Was ist Desinformation?

  • Falsche, zielgerichtet erzeugte Informationen
  • Absicht: Schaden für Personen, soziale Gruppen, Organisationen oder Länder
  • Herausforderung: Informationsflut erschwert Unterscheidung zwischen verlässlichen und unzuverlässigen Quellen
  • Strategie: Bewusstes Ausnutzen dieser Überforderung

Quelle: https://wirsindantianti.org/glossar/desinformation/

Wie wirkt Desinformation?

Quelle: https://wirsindantianti.org/glossar/desinformation/

  • Gezieltes Schüren von Zweifeln an etablierten Informationsquellen
  • Wirkung auch ohne vollständigen Glauben an die Falschmeldung
  • Erosion des Vertrauens in alle Informationsquellen
  • Folge: Vorantreiben gesellschaftlicher Spaltung

Desinformation

Desinformation

Des-informationen: Falsche und zielgerichtet erzeugte Information, um einer Person, sozialen Gruppe, Organisation oder einem Land zu schaden.

 

Fehl-information: Falsche Informationen, die aber nicht mit der Absicht erzeugt wurden, Schaden zu verursachen.

 

Mal-informationen: Auf Wahrheit beruhende Informationen, die genutzt werden, um einer Person, einer Organisation oder einem Land zu schaden.

Quelle: https://www.boell.de/sites/default/files/2020-08/200825_E-Paper3_DE.pdf

Hate Speech

Hate Speech oder auch Hassrede ist, wenn mit Worten oder Bildern ganz gezielt Menschen verletzt und/oder Angst gemacht werden soll. Zum Beispiel indem gegen sie gehetzt wird, sie abgewertet werden oder zu Gewalt gegen sie aufgerufen wird. Hate Speech zielt oft auf bestimmte Menschen oder Gruppen ab, die Diskriminierung erfahren, wie z.B. LGBTQI*-Personen, Muslim_innen, Jüdinnen und Juden oder Geflüchtete Menschen oder People of Color. Dabei wird meist auf rassistische, antisemitische oder sexistische Sprache zurückgegriffen Gesellschaftliche Machtstrukturen werden durch Hassrede reproduziert und aufrechterhalten. Die Diskussion um Hate Speech und das Problembewusstsein ist in verschiedenen Ländern unterschiedlich weit fortgeschritten. In Deutschland kann je nach konkretem Ausdruck Hate Speech zur Strafverfolgung führen. Das Netzwerkdurchsetzungsgesetz (NetzDG) ist seit 2017 ein juristischer Versuch, Hate Speech zu verfolgen und zu verhindern.

Quelle: https://wirsindantianti.org/glossar/hate-speech-hassrede/

Hate Speech

  • Ca. die Hälfte aller Internet-Nutzer_innen nehmen Hate Speech wahr
  • Nicht alle Internet-Nutzer_innen gleich betroffen
  • Hass-Post und orchestrierte Shitstorms führen bei Personen zur Rückzug von Online Plattformen und einem Rückgang des demokratischen Diskurses
  • Phänomen nimmt zu

Quelle: Studie "Lauter Hass - leiser Rückzug" - HateAid

Hate Speech

Die Abwertung kann sich auf Merkmale wie Hautfar-
be, Herkunft, Sexualität, Religion, Geschlecht, Alter oder Behinderung von Menschen
 beziehen.

 

Gruppenbezogene Menschenfeindlichkeit:


Rassismus, Antisemitismus, Islamfeindlichkeit, Homo- und Transfeindlichkeit, Sexismus.

Akteure und Strategien

Social Media

Beliebtheit von Social Media unter Jugendlichen entwickelt sich dynamisch, ideologische Akteur:innen folgen Nutzungstrends.

 

Relevante Plattformen:

  • Instagram, TikTok
  • Video-Streaming (YouTube, Bitchute, Twitch)
  • Messenger-Dienste (Telegram, WhatsApp)
  • Gaming-Plattformen (Discord, Steam)
  • Kurznachrichtendienste (X)
  • Foren und Imageboards (reddit, 4chan)

Social Media

Extrem rechte Akteur:innen vermitteln ihre Inhalte strategisch:

  • Lifestyle-Formate (Musik, Kleidung, Gaming, Sport, Naturschutz, Esoterik)
  • Handlungs- und Gesellschaftsvorstellungen fließen subtil ein
  • Strategische Nutzung von Trends, Challenges, Memes, Emojis und Hashtags

Antidemokratische Akteur_innen auf TikTok

  • TikTok soll Resonanzraum erweitern
    (v.a. junge Menschen erreichen)
  • Wissen um die Moderationsrichtlinien der Plattform (Shadowbans, Drittaccounts)
  • Strategien sehr divers, keine einheitlich Strategie (Reposts, Mass-Content, "Lebensgefühl")
  • TikTok weniger akteur_innenzentriert        Viralität einzelner Videos und Trends

Die Rolle von Sounds auf TikTok

  • Sounds fungieren auf TikTok sowohl als Teil des Videos, als Meme und als Hashtag
  • Bestimmte Milieus nutzen gleiche Sounds
  • Erschließung neuer Zielgruppen über die Nutzung spezifischer Sound

Erkennungsmerkmal "Fashwave Optik"  und "Tradwave Optik"

  • Popkulturelle Bezüge
  • Verherrlichung eines "traditionellen" Lebensstils
  • politische Message wird subtil eingestreut
  • Sound als zentrale Verbreitungsstrategie

Neu Rechte Ästhetik

Desinformation in aktuellen Krisen


vermeintlicher Livestream zu Beginn des Ukrainekriegs.
 

Das zweite Bild zeigt, dass das Video nicht live ist, fremder Ton hinzugefügt und das Ganze aus einem Nachrichtenbericht zweckentfremdet wurde.

Quelle: Screenshot TikTok; Video YouTube https://www.youtube.com/
watch?t=142&v=F_3L0z1lgAE&feature=youtu.be

Desinformation in aktuellen Krisen (Nahostkonflikt)

Entkontextualisierung und Emotionalisierung

Entkontextualisierung und Emotionalisierung

Entkontextualisierung und Emotionalisierung

Verschwörungsideologische Akteur_innen

Beispiel "New World Order"

Klassische antisemitische Narrative werden neu codiert und chiffriert transportiert

Verschwörungsideologien

Verschwörungsideologien

Verschwörungsideologien

Verschwörungserzählungen der neuen Rechten

"Großer Austausch"

"Chiffre 'Soros' und Feindbild LGBTQI*"

Akteur:innen der

extremen Rechten

Die neue Rechte hat einen starken Fokus auf Netz-Aktivismus. Desinformation wird dazu in unterschiedlichen Formaten verpackt.

Beispiel "Gegenuni"

Geschichtsrevisionismus

Pseudojournalismus

 

  • Erfolgreiche Formate werden kopiert (Bsp. Straßenumfragen)

  • "Authentische Aufnahmen" (Demonstrationen o.Ä.)

  • Hosted journalism

  • Normalisierung von rechten Ideologien

  • Auftreten, Sprech und Drehorte nicht mit rechter Ideologie                       assoziiert
     

Bsp. "Ketzer der Neuzeit"

Bsp. "Neverforgetniki"

Pseudojournalismus

 

Bsp: "Aktivist Mann"

Bsp: "Weichreite TV"

Bsp: "Aktivist Mann"

KI und Deepfakes

KI-Accounts

Doku-Formate

Verbreitung von Desinformation und Verschwörungsideologien durch vermeintlich seriöse Doku-Formate

Warum glauben Menschen dadran?

  • Gemeinschaft
  • Eigene Aufwertung (Geheimes Wissen)
  • Sinnstiftung
  • Überforderung
  • Projektion
  • Monokausalität > Zufall

Warum glauben Menschen dadran?

Quelle: https://cemas.io/blog/prorussische-verschwoerungserzaehlungen/

Beispiel breiter gesellschaftlicher Verankerung

Beispiele für HateSpeech

Telegram

AfD auf Tiktok

Rechte Musik

  • Musik nach wie vor wichtiges Rekrutierungs-Tool in der extremen Rechten
  • Normalisierung von rechten Ideologien (Bsp. "Sylt-Lied")
  • Hatespeech als Party-Erlebnis
     

Codes, Memes, Emojis & Hashtags - Wie Hate Speech versteckt wird

Internetphänomen und unfreiwilliges Symbol der US–amerikanischen „Alt-Right" Bewegung, beliebt unter Trump-Supportern

  • Codiert verwendet als Frosch-Emoji:  🐸 🐸

Das Kiwi-Emoji

🥝🥝🥝

  • Symbol für Transfeindlichkeit: "es gibt nur 2 Geschlechter"
  • Hintergrund: Reaktion auf Absage eines Vortrags an der HU von Marie Luise Vollbrecht. Ihr Beispiel: bei Kiwis lassen sich genau 2 Geschlechter biologisch einteilen

Kombination verschiedener Emojis

Quelle: https://www.belltower.news/hass-emojis-welche-emojis-sind-bei-nazis-rechtsradikalen-rassistinnen-beliebt-113061/

Hitlergruß:

Antisemitische Emojis & Hashtags

#rothschildconspiracy

#zionazis

Quelle: https://www.belltower.news/hass-emojis-welche-emojis-sind-bei-nazis-rechtsradikalen-rassistinnen-beliebt-113061/

🧛🧛

😈😈

🤑🤑

 

 

Isralebezogener Antisemitismus auf Social Media

Specific online strategies

  • “Ironic” communication through memes (e.g., Pepe)

  • Use of specific emojis as dog whistles

  • Doxxing (publishing private information about political opponents)

  • Hate speech and threats

  • Orchestrated shitstorms

  • “Chain messages” or videos with fake news on social media

  • Own vocabulary, number codes (18, 28, 88, 1488)

  • “Gamification” of right-wing terrorism (livestreaming)

  • “Hijacking” hashtags and trends

 

Specific online strategies

  • Derailing (intentionally derailing online discussions)

  • Dogwhistling (e.g., “white boy summer”)

  • Occupying hashtags and using indirect communication

  • Participation strategies and calls to action (e.g., “repost”)

  • Tagging each other (to generate traffic)

  • Engagement logic (content designed to trigger strong emotions)

  • Para-social relationships (faces instead of projects)

  • Cross-media presence

  • Economic interests (promotion of merchandise/distribution)

Politische Bildung

  • kritisches Denken im politischen Raum

  • Ambiguitätstoleranz

  • Empowerment

Bildungsprozesse zur Prävention

Medienbildung

  • Medienkompetenz
  • digital literacy
  • Informationskompetenz
  • Verstehen und sich beziehen
  • "The Kids Are Alright"

Auseinandersetzung mit jugendlichen Lebens- und Erfahrungswelten

  • Politische und gesellschaftliche Fragen diskutieren

  • Themen von Jugendlichen aufgreifen

    • Räume schaffen

    • Quellen bereitstellen

  • Grundlegendes Wissen über

    • politische Prozesse und Institutionen

    • Journalistische Abläufe

    • Politisches Spektrum & Codes   

Politische Urteilskraft stärken

Mediale Urteilskraft stärken

1. Ist der Inhalt emotional und übertrieben? Viele ??? und !!!

2. Quelle: Seriös? Existiert sie überhaupt? Gibt es andere Quellen?

3. Gibt es mehr Berichte zum Thema? Sind die Zahlen und Fakten richtig?

4. Gibt es ein Datum? Wenn ja, ist es aktuell?

5. Fotos prüfen, zum Beispiel mit der Google Rückwärtssuche oder auf Fehler prüfen (3 Beine? Ist Bild KI generiert?)

Handlungsoptionen Vermitteln

  • Melden (beim Sozialen Netzwerk oder der Moderation des Kanals)
  • Anzeigen (Polizei, Onlinewachen)
  • Senden an www.internet-beschwerdestelle.de oder www.hass-im-netz.info
  • Sich positionieren

Zugänge

Sensibilisierung für Diskriminierung und Vorurteile

  • Positionierung, Diskussion und Umgang      

  • Reflektion von eigener Identität, Solidarität, Haltung

Aktive (Medien)Arbeit

  • Eigene Beiträge erstellen, Memes erstellen      

  • Kahoot!-Quiz, Fake-News-Spiel

Angeleitete Analyse von ideologischen Inhalten

  • Videoinputs und Diskussion                        

  • Social Media-Kanäle der Akteure                      

  • Betroffene schützen
  • Individuen nicht auf einzelne Meinungen reduzieren
    • selten geschlossene Weltbilder
    • verschiedene Intentionen berücksichtigen
  • Nachfragen statt Belehrungen
  • Zeit für gemeinsame Recherchen und Quellenbeurteilung
  • selbst auskunftsfähig werden/Haltung entwickeln

Hinterfragende &

anerkennende Haltung