Pressemitteilung vom 30.08.2024 
Deepfakes, Hetze, Missbrauch: KI verschärft Risiken für Kinder und Jugendliche im Netz
Das Gefährdungspotenzial für Kinder und Jugendliche im Netz nimmt zu. Aktuell macht es generative künstliche Intelligenz (KI) immer schwerer, Realität von Fälschung zu unterscheiden und verstärkt Risiken wie sexualisierte Gewalt, Mobbing und Extremismus.
Mainz/Berlin. Dies ist ein zentraler Befund des Jahresberichts von jugendschutz.net, dem gemeinsamen Kompetenzzentrum von Bund und Ländern für den Jugendschutz im Internet.
2023 bearbeitete jugendschutz.net 7.645 Verstoßfälle. Davon sind zwei Drittel sexualisierter Gewalt zuzuordnen. Bei zwölf Prozent handelt es sich um Sex/Pornografie, bei 11 Prozent um politischen Extremismus. Fünf Prozent gingen auf selbstgefährdende Inhalte zurück und zwei Prozent auf Cybermobbing. 3.210 Verstöße meldete jugendschutz.net an Anbieter und Selbstkontrolleinrichtungen mit dem Ziel der schnellen Abhilfe. 105 Verstoßfälle wurden an die Kommission für Jugendmedienschutz (KJM) zur Einleitung eines Aufsichtsverfahrens übermittelt. Außerdem wurden 252 Fälle an die KJM zur Indizierung durch die Bundeszentrale für Kinder- und Jugendmedienschutz (BzKJ) abgegeben. 3.582 Fälle sendete jugendschutz.net an die Strafverfolgungsbehörden, da kinder- und jugendpornografische Inhalte verbreitet wurden oder Gefahr für Leib und Leben bestand. Am Jahresende waren bei 6.902 Fällen (90 Prozent) die Verstöße beseitigt.
Stefan Glaser, Leiter von jugendschutz.net, erklärt: "Online-Trends werden schnelllebiger und riskanter, Deepfakes sind inzwischen täuschend echt und einfach zu erstellen. Die Hemmschwellen für Übergriffe im digitalen Raum sinken. Wir sehen, dass der Krieg in Nahost für antisemitische oder muslimfeindliche Hasspropaganda instrumentalisiert wird. Auch Darstellungen sexualisierter Gewalt an Kindern werden ohne Skrupel verbreitet. Und wir nehmen vermehrt Beiträge in Social Media wahr, die junge Menschen zu gesundheitsgefährdendem Verhalten anstiften. Bei all dem kommen auch KI-generierte Inhalte zum Einsatz. Gleichzeitig muss leider konstatiert werden: Betreiber von Angeboten tun zu wenig, um Kinder und Jugendliche zu schützen. Sie reagieren unzureichend, wenn ihnen Verstöße gemeldet werden. Und sie überprüfen die Altersangaben von Nutzenden nicht angemessen. Gute Ansätze, wie möglichst sichere Voreinstellungen für bestimmte Altersgruppen, entfalten dadurch kaum Wirkung."
Bundesjugendministerin Lisa Paus fügt hinzu, dass "der Jahresbericht von jugendschutz.net zeigt, dass Kinder und Jugendliche im Netz immer mehr mit Hass, Hetze und Desinformation konfrontiert sind. Dazu kommt eine Debattenkultur, die nicht durchgehend sozialen Regeln folgt. Junge Menschen haben jedoch ein Recht auf sichere und unbeschwerte Teilhabe an der digitalen Welt! Davon sind wir noch weit entfernt. Hier sind besonders die Plattform-Anbieter in der Pflicht. Mit dem Digital Services Act haben wir uns in Europa ein starkes Werkzeug gegeben: Anbieter von Online-Plattformen sind verpflichtet, den Zugang Minderjähriger zu ungeeigneten Inhalten zu verhindern und für ein hohes Maß an Privatsphäre und Sicherheit innerhalb ihres Dienstes zu sorgen. Diese Regeln müssen jetzt konsequent umgesetzt werden."
Katharina Binz, Jugendministerin Rheinland-Pfalz, dazu: "Sexualisierte Gewalt im Netz muss nachhaltig bekämpft werden. Dies betrifft sowohl die kontinuierlich hohe Zahl an Fällen von Missbrauchsdarstellungen als auch die perfiden Strategien von Tätern und Täterinnen im Netz. Um diesem Problem mit einem ganzheitlichen, interdisziplinären Ansatz zu begegnen, haben wir in Rheinland-Pfalz den ‚Pakt gegen sexualisierte Gewalt‘ geschlossen. Unser Ziel ist es, durch ressortübergreifende Zusammenarbeit allen jungen Menschen in unserem Land ein Aufwachsen ohne Gewalt zu ermöglichen. Der Pakt setzt auf verschiedenen Ebenen an - sei es bei der Polizei, durch niedrigschwellige Präventionsangebote im ländlichen Raum oder die Einbeziehung von Betroffenen - und bündelt die Kompetenzen und Expertise. Gleichzeitig ist entscheidend, Kinder und Jugendliche, die bereits Gewalt erfahren haben, betroffenensensibel zu betreuen."
Dr. Marc Jan Eumann, Vorsitzender der Kommission für Jugendmedienschutz (KJM): "Eins ist klar: Altersprüfung ist der Schlüssel zum sicheren Surfen für Kinder und Jugendliche. Die Technologie ist vorhanden, nun sind die Plattformen gefordert, Verantwortung zu übernehmen. Die KJM hat bereits viele Systeme positiv bewertet, darunter auch Systeme, die bei der Schätzung des Alters mittels Echtzeit-Gesichtserfassung ansetzen; ganz ohne Ausweispapiere. Die Zeit zu handeln ist nicht irgendwann, sondern jetzt."
Der aktuelle Jahresbericht von jugendschutz.net steht zum Download bereit unter: www.jugendschutz.net/bericht Die Kommission für Jugendmedienschutz ist ein Organ der Landesmedienanstalten und ein Expertengremium aus Vertretern von Bund, Ländern und Landesmedienanstalten. In Deutschland ist die KJM die zentrale Aufsichtsstelle für den Jugendschutz im privaten Rundfunk und Internet. (PM)
