Prof. Dr. Melanie Siegel: Hate Speech, Beleidigungen, Verleumdungen und Bedrohungen automatisch erkennen

GermEval 2018 Shared Task on the Identification of Offensive Language

Die sozialen Netzwerke werden in der letzten Zeit überflutet von „Meinungsäußerungen“, die schwere Beleidigungen, Verleumdungen und Diskriminierungen enthalten. Zum Teil werden sie automatisiert geteilt und verbreitet, um den Anschein zu erwecken, hier handele es sich um „Volkes Stimme“.

In der Sprachtechnologie wird an Verfahren gearbeitet, um solche Äußerungen automatisch zu erkennen. Das würde es den sozialen Netzwerken ermöglichen, schnell zu reagieren, und der Gesellschaft, einen Überblick über den Umfang des Problems zu bekommen. In einem Programmierwettbewerb – einer sogenannten „Shared Task“ – wurden im September 2018 Methoden dafür getestet (https://projects.fzai.h-da.de/iggsa/).

Diese Shared Task wurde von Prof. Dr. Melanie Siegel (Hochschule Darmstadt) in Kooperation mit Dr. Michael Wiegand (Universität des Saarlandes) und Dr. Josef Ruppenhofer (Universität Heidelberg) konzeptioniert und organisiert. Die Hochschule Darmstadt hat die Task mit einer studentischen Hilfskraft (Markus Meyer) unterstützt.

Die Grundlage für die Entwicklung automatischer Erkennung ist der Aufbau eines annotierten Textkorpus. Dafür werden extreme Meinungsäußerungen gesammelt und annotiert. Die Organisatoren haben sich für Twitter als Plattform für die Sammlung entschieden, weil Twitter einen automatisierten Zugriff (eine API) erlaubt. Es gibt schon bei der Sammlung verschiedene Möglichkeiten: Man kann eine Reihe von Stichwörtern aufstellen, die vermutlich in extremen Meinungsäußerungen stehen, und damit Tweets suchen, z.B. „kriminelle“. Man kann auch gezielt nach Hashtags suchen, die auf extreme Meinungsäußerungen hindeuten, wie z.B. „#rapefugees“. Eine andere Möglichkeit ist, Accounts zu identifizieren, die besonders häufig extreme Meinungsäußerungen posten und die Tweets von diesen Accounts zu sammeln. Dazu braucht man Meinungsäußerungen, die aus einem ähnlichen Themengebiet kommen, aber nicht extrem sind. Eine Möglichkeit ist es, aus den Accounts, die häufig extreme Meinungsäußerungen posten, die anderen Meinungsäußerungen zu nehmen, um eine gute Vergleichbarkeit herzustellen.

Die gesammelten Tweets werden anschließend klassifiziert. Es stellt sich schnell heraus, dass schon bei der Unterscheidung in extrem (Klasse OFFENSIVE) und andere (Klasse OTHER) nicht einfach ein Konsens herzustellen ist, wenn mehrere Personen denselben Tweet beurteilen sollen. Nach einem intensiven Diskussionsprozess, verschiedenen Annotationsrunden und der Messung des Inter-Annotator-Agreements (der Übereinstimmungsquote zwischen den Annotatoren) wurden Annotationsrichtlinien aufgestellt, mit denen dann ca. 6.000 Tweets annotiert wurden. Die so gewonnenen Daten wurden in eine Trainings- und eine etwas kleinere Testmenge aufgeteilt. Die Testmenge legte man zunächst beiseite und die Forschergruppen beschäftigten sich mit der Trainingsmenge.

20 Forschungsgruppen aus Deutschland, Österreich, der Schweiz, Indien und Saudi-Arabien haben insgesamt 76 Ergebnisse eingereicht, die dann evaluiert wurden. Auch die Informationswissenschaft der Hochschule Darmstadt war mit einer Gruppe Bachelor-Studierender unter der Leitung von Prof. Dr. Siegel dabei.

Die Texte wurden von den Forscher_innen mit sprachtechnologischen Methoden (Tokenisierung, POS-Tagging, Lemmatisierung u.a.) vorverarbeitet. Eine wichtige Rolle in der Erkennung spielen lexikalische Ressourcen, also Wörterbücher mit z.B. diskrimierenden Wörtern. Diese werden mit verschiedenen Methoden aufgebaut, die auf dem Tf-idf-Maß basieren oder die mit sogenannten „Word Embeddings“ und Wortvektoren arbeiten. In einigen Fällen wurden Werkzeuge eingesetzt, die herausfinden, ob Äußerungen eine positive oder negative Meinungsäußerung enthält, sogenannte „Sentiment-Klassifikatoren“.

Die Klassifikation der Tweets auf dieser Basis geschah dann mit klassischen Methoden des maschinellen Lernens (wie SVM, Naive Bayes oder Decision Trees) oder auch mit Methoden aus dem Deep Learning (wie CNN, LSTM oder GRU).

Auf dem Workshop am 21.9.2018 an der Österreichischen Akademie der Wissenschaften in Wien wurden die Systeme in Präsentationen und mit Postern vorgestellt, verglichen und diskutiert. Die Teilnehmer waren sich einig, dass an diesem Thema weitergearbeitet werden wird. Zwei Studenten der h_da durften teilnehmen und internationale Wissenschaftsluft schnuppern.

Publikationen:

Wiegand, Michael, Siegel, Melanie and Josef Ruppenhofer (2018). Overview of the GermEval 2018 Shared Task on the Identification of Offensive Language. In: Proceedings of the GermEval 2018 Workshop, Austrian Academy of Sciences, Vienna, Austria.

Siegel, Melanie and Markus Meyer (2018). h da Submission for the Germeval Shared Task on the Identification of Offensive Language. In: Proceedings of the GermEval 2018 Workshop, Austrian Academy of Sciences, Vienna, Austria.

Shared Task on the Identification of Offensive Language:

https://projects.fzai.h-da.de/iggsa/

Prof. Dr. Melanie Siegel:

Melanie Siegel ist Professorin für Informationswissenschaft – insbesondere semantische Technologien an der Hochschule Darmstadt. Sie beschäftigt sich seit 25 Jahren mit Themen der Sprachtechnologie, an den Universitäten Bielefeld und Saarbrücken, am Deutschen Forschungszentrum für Künstliche Intelligenz in Saarbrücken, bei der Firma Acrolinx in Berlin und seit 2012 an der h_da. www.melaniesiegel.de

Prof. Dr. Melanie Siegel: Hate Speech, Beleidigungen, Verleumdungen und Bedrohungen automatisch erkennen