Erkennung kritischer Situationen in öffentlichen Bussen

Die Sicherheit und der Komfort in öffentlichen Verkehrsmitteln sind zentrale Anliegen sowohl für Fahrgäste als auch für Verkehrsanbieter. Insbesondere allein reisende Passagiere berichten häufig von einem Gefühl der Unsicherheit. Dies gilt umso mehr für neuartige Verkehrsmittel wie autonome Busse, in denen künftig kein Fahrer anwesend sein wird. KI-Software bietet hier ein großes Potenzial, da sie in der Lage ist, kritische Situationen wie Gewalt in Echtzeit aus Videostreams zu erkennen. Diese Informationen können unmittelbar an die zuständigen Behörden weitergeleitet werden, sodass schnelle Maßnahmen ergriffen werden können, um die Situation zu entschärfen und das Sicherheitsgefühl der Passagiere zu verbessern.

Projektziele

Das Ziel des Projekts ist es, die Sicherheit von Fahrgästen im öffentlichen Verkehr durch die schnelle Erkennung und Meldung kritischer Situationen an das zuständige Personal zu erhöhen. Im Fokus steht dabei die Entwicklung eines KI-Modells, das in der Lage ist, Videosequenzen präzise zu analysieren, dabei jedoch ressourceneffizient arbeitet. Folgende Anwendungsszenarien sollen abgedeckt werden:

Keine Gewalt
Gewalt gegen Personen
Gewalt gegen Infrastruktur
Gewalt durch Diebstahl

Der Service „LWM – Large Whatever Models – mehr als nur ChatGPT“ des DFKI ermöglicht die Evaluierung und Optimierung modernster Modelle hinsichtlich ihrer Leistungsfähigkeit. Neben den sozialen Auswirkungen hat der Dienst auch verschiedene technische Herausforderungen bewältigt, darunter die Erkennung von Gewalt in stark frequentierten und überfüllten Umgebungen.

Im Rahmen des Projekts wurde ein Prototyp entwickelt, der es Nuraxys ermöglicht, sowohl Betreiber öffentlicher Verkehrsmittel als auch Sicherheitsdienstleister im Bereich der Videoüberwachung zu unterstützen.

Projektergebnisse

In Zusammenarbeit von DFKI GmbH und Nuraxys GmbH wurden auf einem verfügbaren Datensatz mehrere Algorithmen getestet, um gewalttätige Videos von nicht gewalttätigen Szenen zu unterscheiden.

Wir haben das Videoklassifizierungs-Modell S3D (Separable 3D CNN) auf einem Datensatz mit den Klassen Violence und Non-Violence trainiert. Dieser wurde später um die Klasse Falling erweitert. Dabei erreichten wir einen Macro-F1 Score von 91,25% auf dem Datensatz mit zwei Klassen und einen Macro-F1 Score von 66,65% auf dem Datensatz mit drei Klassen.