BERTI-4.0: Pre-trained Language Model für Conversational Agents im Kontext von Industrie 4.0

Projektziele

Das Hauptziel der Industrie 4.0 ist die Schaffung intelligenter Fabriken, in denen Cyber-Physikalische-Systeme und Menschen zusammenarbeiten. Die Bereitstellung natürlicher Benutzerschnittstellen über Sprachassistenten ist eine entscheidende Voraussetzung für die Verwirklichung dieser Vision. Mit den Fortschritten im Natural Language Processing (NLP) hat das Verstehen natürlicher Sprache an Popularität gewonnen, und Deep Learning hat den Einsatz effektiver Sprachmodelle gefördert. Die direkte Anwendung von NLP-Fortschritten auf Industrie 4.0 Settings führt jedoch oft zu unbefriedigenden Ergebnissen, da sich die Wortverteilung von Korpora aus dem öffentlichen Bereich zu I4.0-Korpora verändert hat.
Der Gesamtprozess des Vortrainings und der Fine-Tunings von BERTI-4.0 ist in Abbildung 1 dargestellt. Zunächst wurden BERTI-4.0 mit Gewichten aus dem Standard-BERT-Modell initialisiert, das auf allgemeinen Korpora vortrainiert wurde. Dann wird BERTI-4.0 noch einmal auf I4.0-Domänen-Korpora (Standards, z.B. RAMI, OPC UA und wissenschaftliche Textartikel zu I4.0) vortrainiert. Um die Wirksamkeit unseres Ansatzes zu zeigen, wird BERTI-4.0 anhand von der Entwicklung von zwei I4.0-Sprachassistenzkomponenten, genauer Named Entity Recognition (NER) und Question Answering (QA), verfeinert und evaluiert. Es wurden Pre-Training-Strategien mit verschiedenen Kombinationen und Größen von allgemeinen Domänenkorpora und I4.0-Korpora getestet. Außerdem wurden am Ende des Projekts REST APIs für die Partner bereitgestellt, um die Modelle service-orientiert zu nutzen.

Projektergebnisse

In dem Projekt wurde eine Datenpipeline entwickelt, um die Daten des Projektpartners zur weiteren Datenanalyse nutzbar zu machen. Die Erfassung von Daten über Industrie 4.0-Standards und -Richtlinien erforderte eine PDF-Lesekomponente, die kompliziert zu entwickeln war. Dazu wurden entsprechende PDF-Analysekomponenten entwickelt und angewendet. Das Projekt war in der Lage, ein neues BERT-Modell zu trainieren, das auf Text für Industrie 4.0 spezialisiert ist. So konnte es Antworten liefern und Entitäten aus diesem Bereich erkennen.
Nächste Schritte und Verwertungsmöglichkeiten
Das Fraunhofer IAIS konnte seine Kompetenzen im Bereich der Künstlichen Intelligenz für Industrie 4.0-Anwendungen weiter ausbauen. Diese Erfahrungen sollen zukünftig an Unternehmen, insbesondere KMU, weitergegeben werden. Darüber hinaus wird das Fraunhofer IAIS seine wissenschaftliche Reputation durch die Veröffentlichung der Ergebnisse und der Auswertung weiter steigern. Die zukünftige Zusammenarbeit mit der Robert Bosch GmbH wird den Entwicklungsprozess von Conversational Agents und Dokumentenanalyse in der Industrie 4.0 weiter vorantreiben. Darüber hinaus kann die Robert Bosch GmbH ihre Expertise im Bereich Conversational AI weiter ausbauen und sich so von anderen Unternehmen am Markt differenzieren. Darüber hinaus kann in Folgeprojekten der Einsatz von Large Language Models, d.h. GPT-3, untersucht werden.

Ansprechpartner

Bosch Research
(Kontakt: Dr. Irlan Grangel-Gonzales)