Maschinelle Lernalgorithmen werden auf lediglich auf die Genauigkeit auf Testdaten verglichen. In der Realität gibt es jedoch deutlich mehr Maße, um die Robustheit einer KI-Komponente zu beschreiben bzw. zu validieren und fortlaufend zu testen.
Bei vielen Daten ist nicht nur die durchschnittliche Leistung entscheidend, sondern auch systematische Biase auf Teilmengen der Daten können zu erheblichen Schaden oder zumindest für Probleme im Einsatz führen. Das KIT bietet Ihnen an Ihre oder verschiedenste existierende KI-Modelle auf Ihren Daten auf Herz- und Nieren zu testen, um Ihnen Verbesserungspotentiale darzustellen und ihnen bei der Wahl der richtigen Modelle zu helfen.
Außerdem ist es wichtig auch die Daten fortlaufend zu testen. Wir sichern ihre Modelle gegen Data und Concept Drifts ab und ermöglichen Ihnen eine zielgenaue Wartung ihrer KI Modelle.
Dabei setzt das KIT auch neuste Algorithmen z.B. zu adversarial attacks ein, die versuchen das Modell „auszutricksen“.
Weiterhin nutzen wir auch Methoden des Usability Engineering, um die Nachvollziehbarkeit von Handlungen des KI Modell gegenüber realen Nutzern zu testen, um eine erwartungsgetreueres Verhalten von intelligenten Systemen zu ermöglichen.
Ziel ist es ein validierte KI-System zu erhalten was realen Anforderungen stand hält und auch aktiv abgesichert ist. Hierzu trainieren wir sie auch in ML-Ops Werkzeugen, damit gerade in Hinblick auf kommende Regulierungen zu KI in kritischen Systemen gewappnet sind.
