GPU + In-Memory-Datenmanagement für Big Data-Analysen

Im Rahmen dieses Projekts entwickeln wir auf Basis von In-Memory-Datenmanagement und paralleler Datenverarbeitung in der GPU eine Werkzeugkette. Für eine umfangreiche und intensive Smart Meter-Analyse kommt CUDA zur Anwendung. Die weltweite Einführung von Smart Metern eröffnet ein neues Geschäftsparadigma für Versorgungseinrichtungen mit Datenerfassung/-Transaktion bei derart hohem Volumen und hoher Geschwindigkeit. So sammeln beispielsweise eine Million Smart Meter in 15-minüten Abständen Daten ein. Sofern jede Zählerablesung 1.000 Bytes (1kB) beträgt, erreichen die Transaktionsdaten, gesammelt von einer Million Kunden-Smart Metern, eine Gesamtmenge von 30TB pro Jahr.

Unser Ziel ist es deshalb, die Rechenleistung der GPU sowie den hohen Durchsatz und die niedrige Latenz von In-Memory-Datenbanken zu nutzen für die Entwicklung einer adäquaten Big Data-Analyseplattform. Eine Plattform zur umgehenden, gründlichen Analyse von gewaltigen Mengen an Smart Meter-Daten im Hinblick auf weitergehende Segmentierung, basierend auf Energieverbrauchsmustern und Leistungsvergleichen der Energieeffizienz. Für dieses angestrebte Ziel erforschen wird Online-Lernmethoden, um mit den erworbenen neuen Informationen, die bestehende Wissensgrundlage zu erweitern.

Das Ziel unserer Werkzeugkette ist die Entwicklung eines kognitiven Motors auf einem Anwendungsserver mit einer Web-Front-End-Schnittstelle. Die zugrunde liegende GPU-Implementierung konzentriert sich auf ein MapReduce-Schema mit vektorisierter Schnittschnelle. SAP HANA ist unsere In-Memory Computerplattform. Sie bietet nicht nur In-Memory Datenpersistenz, sondern auch Berechnungslogik – unmittelbar in der Datenbank selbst – für eine Vorverarbeitung mit extrem niedriger Latenz.

Auch wenn das Projekt auf den Anwendungsfall von Smart Meter-Daten ausgerichtet ist, lässt sich die Werkzeugkette ist ebenso auf Big Data-Analysen in anderen Bereichen, wie zum Beispiel Industrie 4.0, Smart Cities, personalisierte Medizin usw., anwenden.

Zeitraum

Oktober 2014 – April 2015

Projektpartner

SAP, KIT

Ansprechpartner

Yong Ding, ding@teco.edu