Mastering the (industrial)

Der erste Schritt hin zur smarten Fabrik – die sich am Ende im besten Fall selbst optimiert und ressourcenschonend arbeitet – ist die Erfassung, Aufzeichnung und Speicherung dieser Daten. Im zweiten Schritt müssen diese Daten untereinander verknüpft werden. Da diese unterschiedlichen Daten aus verschiedenen Quellen auch unterschiedliche Formate haben – die einen sind kontinuierlich, die anderen zeichnen immer nur einen Zustand zu einem gewissen Zeitpunkt auf – ist diese Verknüpfung auch aufgrund der Datenmengen nicht mehr trivial. Hierfür benötigt es ein Framework, das diese Verarbeitung und Verknüpfung automatisiert übernimmt. Und es benötigt Spezialistinnen und Spezialisten, die ein solches Framework konstruieren und Datenknow-how mit Domänenwissen verbinden – Data Scientists.

Im Projekt BOOST 4.0 befassten sich Data Scientists der RISC Software GmbH mit der Entwicklung eines solchen Frameworks um eine smarte Fabrik abzubilden. Gemeinsam mit Industriepartnern wurden Lösungen anhand von Praxisbeispielen erarbeitet. Zu guter Letzt gilt es, diese Daten zu analysieren, interpretieren und Handlungen für die Zukunft daraus abzuleiten. Hierfür braucht es das Zusammenspiel von Fachexpertinnen und -experten und Data Scientists. Das heißt, dass Fachpersonen mit ihrem Wissen und ihrer Erfahrung von Anfang an miteingebunden werden, wenn es darum geht die Daten zu verknüpfen und danach auch zu interpretieren.

Daten fusionieren: Big Data Architektur anhand des RISC Software Data Analytics Frameworks

Das Konzept der Big Data Architektur des RISC Data Analytics Frameworks beruht auf der Kombination von Big Data Technologien mit semantischen Ansätzen, um große Datenmengen aus unterschiedlichen Quellen zu verarbeiten und zu speichern. Die Architektur ist in der Lage, Daten mit Big Data Technologien wie Spark zu verarbeiten. Dabei werden die Daten selbst und die Verbindungen zueinander separat gespeichert. Dadurch ist das System generisch, wiederverwendbar und trotzdem reaktionsschnell. Der obligatorische Check der Daten auf ihre Korrektheit (Datenvalidierung) ist dadurch genauso gewährleistet wie kontinuierliche Analysen. Es wird Apache Spark eingesetzt – ein paralleles in-memory Datenverabeitungsframework, das die Daten aus dem Rohformat in eine standardisierte Speicherung überführt – um mit dieser Datenbasis weitere Analysen durch Data Scientists durchzuführen.

Die Verarbeitung der Daten erfolgt dabei in einem Cluster, in dessen Datenspeicher die Daten, die aus verschiedenen Datenquellen stammen, übernommen werden. Diese Übernahme in einen zentralen Speicher umfasst eine Interpretation und Transformation der Daten um sie in ein einheitliches Format zu bringen. Auf Syntaxebene wird dafür die Struktur dieses Formats definiert, indem die zugehörigen Metadateninformationen eingelesen und verarbeitet werden. Auf diese Weise werden die Daten validiert, bereinigt, entsprechend transformiert und in Spark-Tabellen gespeichert. Durch die Verwendung von Spark kann man direkt am Cluster erste Datenexplorationen durchführen, um erste Erkenntnisse über die Daten zu gewinnen. Als ein weiterer Schritt der Datenaufbereitung kann auch eine Aggregation von Daten durchgeführt werden, die eine lokale Durchführung komplexer Analyseaufgaben ausserhalb des BigData-Clusters ermöglicht. Ein Beispiel dafür ist der unten beschriebene Vergleich hochfrequenter Zeitreihen.

Um die Beziehungen der verschiedenen Datenquelle zu verbinden (d.h. Linked Data repräsentieren) und eine leistungsfähigere Metadaten-Darstellung zu erreichen, setzen die Data Scientists der RISC Software GmbH auf die Schemasprache SALAD (Semantic Annotations for Linked Avro Data), welche Apache AVRO als strukturelles Datenspeicherformat mit semantischen Metainformationen anreichert. Dies ermöglichst wiederum eine automatisierte Interpretation der Daten. Weiters wird die Vorverarbeitung, die strukturelle Validierung und die Überprüfung von verlinkten Dokumenten durch ein semantisches Regelwerk unterstützt. Damit wird die Lücke zwischen Record-orientierter Datenmodellierung (unterstützt durch Apache Avro) und dem Semantic Web (durch Erweiterung von SALAD) geschlossen.

Daten aufbereiten: Spark

Der Datenaufbereitung kommt generell in diesem Umfeld eine große Bedeutung zu, da die Daten von Kundinnen und Kunden und Projektpartnern meist in der Rohform geliefert werden, in der sie von den Industriemaschinen erzeugt wurden. Zuerst müssen die verschiedenen Rohformen der Daten in ein einheitliches Format gebracht werden. Dieses stellt die Basis für weiterführende Analysen dar. Die Wiederverwendbarkeit der darauf folgenden Datenanalyseschritte über unterschiedlichste Use-Cases ist ein weiteres wichtiges Ziel.

Die Datenaufbereitung sowie die nachfolgende Analyse der Daten erfolgt unter Einsatz eines Hadoop-Clusters, der einerseits die effiziente Verarbeitung von Daten im Terrabyte-Bereich ermöglicht, andererseits aber auch die Zielformate der Datenaufbereitung vorgibt. Der Cluster ermöglicht ermöglicht eine datenparallele horizontal skalierbare Verarbeitung von Daten im Terrabytebereich, wobei OpenSource Softwaretechnologien und Commodity-Hardware eingesetzt werden, was die Kosten des Einsatz gering hält und diese Lösung vor allem für KMUs sehr interessant macht.

Ziel ist es, die relevanten Tabellen und Dateien aus den einzelnen Quell-Datenbanken zu extrahieren und zusammenzufassen, um die weitere effiziente Verarbeitung durch das Hadoop-Framework zu ermöglichen. Das Ergebnis der Datenvorverarbeitung sind CSV-Dateien die dem gewünschten Schema entsprechen und nach der einmaligen Definition eines Tabellenschemas über Spark SQL direkt abgefragt werden können. CSV-basierte Tabellen können beispielsweise mithilfe von Spark SQL auch in ein anderes Speicherformat wie komprimierte und partitionierte Parquet-Tabellen übergeführt werden. Der Einsatz von SQL als Abfragesprache ermöglicht es Data Scientists die Daten einfach zu aggregieren und zu kombinieren.

Daten analysieren: Vergleich hochfrequenter Zeitreihen

Zeitreihen sind Daten, die bei kontinuierlichen Reihen von Messungen auftreten, wie zum Beispiel während der Laufzeit einer Produktionsmaschine. Der Vergleich von zwei baugleichen Maschinen, die jedoch nicht synchron arbeiten, kann zu wichtigen Rückschlüssen führen. Dies tritt auch in der Produktion auf, beispielsweise werden zwei Maschinen synchron gestartet, aber bereits nach einigen produzierten Bauteilen ist deren Taktzeit verschoben. Mit Hilfe einer Methode aus dem Bereich Zeitreihenanalyse, genannt Dynamic Time Warping, kann man feststellen, wo genau im Programm der Vorsprung/Verzug auftritt sowie dessen Größe bestimmen. Diese Informationen sind aus dem Vergleich der rohen Zeitreihen nicht ablesbar, speziell wenn sich das Verhalten zwischen den Zeitreihen immer wieder ändert. Eine Similarity-Matrix, bei der zwei solche Zeitreihen miteinander verglichen werden, ermöglicht es rasch einen Überblick über alle betrachteten Zeitreihen zu gewinnen und dabei potenziell problematische Zeitreihen (Fehler, Ausreißer) zu erkennen. Der Wert in der Similarity-Matrix misst in einer Zahl die für den jeweiligen Use-Case relevante Distanz zwischen zwei Zeitreihen.

Firmeninfo RISC Software GmbH

Seit der Gründung im Jahr 1992 durch Prof. Bruno Buchberger forscht und entwickelt die RISC Software GmbH für die Wirtschaft. Dabei werden in einzigartiger Weise die Kernkompetenzen Symbolisches Rechnen, Mathematik und Informatik im Rahmen der Geschäftsbereiche Logistik-Informatik, Industrielle Softwareanwendungen, Medizin-Informatik und des Kompetenzbereiches Data Management and Analytics zur Entwicklung praxisgerechter Softwarelösungen eingesetzt. Das Unternehmen steht zu 80% im Eigentum der Johannes Kepler Universität Linz sowie zu 20% im Eigentum der Upper Austrian Research GmbH – der Leitgesellschaft für Forschung des Landes Oberösterreich.

Mehr Informationen unter www.risc-software.at.