Prognosemodelle

1. Datenerfassung

Bei der Datenerfassung handelt es sich um einen Prozess welcher eingerichtet wird, damit Daten von den Quellspeicherorten an die Zielspeicherorte verschiebt. Dieser Prozess wird benötigt um die darauffolgenden Analyse Prozesse auszuführen, ohne die IT-Systemlandschaften zu verlangsamen. Ein Quellspeicherort könnte Ihr Datawarehouse oder Data Lake sein. Auch externe Datenquelle wie  Wetterdaten, Regionaldatenbanken oder auch Daten von statistischen Bundesämtern wie dem Institut für Arbeit und Beschäftigung (IAB) lassen sich hier in diesen Prozess inkludieren.

2. Datenaufbereitung

Bevor Sie Modelle trainieren und Vorhersagen mit diesen treffen können, müssen die Daten bereinigt werden. In der Praxis sind Daten häufig überladen, weisen fehlende Werte oder fehlerhafte Daten auf. Wir überprüfen die Qualität Ihrer Daten und tätigen die ersten Transformations- und Aggregationsschritte, um aus diesen aussagekräftige Formate zu generieren. Dabei prüfen wir die Daten auf Outliers (Außreiser) und inkohärente Daten. Diese aussagekräftigen und bereinigten Daten bilden die Grundlage für die weiteren Schritte.

3. Pre-Processing

Im Daten Pre-Processing wenden wir verschieden Datenanalysen an, um die Daten, die immer noch in einer Rohform vorliegen, in ein Format umwandeln, sodass diese beim Data Mining, Maschinellem Lernen und anderen Data Science Aufgaben effektiver verarbeitet werden können. Das ist im Besonderen wichtig, da so genaue Ergebnisse gewährleisten werden können. Zuerst setzen wir eine Datenreduzierung, zum Beispiel mittels der Technik des Principal Component Analysis, ein, um die Rohdaten in eine einfachere Form zu bringen. Mit den aus diesem Schritt gewonnen Daten denken wir darüber nach, wie verschiedene Aspekte der Daten organisiert werden müssen, um für Ihr Ziel am sinnvollsten zu sein. Dies könnten Dinge, wie die Strukturierung unstrukturierter Daten, die Kombination auffälliger Variablen oder die Identifizierung wichtiger Bereiche, auf die man sich konzentrieren sollte, beinhalten. Auf Grundlage dieser Vorarbeit wenden wir das Feature Engineering auf die Daten an, um einen Datensatz zu generieren der so organisiert ist, dass ein optimales Gleichgewicht zwischen der Trainingszeit für ein neues Modell und der erforderlichen Rechenleistung erreicht wird.

Zum Schluss teilen wir Ihre Daten in zwei Datensätze auf. Der erste Satz wird zum Trainieren eines Modells für maschinelles Lernen oder Deep Learning verwendet. Der zweite Satz sind die Testdaten, die verwendet werden, um die Genauigkeit und Robustheit des resultierenden Modells zu beurteilen.

4. Modellentwicklung

Ein gängiges Problem bei der Modellentwicklung ist die Operationalisierungsproblematik. Diese besagt, dass nicht alle Daten auf das Modell passen und auch nicht alle Modelle auf die vorhandenen Daten passen. Somit existiert kein perfektes Modell für einen speziellen Datensatz. Unser Ziel in der Modellentwicklung ist es das Modell zu identifizieren, welches die größte Aussagekraft und Güte besitzt. Dieses Modell kann wiederum aus mehreren Modellen bestehen, die zusammengeführt eine noch genauere Vorhersagegüte ergeben. Um dies zu erreichen, erstellen wir geeignete Modelle und evaluieren diese Modelle, um geeignete Kandidaten zu identifizieren. Somit garantieren wir die bestmögliche Genauigkeit Ihrer Modelle.

5. Modelltraining > Test- und Trainpipeline

Beim Training eines ML-Modells werden einem Machine Learning Algorithmus Trainingsdaten zum Lernen bereitgestellt. Damit der Algorithmus lernen kann, müssen die Trainingsdaten die richtigen Antworten beinhalten. Während des Lernens mittels der Trainingsdaten findet der Lernalgorithmus in den Trainingsdaten Muster, die die Eingabedatenattribute auf das Ziel (die Antwort, die Sie vorhersagen möchten) abbilden, und gibt ein Modell aus, das diese Muster erfasst. Der Begriff „Modell“ bezieht sich somit auf das Modell-Artefakt, das durch den Trainingsprozess erstellt wird. Dieser Prozess ist die Trainpipeline. An das Training anschließend wird der zweite Teil der Daten, die Testdaten, verwendet, um das erstellte Modell auf seine korrekte Funktionsweise zu prüfen. Hierbei wird dem erstellten Modell die Testdaten, also die Daten, die der Algorithmus während des Lernens nicht gesehen hat, vorgelegt. Diese beinhalten zwar die korrekte Vorhersage der Eingabedaten, jedoch sieht das Modell diese nicht. Die auf den Testdaten getätigten Vorhersagen des Modells werden mit den korrekten Vorhersagen verglichen und beurteilt, ob eine korrekte Funktionsweise des Modelles gewährleistet ist. Dies ist die Testpipeline.

6. Forecasts

Eine gute Methode zur Verbesserung der Vorhersagegenauigkeit besteht darin, mehrere verschiedene Methoden auf das gleiche Problem anzuwenden und die daraus resultierenden Vorhersagen zu mitteln. Sehr häufig ist es der Fall, dass eine Kombination aus mehreren Modellen eine deutlich bessere Performance Steigerung gegenüber einem einzigem Modell darstellt. Somit erreichen wir durch Kombination verschiedener Forecasts das optimale Ergebnis für Ihren Anwendungsfall.

7. Forecastvalidierung

Eine Vorhersage lässt sich leicht treffen, jedoch wie gut diese Vorhersage ist, lässt sich nicht immer mit einfachem Hinsehen feststellen. Um die Qualität eines Forecastes zu bewerten, verwenden wir verschiedene Techniken, je nach Anwendungsfall können die Methoden von einfachen traditionellen Statistiken und Bewertungen, bis hin zu Methoden für eine detailliertere Diagnose und wissenschaftliche Überprüfungen reichen. Das Aufbauen dieser Validierung der Vorhersagequalität wird nicht nur zum reinen Bewerten der Güte benötigt, sondern auch um verschiedene Modelle miteinander vergleichen zu können. Darüber hinaus aber auch für die Überwachung der Prognosequalität, also wie genau sind die Prognosen und verbessern sie sich im Laufe der Zeit? Diese Validierung wird somit nicht nur für die Entscheidungsfindung der Modelle sondern auch für spätere Prozesse wie dem Pipelining benötigt.

8. Aufbau einer Pipeline ( inkl. Trainpipeline Integrierung)

Die Continous Integration und Continous Deployment (CI/CD) ist ein unverzichtbarer Schritt in der modernen Softwareentwicklung. Sie steht für das systematische Automatisieren der Lebenszyklen der Softwarewicklung. Die Entwicklung eines Modells für maschinelles Lernen ist hier nicht anders – es handelt sich um einen technischen Prozess mit einem Lebenszyklus der Entwurf, Implementierung, Testing und Bereitstellung umfasst. Die Pipeline für Machine Learning kapselt und automatisiert genau diesen Prozess. Dabei arbeitet die Pipeline iterativ, da jeder Schritt kontinuierlich wiederholt wird, um die Genauigkeit des Modells zu gewährleisten. Das Modell wird also nicht einmalig erstellt und ausgeliefert, sondern kontinuierlich innerhalb der Pipeline validiert, bei Bedarf neu trainiert, um das Modell korrekt auszurichten, und zum Schluss neu ausgeliefert. Das Aufbauen solch einer Pipeline ermöglicht die Ausführung des Modells in einer produktiven IT-Systemlandschaft. Somit bildet die Pipeline für maschinelles Lernen das Zentrale Produkt. Sie beinhaltet nicht nur das Modell sondern auch einen Apparat zum kontinuierlichen Testen, Evaluieren und Ausliefern der Modelle. Unabhängig davon, ob Sie mehrere Modelle oder ein einzelnes Modell gebaut haben, wird Ihr Modell früher oder später aktualisiert werden müssen um eine konstante und zuverlässige Vorhersagegüte zu besitzen. Demnach ist eine vollständige End-to-End-Pipeline für maschinelles Lernen ein Muss.

9. Integration IT-Systemlandschaft

Nachdem das Modell fertig gestellt wurde, wird es von uns in Ihre IT-Systemlandschaft integriert. Dabei ist unser Ziel nicht nur das fertige Model in Ihre produktiven Systeme einzubauen, sondern auch die hieraus gewonnenen Daten und Ergebnisse wieder in Ihr DWH oder Data Mart zurückzuführen. So besitzen Sie nicht nur die gewonnenen Ergebnisse des integrierten Modells, sondern Sie sind auch in der Lage diese neu gewonnenen Daten für darauf aufbauende Dienste, Prozesse und Modelle zu verwenden.

10. Aufbau eines Reportings

Damit Sie nicht auf unverständliche Zahlen schauen müssen, bauen wir Ihnen eine visuelle Repräsentation der Key Performance Indikatoren auf. Dieses Dashboard ermöglichte es allen Stakeholdern, unabhängig von Ihrem technischen Hintergrund, die Vorhersagen in Echtzeit zu analysieren. Solch ein interaktives Dashboard bietet den Nutzern eine aussagekräftige Datenvisualisierung, die Erkundung und Interaktivität fördert. Dies mündet in einem gesteigerten Verständnis darüber, warum Prozesse derzeit so sind, wie sie sind, oder warum bestimmte Ergebnisse eingetreten sind.