Data Science Beratung

Wir begleiten Sie während des gesamten Projektes ausführlich und verständlich. Unser Vorgehen bei der Umsetzung von AI & Data Analytics Projekten gliedert sich dabei in mehrere Phasen, die iterativ durchlaufen werden:

Phase 1: Datenerfassung

Bei der Datenerfassung handelt es sich um einen Prozess, der Daten von den Quellspeicherorten an die Zielspeicherorte verschiebt. Dieser Prozess wird benötigt, um die darauffolgenden Analyse-Prozesse auszuführen, ohne die IT-Systemlandschaft zu verlangsamen. Ein Quellspeicherort könnte Ihr Data Warehouse (DWH) oder Data Lake sein. Auch externe Datenquellen, wie Wetterdaten, Regionaldatenbanken oder auch Daten von statistischen Bundesämtern wie dem Institut für Arbeit und Beschäftigung (IAB) lassen sich in diesen Prozess inkludieren.

Phase 2: Datenaufbereitung

Bevor Sie Modelle trainieren und Vorhersagen mit diesen treffen können, müssen die Daten bereinigt werden. In der Praxis sind Daten häufig überladen, weisen fehlende Werte oder fehlerhafte Daten auf. Wir überprüfen die Qualität Ihrer Daten und tätigen die ersten Transformations- und Aggregationsschritte, um aus diesen aussagekräftige Formate zu generieren. Dabei prüfen wir die Daten auch auf Outlier (Ausreißer) und inkohärente Daten. Die nun bereinigten und aussagekräftigen Daten bilden die Grundlage für weitere Schritte.

Phase 3: Pre-Processing

Im folgenden Pre-Processing wenden wir verschiedene Analysemethoden an, um die Daten, die immer noch in einer Rohform vorliegen, in ein Format umzuwandeln, das beim Data Mining oder Maschinellem Lernen effektiver verarbeitet werden kann. Dies gewährleistet die genauesten Ergebnisse.

Zuerst kann eine Datenreduzierung, z. B. mittels der Principal Component Analysis, sinnvoll sein, um die Rohdaten in eine einfachere Form zu bringen. Die weiteren Aufbereitungsschritte werden so gewählt, dass wir Ihr Projektziel am effektivsten erreichen. Dies könnte eine Strukturierung von unstrukturierten Daten, die Kombination auffälliger Variablen oder die Identifizierung wichtiger Datenbereiche, auf die der Fokus gesetzt werden sollte, beinhalten.

Auf Grundlage dieser Vorarbeit wenden wir das Feature Engineering auf die Daten an, um einen Datensatz zu generieren der so organisiert ist, dass ein optimales Gleichgewicht zwischen der Trainingszeit für ein neues Modell und der erforderlichen Rechenleistung erreicht wird.
Zum Schluss teilen wir Ihre Daten in zwei Datensätze. Der erste Satz wird zum Trainieren eines Modells für maschinelles Lernen oder Deep Learning verwendet. Der zweite Satz wird als Testdatensatz genutzt, um die Genauigkeit und Robustheit des resultierenden Modells zu beurteilen.

Phase 4: Modellentwicklung / Operationalisierungsproblematiken

Ein gängiges Problem bei der Modellentwicklung ist die Operationalisierungsproblematik. Diese besagt, dass nicht alle Daten auf ein Modell passen und andersherum auch nicht alle Modelle auf die vorhandenen Daten. Somit existiert für einen speziellen Datensatz kein perfektes Modell.

Unser Ziel ist es daher, ein Modell zu identifizieren, welches für Ihre Daten die größte Aussagekraft und Güte besitzt. Dieses Modell kann auch aus mehreren Modellen bestehen, die zusammengeführt eine noch genauere Vorhersagegüte ermöglichen. Deshalb evaluieren wir für Sie die geeignetsten Modelle und garantieren Ihnen somit die bestmögliche Genauigkeit.

Phase 5: Modelltraining

Beim Training eines Machine Learning-Modells werden dem Algorithmus Trainingsdaten zum Lernen bereitgestellt. Damit der Algorithmus jedoch lernen kann, müssen die Trainingsdaten auch die richtigen Antworten beinhalten. Dadurch wird ihm ermöglicht, während des Lernens in den Trainingsdaten Muster zu finden. Es sind also die Eingabedaten (die Antwort, die Sie vorhersagen möchten) in den Trainingsdaten enthalten, sodass ein Modell ausgegeben wird, das dieses Muster erfasst. Der Begriff „Modell“ bezieht sich also auf das Modell-Artefakt, das durch den Trainingsprozess erstellt wird. Dieser Prozess ist die Trainpipeline.

Auf dieses Training folgt das Testen bzw. das Überprüfen des Modells auf seine korrekte Funktionsweise. Dafür wird der zweite Teil der Daten, nämlich die Testdaten – die der Algorithmus während des Lernens nicht gesehen hat – verwendet und dem Modell vorgelegt. Die Testdaten beinhalten zwar die korrekten Eingabedaten (Antwort, die vorhergesagt werden soll), jedoch sieht das Modell diese nicht. Dadurch können die auf den Testdaten getätigten Vorhersagen des Modells mit den korrekten Eingabedaten aus den Testdaten verglichen und beurteilt werden. Dies gewährleistet eine korrekte Funktionsweise des Modelles. Dieser Prozess ist die Testpipeline.

Phase 6: Forecasts

Eine gute Methode zur Verbesserung der Vorhersagegenauigkeit besteht darin, verschiedene Methoden auf das gleiche Problem anzuwenden und die daraus resultierenden Vorhersagen zu ermitteln. Sehr häufig stellt eine Kombination aus mehreren Modellen eine deutlich bessere Performance-Steigerung gegenüber einem einzigem Modell dar. Dadurch können wir durch Kombination verschiedener Forecasts das optimale Ergebnis für Ihren Anwendungsfall erreichen.

Phase 7: Forecastvalidierung

Eine Vorhersage lässt sich leicht treffen, jedoch lässt sich nicht immer mit einfachem Hinsehen feststellen wie gut diese Vorhersage ist. Um die Qualität eines Forecasts zu bewerten, verwenden wir verschiedene Techniken. Je nach Anwendungsfall können die Methoden von einfachen traditionellen Statistiken und Bewertungen, bis hin zu Methoden für eine detailliertere Diagnose und wissenschaftliche Überprüfungen reichen. Das Aufbauen dieser Validierung der Vorhersagequalität wird nicht nur zum reinen Bewerten der Güte benötigt, sondern auch um verschiedene Modelle miteinander vergleichen zu können. Darüber hinaus aber auch für die Überwachung der Prognosequalität. Wie genau sind die Prognosen und wie verbessern sie sich im Laufe der Zeit? Diese Validierung wird also nicht nur für die Entscheidungsfindung der Modelle sondern auch für spätere Prozesse wie dem Pipelining benötigt.

Phase 8: Aufbau einer Pipeline

Die Continous Integration und Continous Deployment (CI/CD) sind ein unverzichtbarer Schritt in der modernen Softwareentwicklung. Sie stehen für das systematische Automatisieren der Lebenszyklen der Softwareentwicklung. Die Entwicklung eines Modells für maschinelles Lernen ist hier nicht anders – es handelt sich um einen technischen Prozess mit einem Lebenszyklus, der Entwurf, Implementierung, Testing und Bereitstellung umfasst. Die Pipeline für Machine Learning kapselt und automatisiert genau diesen Prozess. Dabei arbeitet die Pipeline iterativ, da jeder Schritt kontinuierlich wiederholt wird, um die Genauigkeit des Modells zu gewährleisten. Das Modell wird also nicht einmalig erstellt und ausgeliefert, sondern kontinuierlich innerhalb der Pipeline validiert und bei Bedarf neu trainiert, um das Modell korrekt auszurichten.

Das Aufbauen solch einer Pipeline ermöglicht die Ausführung des Modells in einer produktiven IT-Systemlandschaft. Somit bildet die Pipeline für maschinelles Lernen das zentrale Produkt. Sie beinhaltet nicht nur das Modell sondern auch einen Apparat zum kontinuierlichen Testen, Evaluieren und Ausliefern der Modelle. Unabhängig davon, ob Sie mehrere Modelle oder ein einzelnes Modell aufgebaut haben, wird Ihr Modell früher oder später aktualisiert werden müssen, um eine konstante und zuverlässige Vorhersagegüte zu erreichen. Demnach ist eine vollständige End-to-End-Pipeline für maschinelles Lernen ein Muss.

Phase 9: Integration IT-Systemlandschaft

Nachdem das Modell fertig erstellt wurde, wird es von uns in Ihre IT-Systemlandschaft integriert. Dabei ist unser Ziel nicht nur das fertige Modell in Ihre produktiven Systeme einzubauen, sondern auch die hieraus gewonnenen Daten und Ergebnisse wieder in Ihr DWH oder Data Mart zurückzuführen. So besitzen Sie nicht nur die gewonnenen Ergebnisse des integrierten Modells, sondern Sie sind auch in der Lage diese neu gewonnenen Daten für darauf aufbauende Dienste, Prozesse und Modelle zu verwenden.

Phase 10: Aufbau eines Reportings

Damit Sie nicht auf unverständliche Zahlen schauen müssen, bauen wir Ihnen eine visuelle Repräsentation der Key Performance Indikatoren auf. Dieses Dashboard ermöglicht es allen Stakeholdern, unabhängig von Ihrem technischen Hintergrund, die Vorhersagen in Echtzeit zu analysieren. Solch ein interaktives Dashboard bietet den Nutzern eine aussagekräftige Datenvisualisierung, die Erkundung und Interaktivität fördert. Dies mündet in einem gesteigerten Verständnis darüber, warum Prozesse derzeit so sind, wie sie sind, oder warum bestimmte Ergebnisse eingetreten sind.

Wir unterstützen Sie bei allen Themen rund um Ihre Daten – ob bei fachlichen oder methodischen Fragestellungen, Datenaufbereitungen, Analysemöglichkeiten oder direkt bei der Umsetzung und Einführung von Modellen und Prozessautomatisierungen.

Sie profitieren dabei nicht nur von unserem externen Blick, sondern auch von unserer langjährigen Erfahrung. Dabei ist es uns ein großes Anliegen systematisch und objektiv vorzugehen und alle relevanten Stakeholder von Beginn an in ein Boot zu holen, um über ein gemeinsames Commitment die Unternehmensziele erfolgreich zu erreichen.

Wir bauen bei unserem Vorgehen auf einen ganzheitlichen Ansatz und schlagen Ihnen genau das Konzept vor, welches Sie brauchen. Auch bei der Umsetzung einzelner unserer Leistungspakete verlieren wir das große Bild nicht aus den Augen und schauen immer über den Tellerrand, um tangierende Projekte/Abteilungen positiv zu unterstützen.

Fragen Sie hier gerne nach unseren spezialisierten Data Science-Profilen.