Explorative Datenanalyse Beratung

Über die Explorative Datenanalyse werden vielfältige Potentiale zur Nutzung der vorliegenden (Roh-)Daten aufgezeigt, indem über die verschiedenen Methoden ein verbessertes Verständnis zu den Variablen und deren Beziehung zueinander versteckte Kausalitäten erkannt und neues Wissen generiert werden. Diese aus unterschiedlichen Perspektiven durchgeführten Analyseansätze liefern Ihrem Unternehmen wertvolle Erkenntnisse für Strategieplanungen, Entscheidungsprozesse und Innovationen. Der stetige Informationsfluss und die damit wachsende Datenmenge konfrontieren viele Unternehmen und bergen dabei auch gewisse Risiken. Denn durch die steigende Datenmenge wird häufig nicht das vollumfängliche Potential der Daten (bereits vorliegende oder auch neu gewonnene Daten) ausgeschöpft. Veraltete Daten und mangelnde Datenqualitäten führen zu fehlerhaften Entscheidungen.

Ziel der Explorativen Datenanalyse ist es, Abhängigkeiten, Korrelationen, Muster, Anomalien und Trends in Ihren Daten zu identifizieren und zu visualisieren und dadurch einen Mehrwert zu generieren. Ein Mehrwert, aus denen sich Konzepte für Ihr Unternehmen ergeben, um den Umsatz zu steigern, den Content Ihres Portfolios zu verbessern, Kunden zu begeistern und neue Kunden zu gewinnen. Nebenbei stellt die Datenaufbereitung (Data Preparation) bereinigte Datensätze bereit, die in nachfolgenden Datenmodellen, wie Churn Prevention, Kundensegmentierungen, Affinitätsmodelle (NBO) oder auch andere Methoden aus den Bereichen Data Mining/Text Mining und Visual Analytics/Big Data Analytics genutzt werden können.

Wir von CINTELLIC unterstützen Sie bei der Exploration Ihrer Daten und geben Ihnen folgend einen Eindruck, wie Ihre Datenanalyse mit uns umgesetzt werden kann:

1. Kurzcheck: Erkennen Sie Ihren Bedarf für eine Explorative Datenanalyse?
2. Typische Kundenfragen zum Thema Explorative Datenanalyse
3. CINTELLIC liefert Antworten: Ihr Mehrwert unserer Beratung in der Explorativen Datenanalyse
4. Die Bausteine unserer Beratungsleistung bei der Explorativen Datenanalyse
5. Fazit
6. Kontakt

Sie können CINTELLIC für einen oder auch für mehrere der unten aufgeführten Bausteine buchen. Bei einer Buchung aller Bausteine profitieren Sie von unserem Rundum-Analyse-Service. Neben diesen Bausteinen stehen wir Ihnen auch mit auf Ihre Bedürfnisse angepassten Coachings zur Seite. Folgend erläutern wir Ihnen das Leistungsspektrum der einzelnen Bausteine aus dem Bereich der Explorativen Datenanalyse:

1. Datenaufbereitung

Ziel der Data Preparation ist es, die vorliegenden Daten so aufzubereiten und zusammenzufassen, dass sie korrekt, konsistent und relevant sind und damit aussagekräftige Analysen durchgeführt werden können. Dementsprechend sind die Identifikation und Eliminierung von fehlerhaften Daten und Anomalien wie Outliers (Extremwert oder Ausreißer), Missing Values oder Dubletten als wichtige Aufgaben zu nennen genauso wie die Datenformatierung. Besonders für Daten aus Data Lakes ist der Schritt der Datenaufbereitung unabdingbar, da die Daten unbearbeitet in ihrem Rohformat abgelegt sind.

Die Detektion von Outliers kann Ihnen Erkenntnisse zur Datenqualität liefern, da diese Extremwerte zum Beispiel durch Datenerfassungsfehler entstanden sind und nicht die Realität abbilden. Handelt es sich um valide Werte sollten diese Werte mithilfe von Domänenwissen analysiert werden, um zu entscheiden, wie mit diesen umgegangen werden soll. Zu den eingesetzten Techniken können unter anderem die Standardabweichungen (Standard Deviation), Clustering Methoden, wie DB Scan oder auch die unsupervised learning Methode des Isolated Forest Algorithms genannt werden. Eine Visualisierung findet häufig über Boxplots statt.

Liegen fehlende Werte (Missing Values) in den Daten vor, sollte diese entweder entfernt oder ersetzt (Imputation) werden. Imputationen können mit den verschiedenen Arten der Mittelwerte (Mean, Median, Mode), mit Clustermethoden, wie der KNN (k-nearest neighbor) Imputation oder mit linearen Regressionen erfolgen. Eine Überprüfung Ihrer Daten auf Dubletten und die Eliminierung dieser duplizierten Datensätze verbessert nicht nur die Analyseergebnisse, es verhindert zusätzlich, dass Kunden über Ihre Kampagnen mehrfach angeschrieben oder angerufen werden.

2. Deskriptive Datenanalyse

Die deskriptive Datenanalyse beschreibt, ordnet und strukturiert die vorliegenden Daten anhand statistischer Kennzahlen und Visualisierungen, sodass Fragestellungen wie ‚Was ist passiert?‘ oder ‚Wie ist der aktuelle Stand?‘ beantwortet werden können. Daraus ergeben sich zum Beispiel Informationen zum Umsatz des letzten Quartals, zur durchschnittlichen Dauer eines Kundentelefongespräches oder die fehlende Anzahl an Mitarbeitern.

Als Visualisierungen werden häufig absolute und relative Häufigkeitsdiagramme, Histogramme und Boxplots verwendet. Als statistische Kennzahlen sind unter anderem die Lageparameter (z. B. Mittelwert, Median, Modus, Minimum, Maximum) und Streuungsparameter (z. B. Varianz, Standardabweichung, Quartile) zu nennen. Kennzahlen zur Schiefe und Kurtosis (Wölbung) liefern weitere Erkenntnisse zu den Wahrscheinlichkeitsverteilungen. Liegen keine typischen Wahrscheinlichkeitsdichteverteilung, wie Normal- oder Binomialverteilung, vor, kann über die (Kern-) Dichteschätzung eine Gesamtform der Variablen abgeschätzt werden.

Ihre Parameter zur Messung des Unternehmenserfolg (z. B. Kunden- und Produktumsätze) werden über Verteilungsanalysen in eine überschaubare Anzahl an Intervallen abgebildet und analysiert. Grafische Vergleiche aktueller Entwicklungen solcher Parameter mit definierten Zielgrößen bieten als sogenannte Gap-Analyse eine Früherkennungsmethode für Abweichungen in der Unternehmenszielentwicklung. Je nach Art der Lücke (operatives oder strategisches Gap) können kurzfristige Maßnahmen oder Strategieanpassungen im Unternehmen als Gegenmaßnahmen vorgenommen werden. Mögliche messbare Zielgrößen sind zum Beispiel Umsatz, Gewinn, Eigenkapitalquote, Kunden- oder Mitarbeiteranzahl.

Eine Kombination der deskriptiven Datenanalyse mit weiterführenden Analysemethoden können Ihnen dann mögliche Gründe für die vorliegenden Ergebnisse oder die in Zukunft zu erwartenden Ergebnisse liefern.

3. Datenaggregationen

Datenaggregationen werden verwendet, um relevante Daten zu erfassen, die später verarbeitet und analysiert werden, um aufschlussreiche Zusammenfassungen zu erstellen. Im ersten Schritt werden große Mengen an (Roh-) Daten, die auch in verschiedenen Quellsystemen vorliegen können, bereinigt, transformiert und zu einer einheitlichen Form aggregiert. Im darauffolgenden Schritt werden dann diese Aggregationen deskriptiv und explorativ analysiert und die Ergebnisse als zusammenfassende Kernpunkte präsentiert.

Einfache Darstellungen von Datenaggregationen sind zum Beispiel die Gesamtanzahl, die Summe, der Durchschnitt, das Minimum und Maximum. Als weiterführende Beispiele aggregierter Daten können die geschätzte Anzahl an Neukunden in einem bestimmten Monat oder das durchschnittliche Alter des Kunden je Produkt genannt werden. Hierbei ist nicht jeder einzelne Kunde mit den persönlichen Daten bekannt, es ist aber die Alterspanne der Kunden je Produkt gespeichert.

Ziel der Datenaggregationen ist es, Ihnen als Unternehmen genügend relevante Einblicke und Auswertungen zu geben, die Sie bei Entscheidungsprozessen oder bei der Entwicklung neuer Marketingstrategien unterstützen. Weitere Anwendungen finden sich beim Sammeln von Kundenfeedback, in der Produktverbesserung oder in der Preisgestaltung. In Zusammenhang mit Tracking-Daten können Kundeninformationen, die auf den im Webbrowser der Nutzer gespeicherten Informationen aufbauen, aggregiert und für gezielte Werbeansprachen genutzt werden. In Bezug auf demografische oder verhaltensbezogene Merkmale wie Alter, Beruf, Bildungsstand oder Einkommen, sind aggregierte Daten auch für statistische Analysen von Kundengruppen nutzbar (mehr Informationen siehe Datensegmentierungen).

4. Datensegmentierungen

Segmentierungsmethoden unterteilen Daten in kleinere, homogene und zweckmäßige Teilmengen mit dem Ziel, nützliches und verborgenes Wissen aus den Daten zu extrahieren. Sie werden dann eingesetzt, wenn es um das Finden von meist komplexen Strukturen (Gruppen, Klassen, Hierarchien) in hochdimensionalen Räumen geht. Ziel der Analysemethoden ist es also, aus den vorliegenden Daten anhand einer unbekannten, vorliegenden Struktur möglichst automatisch Gruppierungen zu finden und diese widerzuspiegeln.

Typische Anwendungsbereiche sind in der Bildverarbeitung die Erkennung von Mustern oder in der Personalisierungsstrategie von Marketingkampagnen die Erstellung von Kundenzielgruppen. Denn über strategisch relevante, personalisierte und wirkungsvolle Marketingkampagnen soll die richtige Botschaft, zur richtigen Zeit, an die richtige Person über den richtigen Kanal übermittelt werden. Dies verbessert nicht nur den Unternehmenserfolg, sondern auch die Customer Experience. Denn Kunden lassen sich häufig nach geografischen, psychografischen, demografischen und Verhaltenskriterien unterscheiden und eine detailliertere Analyse der Kundenkohorten bietet Ihnen weitere Rückschlüsse auf Markentreue, beliebte Produkt (-gruppen) oder auf das Ausgabeverhalten. Vorliegende Tracking-Daten können einen weiteren Input liefern.

Unter der Annahme, dass in Ihren Daten eine Struktur von Gruppen existiert, können beispielsweise Clustering-Methoden angewandt werden. Diese zählen zu den unsupervised Machine-Learning Algorithmen und bilden die Segmente automatisch. Die Wahl auf eine Clustering-Methode entscheidet sich anhand der Skalierbarkeit, der Dimensionalität, der Datentypen und der Interpretierbarkeit der Ergebnisse und bestimmt den Erfolg der Segmentierung. Je nach Ansatz können folgende Clustering-Methoden unterschieden werden: Centroid-basiertes Clustering (K-Means), Dichtebasiertes Clustering (DB-Scan), Verteilungsbasiertes Clustering (Gaussian Mixture Model) und Hierarchisches Clustering (Agglomerative Hierarchy Clustering).

5. Dimensionalitätsreduktion

Heutzutage haben wir Zugriff auf riesige Datenmengen, die für Analysezwecke und Vorhersagemodelle genutzt werden können. Je mehr Daten jedoch verarbeitet werden, desto schwieriger wird es diese rechnerisch zu analysieren und zu visualisieren. Weitere Schwierigkeiten bei der Verwendung großer Datenmengen sind, dass einige Variablen weniger wichtiger sind als andere Variablen, dass einige Variablen miteinander korrelieren und dass Modelle sich zu sehr an die vorliegenden Daten anpassen (Overfitting) und schlechte Prognosen liefern. Hierbei kann die Dimensionalitätsreduktion helfen. Denn die Reduzierung von Dimensionen beinhaltet eine Transformation von Daten aus einem hochdimensionalen Raum in einen niedrigdimensionalen Raum mit dem Ziel dieselbe Aussagekraft der ursprünglichen Daten beizubehalten.

Daraus geht hervor, dass die Reduzierung von Dimensionen in Bereichen üblich ist, die mit einer großen Anzahl von Variablen und / oder einer großen Anzahl von Beobachtungen arbeiten, wie beispielsweise die Signalverarbeitung oder die Bild-, Text- und Spracherkennung. Die Methoden werden aber auch zur Rauschunterdrückung, zur Datenvisualisierung, zur Clusteranalyse oder als Zwischenschritt zur Erleichterung anderer Analysen (Regressionen, Klassifizierungen) eingesetzt. Für die Dimensionalitätsreduktion gibt es sowohl supervised wie unsupervised Machine-learning Methoden, die unterschiedliche Techniken zur Reduzierung der Dimensionen anwenden.

Als Beispiele können die Linear Discriminant Analysis (LDA, supervised) oder die Principal Component Analysis (PCA oder auch Hauptkomponentenanalyse, unsupervised), die zu dem wichtigsten linearen Verfahren zählt, genannt werden. Die ermittelten Hauptkomponenten aus den vorliegenden Daten helfen Ihnen sich auf wesentliche Variablen zu konzentrieren, Korrelationen zu vermeiden und komplexe Datenstrukturen visuell aufzuarbeiten.

6. Explorative Faktorenanalyse

Die Faktorenanalyse ähnelt im Grundsatz der Hauptkomponentenanalyse und ist auch eine Form der Dimensionalitätsreduktion, ist aber aufgrund einiger deutlicher Unterschiede eine individuelle Analysemethode, die zudem auch versteckte Strukturen erkennen kann. Die Faktorenanalyse ist eine Technik, um von empirischen Beobachtungen vieler verschiedener Variablen auf wenige zugrundeliegende latente Variablen (Faktoren) zu schließen.

Beispiel: In Bezug auf ein Produkt, zum Beispiel eines Parfums, könnten folgende Aussagen empirische Beobachtungen sein: riecht blumig, juckt auf der Haut, milder Geruch, sticht in der Nase, angenehmes Tragegefühl. Der erste Schritt der explorativen Faktorenanalyse ist dann eine Reduktion dieser Variablenanzahl, indem Beobachtungen mit ähnlichem Informationsgehalt in homogene Gruppen (hier z. B. „Geruch“, „Hautverträglichkeit“) erfasst werden, die wenig Wechselwirkung untereinander aufzeigen. Für diese Gruppen werden dann verlässliche Messgrößen ermittelt, da eine Gruppe günstigere messtechnische Eigenschaften besitzt als die einzelnen Beobachtungsvariablen. Anschließend ermöglicht die Faktorenanalyse Rückschlüsse auf übergeordnete latente Variablen, wie zum Beispiel die Produktbeliebtheit.

Empirische Beobachtungen können Sie aus Kundenfeedbacks generieren oder über Fragebögen mit einer Bewertungsskala erstellen. Diese Kundenbewertungen können von der explorativen Faktorenanalyse in latente Faktoren wie Zufriedenheit, Beliebtheit, Kaufinteresse, Stress, Angst, usw. umgewandelt werden. Dies erleichtert es Ihnen Produkte zu optimieren oder den Kundenservice zu verbessern.

Es besteht auch die Möglichkeit die Faktorenanalyse in der Spracherkennung anzuwenden, indem akustische Hauptfaktoren verwendet werden, um zum Beispiel Sprachüberlagerungen (Ansagen im öffentlichen Raum, Konferenzmitschnitte) verständlicher zu machen.

7. Korrelationsanalyse

Bivariate wie multiple Korrelationsanalysen geben Aufschluss, in welchem Maße und in welche Richtung sich vorliegende Datenvariablen beeinflussen. Steigt der Produktabsatz, wenn wir die Werbemaßnahmen erhöhen? Steigt unsere Kundenzufriedenheit, wenn wir die Kundenkontakte erhöhen? Voraussetzungen für diese Analysen ist das Vorliegen einer metrischen Datenstruktur und der lineare Zusammenhang zwischen den zu untersuchenden Variablen, der in einem ersten Schritt visuell über Streudiagramme (scatter plots) dargestellt werden kann.

Als Ergebnis einer Korrelationsanalyse wird ein Korrelationskoeffizient ermittelt. Dieser gibt Rückschlüsse sowohl über die Stärke wie auch über die Richtung des Zusammenhangs zwischen Variablen. Ein nachfolgender Signifikanztest mit einem festgelegten Signifikanzniveau prüft, ob die Korrelation auch in der Grundgesamtheit vorliegt und somit statistisch gesehen sehr wahrscheinlich ist oder ob der Variablenzusammenhang nur zufällig entstanden ist. Visuelle Möglichkeiten zum Abbilden der Korrelationen zwischen multiplen Variablen, sogenannte Korrelationsmatrizen, sind Heat-Maps.

Wichtig bei Ihrer Ergebnisnutzung der Korrelationen ist, dass die Korrelationsanalyse nur Aussagen zu einem statistischen Zusammenhang zwischen Variablen liefert und nichts über deren kausalen Zusammenhang aussagt – hierfür werden Domänenwissen und weitere Analysemethoden benötigt. Trotzdem geben die reinen Korrelationen zahlreiche Aufschlüsse über Ihre Daten, die auf vielfältige Weise genutzt werden können und die Sie bei der Erstellung von korrekten und aussagekräftigen Datenmodellen unterstützen. Sei es bei der Nutzung von Linearen Regressionen oder bei der Verwendung in anderen Datenmodellen, um Multikollinearitäten festzustellen.

8. Datentransformationen

Die Datentransformation behandelt die Konvertierung von Daten in verschiedene Formate. Dies ist zum einen notwendig, um (Roh-) Daten aus verschiedenen Quellen in ein Format umzuwandeln, welches für Analysezwecke nutzbar ist, um neue Erkenntnisse aus den Daten zu gewinnen. Gerade bei der Verwendung von Data Lakes ist dies ein relevanter Prozess, um die verschiedensten Daten in einen nutzbaren Zustand zu konvertieren.

Zum anderen können über Datentransformationen zusätzliche Daten in Datenanalysen und -modelle einbezogen werden und diese anreichern, die aufgrund ihres Formates vorher ausgeschlossen werden mussten. So ist für die Verwendung von Linearen und Logistischen Regressionen eine Voraussetzung, dass die Daten normalverteilt vorliegen. Ist dies nicht der Fall, kann häufig über logarithmische Transformationen eine gute Annäherung an eine Normalverteilung erreicht werden. Über solche Transformationen können auch die verschiedenen Einheiten der Daten (kg, g, € / kg, usw.) normalisiert und dadurch eine Vergleichbarkeit erzeugt werden. Weiterhin können über Transformationen kategorische Daten in numerische Daten konvertiert werden, um beide Datentypen in denselben Datenanalysen und -modellen zu verwenden. Eine bekannte Methode ist die One-Hot-Codierung, die kategorische Daten in binäre Merkmale umwandelt. Dies kann Sie beispielsweise bei Ihren Warenkorbanalysen unterstützen.

Aber auch in Bereichen der Textverarbeitung, wie Natural Language Processing (NLP) oder in der Bildverarbeitung zur Klassifizierung, Objekterkennung oder Segmentierungen sind Transformationsprozesse hilfreich, um die entsprechenden Text- und Bilddateien für die Analysen aufzubereiten.