Scoringmodell

Was vorhergesagt werden soll, ist nahezu beliebig – von Aktienkursen, Kaufwahrscheinlichkeiten, Umsatzprognose eines neuen Produktes bis hin zur Bevölkerungsentwicklung können unterschiedlichste Kriterien gewählt werden. Auch bei den Merkmalsträgern – also für wen/was etwas vorhergesagt werden soll – sind keine Grenzen gesetzt: eine Person, eine Personengruppe, ein Standort, ein neues Produkt, eine Region – alle weisen bestimmte Merkmale auf, für welche Prognosemodelle (wie etwa Scores) genutzt werden können. 

Nahezu jeder von uns ist tagtäglich Scoringmodellen „ausgesetzt“. Ob ein Recommender System Musik- oder Filmvorschläge macht, die Wettervorhersage für das Wochenende, ob wir einen Kredit genehmigt bekommen (und wenn ja, zu welchem Zinssatz), die Regierung auf Basis einer Steuerschätzung den Steuersatz ändert – hinter all diesen Ereignissen stehen Scoringmodelle.  

Meist wird den Merkmalsträgern durch Scoringmodelle ein konkreter Scorewert zugeordnet. Dadurch lassen sich die Merkmalsträger dann nach Wertigkeit reihen. Dies ist beispielsweise wichtig, wenn ich wissen will, welche Kunden am wahrscheinlichsten auf meine Ansprache reagieren werden. Die Kunden mit der höchsten Response-Wahrscheinlichkeit würden dann bevorzugt angesprochen. Dies kann insbesondere dann relevant sein, wenn die Kundenansprache mit hohen Kosten verbunden ist, z.B. über ein Callcenter oder ein hochwertiges Printmailing erfolgt.  

Um ein Scoringmodell zu entwickeln empfehlen sich folgende drei Schritte:

Zielkriterium definieren 

Ein Scoringmodell soll helfen, die Wahrscheinlichkeit eines Ereignisses vorherzusagen – und dadurch Unsicherheit reduzieren und eine Entscheidungsgrundlage geben. Um ein Scoringmodell zu entwickeln, muss ein klares Ziel definiert sein: was soll vorhergesagt werden, und für welche Gruppe? Dies ist nicht trivial, wie exemplarisch an einem Onlinehändler verdeutlicht werden kann: welche Kunden reagieren am wahrscheinlichsten auf eine Kampagne? 

Welche Reaktion ist aber tatsächlich das Ziel des Händlers: eine Bestellung? Der Umsatz? Die Marge? Die Nettomarge nach Abzug der Retouren? Und für welche Kundengruppe möchte ich eine Vorhersage treffen: für alle Kunden oder getrennt nach Kundensegmenten (z.B. Neu- vs. Bestandskunden)? Je nachdem, für welches Zielkriterium oder welche Kundengruppe der Händler sich entscheidet, werden sehr unterschiedliche Scoringmodelle das Ergebnis der Score-Entwicklung sein.  

Datenaufbereitung 

Das Fundament für ein gutes Scoringmodell ist die Datenbasis. Ohne die entsprechende Datenbasis kann kein gutes Scoringmodell entwickelt werden. Dabei ist meint die Datenqualität nicht unbedingt eine möglichst große Menge an Daten oder besonders hohen Detailgrad. Wichtig für ein gutes Modell sind vielmehr: 

• Vollständigkeit der Daten: Liegen Daten vollständig für alle Merkmalsträger vor, oder gibt es viele fehlende Werte? Dies ist wichtig, um das spätere Modell auf möglichst viele Merkmalsträger anwenden zu können. Wenn ein Merkmal einen hohen Einfluss (eine hohe Gewichtung) in dem Scoringmodell hat, aber nur für wenige Merkmalsträger vorliegt, kann das Modell auch nur für diese Gruppe valide Vorhersagen liefern. Will eine Versicherung beispielsweise für die Prämienberechnung die jährlichen Fahrtkilometer nutzen, hat diese Daten aber nur für einen kleinen Teil ihrer Kunden, sollte dieses Merkmal nicht für die Score-Entwicklung genutzt werden, sondern auf andere Merkmale zurückgegriffen werden – z.B. den Fahrzeugtyp, sofern dieser für mehr Kunden vorliegt. Fehlende Werte sind allerdings kein Ausschlusskriterium, über Mittelwerte von Merkmalen oder Nearest-Neighbor-Verfahren können fehlende Werte in vielen Fällen ersetzt werden 
• Datenformat: Für manche Scoringmodelle müssen bestimmte Voraussetzungen an das Datenformat erfüllt sein, etwa hinsichtlich des Skalierungsformates oder der Datenverteilung. Durch Datentransformation lassen sich, bei Bedarf, die Daten entsprechend aufbereiten, z.B. ein nominalskaliertes Merkmal in mehrere dichotome Merkmale umwandeln, oder eine Normalverteilung für ein Merkmal erzielt werden.
  
• Verfügbarkeit von Daten: Wie soll das Scoringmodell nach der Entwicklung eingesetzt werden, und vor allem: für wie lange? Werden die Daten, auf deren Basis das Modell entwickelt wurde, dann auch noch vorliegen? Dürfen beispielsweise aufgrund von rechtlichen Rahmenbedingungen bestimmte personenbezogene Daten in Zukunft nicht mehr erhoben werden, macht es wenig Sinn, diese Daten für die Score-Entwicklung zu nutzen. Selbst wenn diese Merkmale eine gute Vorhersage ermöglichen würden, könnten sie zu einem späteren Zeitpunkt nicht genutzt werden, und das Modell würde obsolet. 

Die Datenaufbereitung ist meist der arbeitsintensivste Teil der Modellentwicklung – und oft auch der Einflussreichste! Die Qualität des Scoringmodells hängt viel stärker von der Qualität der Daten ab als von der Wahl des konkreten Algorithmus oder der bestmöglichen Wahl der Parameter für diese Algorithmen. 

Wahl des Modells 

Welches Scoringmodell ist nun das Richtige? Das hängt von vielen Faktoren ab, etwas Datenverfügbarkeit, Zeithorizont der Nutzung des Modells, Anforderungen an Alpha- und Betafehler etc. Im Zweifelsfall gilt: einfach testen! Es spricht nichts dagegen, mehrere Modelle auf einen Datensatz anzuwenden, Modelle zu entwickeln und gegen eine Validierungsstichprobe die Modellgüte zu prüfen.