Ausreißer bei der Regression, Teil 2

Nach dem ich die Antwort auf die Fragen 2 und 3 noch schuldig geblieben bin, hier nun die weiteren Betrachtungen zum Umgang mit Ausreißern bei der Regression....

Wie war nochmal Frage 2? - Soll man die Residuen auf Ausreißer überprüfen?

Antwort: Ja, unbedingt!!!

Das "ja unbedingt" ist genau so gemeint. Man darf einfach keine Regression berechnen, ohne auf die Residuen zu schauen, und im speziellen Fall auf Ausreißer zu untersuchen.

Wobei, auf Ausreißer untersuchen, nicht unbedingt heißt einen Ausreißertest durchzuführen. Ich persönlich neige eher dazu, den Ausreißertest durch Hinsehen zu machen. Der Hintergedanke dazu ist, dass unser Gehirn extrem gut Muster erkennen kann, und speziell Ausreißer werden sehr gut erkannt. Das mag wohl damit zusammenhängen, dass die Erkennung ungewöhnlicher Umstände überlebenswichtig ist und dadurch die Evolution so gesteuert wurde, dass sich diese Eigenschaft sehr gut entwickeln konnte.

Hinsehen hat aber noch einen anderen Vorteil, der sich erst beim zweiten Nachdenken erschließt. Und damit sind wir schon bei der Frage 3: Kann es sein, dass man in den Residuen einen Ausreißer sieht, diesen aber mit einem Test nicht findet?

Antwort: Ja, das kann sein.

Nun, dazu ein Beispiel: Nehmen wir an, wir hätten einen Datensatz, der sich gut mit einer linearen Regression modellieren lässt. Allerdings stört ein weit außen liegender Ausreisser durch den Hebeleffelt so stark, dass die Regressionslinie kippt und in die falsche Richtung geht (Abbildng links). Zeichnet man dazu den Residuenplot (Abb. rechts), so sieht man den Ausreißer natürlich ganz klar (was ja nicht verwunderlich ist). Allerdings, wenn man auf die Residuen einen Ausreißertest anwendet, so wird der Ausreisser nicht erkannt. Der Grund dafür ist im Hebeleffekt zu suchen. Durch das Kippen der Regressionskurve, rückt der Ausreißer so nahe an die anderen Punkte heran, dass er nicht mehr erkannt werden kann.

Ein Ausreißertest untersucht die Residuen ja unabhängig von x, so dass man die Residuen, streng genommen, nur als Punkteplot auftragen sollte (rechte Abbildung unten). Aus dem Punkteplot wird auch unmittelbar klar, dass ein Ausreissertest den roten Punkt (der der Ausreisser ist) nicht als Ausreisser erkennen kann.

Ausreißertests bei der Regression

Momentan bin ich ziemlich eingedeckt mit Korrekturarbeiten einer Lehrveranstaltung zur Biostatistik. Das ist zwar insgesamt eine sehr nervtötende Arbeit, liefert aber dennoch immer wieder nützliche Hinweise, wo Lernende mit einem bestimmten Stoffgebiet Probleme haben. So liefert die Korrekturzeit für mich immer auch Anregungen, bestimmte Aspekte nochmals intensiver oder aus einem anderem Blickwinkel darzustellen.

Diesmal scheint die Regression und in diesem Zusammenhang der Umgang mit Ausreißern ein schwarzes Loch aufgerissen zu haben, das dringend gestopft gehört (im Gegensatz zu schwarzen Löchern irgendwo im Universum, entsteht beim Auffüllen von schwarzen Löchern in den eigenen Grundkenntnissen keine Strahlung, weshalb man beim Lernen nicht leuchtet ;-)

Genug gequatscht, was ist das Thema? Nun das lässt sich am besten durch ein paar Fragen zusammenfassen:

1. Soll man die Regressionsvariablen auf Ausreißer überprüfen?
2. Soll man die Residuen auf Ausreißer überprüfen?
3. Kann es sein, dass man in den Residuen einen Ausreißer sieht, diesen aber mit einem Test nicht findet?

Antwort zu Frage 1: NEIN!!!

Vielleicht erscheint Ihnen die Frage unsinnig (nach dem Motto: "wie kommt der Lohninger auf diese blöde Idee?"). Wenn das so ist, dann überspringen Sie die folgenden Zeilen und lesen weiter bei der Antwort zur Frage 2.....

Für den Rest des werten Publikums hier eine ausführliche Antwort: Nun, die Regressionsvariablen einzeln auf Ausreißer zu überprüfen, ist deshalb sinnlos, weil es bei der Regression ja darum geht, den Zusammenhang zwischen zwei Variablen zu modellieren, und da macht die Überprüfung der Einzelvariablen wenig (keinen) Sinn. Ein Beispiel soll dies zeigen:

Im linken Diagramm (y₁ aufgetragen gegen x₁) sieht man einen klassischen Zusammenhang, der sich mit simpler parabolischer Regression einfach modellieren lässt; im rechten Diagramm (y₂ gegen x₂) gibt es hingegen ganz offensichtlich einen Ausreißer, der abseits der restlichen Daten liegt (und abseits des eigentlichen Zusammenhangs).

Führt man nun einen Ausreißertest (z.B. den Dean-Dixon-Test) aller Einzelvariablen durch, so findet man nur für die Variable y₁ einen Ausreißer, nämlich den Punkt P₁ - was natürlich im Licht der Regression Blödsinn ist, da gerade dieser Wert im Zusammenhang mit x₁ seine Berechtigung hat und schön brav in der Nähe der Regressionskurve liegt. Andererseits ist der Wert P₂ im rechten Diagram mit Sicherheit ein Ausreißer, wird aber beim Test der Einzelvariablen nicht gefunden, da die jeweiligen Koordinaten ja innerhalb der Verteilung der Koordinaten der anderen Punkte liegen.

Einzig richtige Schlussfolgerung aus dem Experiment: Hände weg von Ausreißertests der Einzelvariablen!! Das heißt aber nicht, dass Ausreißer nicht massive Probleme bei der Regression machen können.

Soweit die erste Teilantwort auf Frage 1, die weiteren Antworten folgen in den nächsten Tagen (so bald ich wieder Luft habe und die Arbeiten aus der Biostatistik-Lehrveranstaltung fertig korrigiert sind).

Staub in der Luft - die Pleite der Ausreißertests

Wie versprochen hier nun eine erste, eingehendere Analyse der Staubdaten. Im ersten Anlauf wollen wir mal über Ausreißer nachdenken - ein Thema, das mich immer wieder zur Weißglut treibt, wenn ich sehe wie unreflektiert manche Zeitgenossen Ausreißer eliminieren.

Unter Ausreißer versteht man im Sinne der Datenanalyse natürlich nicht jene eher jugendlichen Zeitgenossen, die die Nase voll haben von ihren meist super angepassten Eltern, sondern schlicht und einfach Datenpunkte einer Messserie, die ungewöhnlich weit weg liegen von allen anderen Messungen und damit einen Hinweis liefern, dass "irgendetwas mit diesen Messungen nicht stimmt".

Um Ausreißer erkennen zu können, bedarf es zum einen des Verständnisses der Daten und des Messprozesses und zum anderen natürlich auch eines gewissen minimalen statistischen Hintergrundwissens.

Nehmen wir der Einfachheit halber mal an, wir wären keine Naturwissenschafter sondern Statistiker - wir wissen als nichts über den Messprozess und wir wollen auch nichts darüber wissen. Dann bleibt uns nichts anderes übrig, als die Entscheidung, ob ein Wert ein Ausreißer ist, anhand von Wahrscheinlichkeiten zu treffen. Wir können uns also die Frage stellen, wie groß die Chance ist, dass ein bestimmter Wert zufällig und im Rahmen der "normalen" Daten auftritt. Ist diese Wahrscheinlichkeit sehr klein, so wird man diesen Wert als Ausreißer klassifizieren.

Allerdings ergeben sich einige Schwierigkeiten, von denen eine näher betrachtet werden soll: Um die Auftrittswahrscheinlichkeit eines bestimmten Messwerts berechnen zu können, muss ich die Verteilung der Daten kennen (oder eine Annahme dazu treffen). Der naive Anwender neigt hier dazu auf statistische Tests zu vertrauen, was implizit aber immer die Annahme einer zugrundeliegenden Verteilung mit einschließt. Beispiel: Habe ich Messungen die aus einer Pareto- oder Cauchy-Verteilung stammen, so werden die gängigen Ausreißertests sehr oft Ausreißer identifizieren, die aber in Wirklichkeit keine sind. Die hirn- und kritiklose Anwendung von Ausreißertests führt also in vielen Fällen zu grob falschen Ergebnissen (darum meine gelegentliche Weißglut...).

Betrachten wird als Beispiel einen Ausschnitt aus unseren Staubdaten (die Daten stehen als DataLab-File zur Verfügung):

Wenn wir auf diese Daten einen Ausreißertest anwenden, so wird der Dean-Dixon-Test keine Ausreißer finden, der Grubbs-Test wird den höchsten Wert des Peaks 3 als Ausreißer identifizieren.

Ich behaupte mal, dass beide Ergebnisse falsch sind. Warum diese arrogante Behauptung? - Na ja, es ist ja nicht verboten, sein Wissen über die Daten, das Messgerät und die Prinzipien der jeweiligen statistischen Tests zusammenzuführen und damit zu einem Urteil zu kommen. Im Detail: Der Dean-Dixon-Test setzt den Abstand des größten Wertes vom zweitgrößten Wert in Beziehung zur Gesamtspannweite der Daten. Gibt es nun aber zwei oder mehrere große Werte (also potentielle Ausreißer), so wird der Abstand des größten vom zweitgrößten Wert klein sein - womit der Dean-Dixon-Test keine Change hat. Der Dean-Dixon-Test eignet sich also nur für Einzelausreißer. Der Grubbs-Test hingegen testet immer den Abstand des größten Werts vom Mittelwert, gemessen in Einheiten der Standardabweichung und setzt eine Normalverteilung voraus - was in unserem Fall schlicht falsch ist.

So, und nun kommt noch mein Wissen über die Messung dazu: Ich weiß, dass das Messgerät stoßempfindlich ist, und immer dann wenn ich das Gerät abrupt bewege, zeigt es einen (einzelnen) hohen Wert an. Betrachten wir die Messwerte im Detail, so sieht man, dass Peak 1 nur ein Einzelwert ist, währen die anderen beiden Peaks deutlich breiter sind. Meine Einschätzung ist also, dass Peak 1 ein Ausreißer ist, die Peaks 2 und 3 aber auf real vorhandene Abweichungen der Staubkonzentration zurückzuführen sind.

Analysieren wir die gemessenen Daten in der Gesamtheit, so wird man jene Peaks, die stark von den vorhergehenden Werten abweichen aber nur einen Messwerte "breit" sind, als Ausreißer betrachten, alle anderen Werte aber nicht - auch wenn statistische Tests etwas Gegenteiliges behaupten. Ich würde also die Messwerte A,B,C,D und E als Ausreißer qualifizieren und vor der weiteren Analyse entfernen.