A/B-Tests

Heute fragte mich ein Bekannter der u.a. Webanalysen macht, wie denn das mit A/B-Tests sei, und ob das DataLab nicht auch machen könne. Die Antwort war mal wieder typisch: "ja, aber...."

Doch langsam und der Reihe nach: Grundsätzlich muss man bei AB-Tests unterscheiden zwischen dem Test-Layout und den statistischen Verfahren, um die Ergebnisse "wasserdicht" zu analysieren. Nachdem das Test-Layout sehr spezifisch von der Situation abhängt, lässt sich dazu wenig allgemein Gültiges sage. Da muss wohl jeder selber entscheiden was er/sie testet.

Einen netten Übersichtsartikel dazu gibt's in Wired. Der Artikel geht allerdings nicht auf die Statistik ein, sondern sagt nur "making sense of the results requires deep knowledge of statistics".

Wie tief das statistische Wissen tatsächlich dazu sein muss, sei mal dahingestellt. Ich nehme mal ANOVA, t-Tests und ähnliches Zeugs als Basiswerkzeug an, über das jeder Statistiker ohnehin verfügt. Und da kann DataLab natürlich mithalten. Mal sehen, vielleicht liefert mir der Bekannte ein paar Daten eines AB-Tests. Ich werde dann versuchen, eine "wasserdichte Analyse" zu machen und sie hier veröffentlichen (natürlich nur nach Zustimmung durch den Bekannten - eh klar!).