Messen und Vertrauen

Messung, Intuition, Vertrauen, Komplexität, Teil 4

Die Verwendung von Messergebnissen setzt Vertrauen in die Datensammlung und die Methoden für Umwandlung und Aggregation der Daten in den Messinstrumenten voraus.

Wir stellen selten in Frage, dass die Veränderung von Quecksilbersäulen oder Metallplättchen mit dem Steigen der Temperatur in allerlei Thermometern vom Fiebermesser bis zur Wetterstation ein reproduzierbares und richtiges Verhältnis haben.

Unser Gefühl sagt uns vielleicht mit Gewissheit, dass Herr K. unter unseren Mitarbeitern oder Kollegen die größte Pfeife ist. Die Erfassung und Quantifizierung von Leistungswerten kann so ein Vorurteil unter Umständen sinnvoll korrigieren und zeigen, dass Herr K. viel mehr leistet als seine leise Stimme und gebückte Körpersprache vermuten lassen.

Frau X. hat vor dem Einstellungsgespräch einen hervorragenden Lebenslauf mit exzellenten Zeugnis-Noten und sogar Erfolgszahlen aus dem vorigen Job vorgelegt. Das hilft bei der Entscheidung nur dann, wenn man das Vertrauen hat, dass Frau X. korrekte und echte Dokumente mit Daten in der richtigen Auswahl vorgelegt hat oder man die Daten irgendwie überprüfen kann.

Es gibt Lügen, ...

Statistik ist wie andere Disziplinen auch ein Denksystem. Sie kann nicht verhindern, dass wir uns selbst oder andere belügen. Sie ist aber oft gut geeignet, uns dabei zu helfen, dass uns andere nicht so leicht erfolgreich Blödsinn erzählen können.

Das setzt voraus, dass wir für den betrachteten Fall der Datensammlung und den Verarbeitungsmethoden, die verwendet wurden, vertrauen können. Wie das Sprichwort sagt, "es gibt Lügen, verdammte Lügen und ....". Die mannigfaltigen Schwierigkeiten des Datensammelns und die Komplexität und Flexibilität der statistischen Methodologie verbergen alle Unterschiede, jedenfalls für diejenigen, die im gegebenen Fachgebiet keine trainierten Spezialisten und Experten sind, also die meisten Leute, die mit den fraglichen Zahlen umgehen und sie verwenden.

Trotz dieses schon fast trivialen Vorbehalts werden Daten und Statistiken regelmäßig in voller Überzeugung in Umständen und für Zwecke verwendet, wo ein begründetes Vertrauen gar nicht gegeben sein kann. Meinungs- und Medienforschung haben durch allerlei Veränderungen und Versagungen gegenüber früher sehr stark an allgemeinem Vertrauen eingebüßt, werden aber deswegen ganz und gar nicht aufgegeben und weiterhin meistens nur bei expliziten Interessenkonflikten hinterfragt.

Während der Brexit-Volksabstimmung am 23.6. hat Ben Riley-Smith vom Daily Telegraph den Alterssplit einer Umfrage von YouGov vertwittert, wonach rd. 75% der 18-24-Jährigen für einen Verbleib des UK in der EU stimmen würden.

Während Rhiannon Lucy Cosslett Freitag zu Mittag in der Einleitung zu einer Guardian-Debatte zeitfalsch aber sonst korrekt "Three-quarters of young people – a massive mandate – are predicted to have voted remain, according to a YouGov poll ..." schrieb, ist die Formulierung im fast gleichzeitig erschienenen Feature von Elena Cresci schon viel faktischer: "According to polling data from YouGov, 75% of 18- to 24-year-olds voted to remain in the European Union."

Die "eindrucksvollste" Zahl dieser Umfrage wurde also vom Guardian ausgewählt und von sehr vielen Journalisten und Medien auf dem Kontinent weiterverbreitet. Trotz aller Skepsis zur Genauigkeit von Meinungsumfragen werden jetzt die 75% in Facebook, Twitter und Co geteilt, zitiert, wiederholt und wiederholt. Dabei wird oft noch weiter verallgemeinert. Sätze wie "die Jungen sind für den Verbleib" werden formuliert.

Niemand fragt in den kontinentalen Medien und in den friends' and followers' Posting-Schlangen nach dem wohl knapperen Prozentsatz für die 25-35-Jährigen (laut YouGov immer noch 56% der 25-49-jährigen für "Remain"), niemand fragt nach Methodik und Kontrolle des Umfrageverfahrens. Dabei war je gerade YouGov in seinem "On-the-day recontact poll" 52% für Remain und 48% für Leave als final figures publiziert. Man kann wohl zu Recht vermuten, dass die 75%-Prognose für die 18-24jährigen auch zu hoch gelegen war. Trotzdem wird sie in den Schatz der Wahrheiten bei den politisch interessierten Europaanhänger eingehen.

Die Mechanismen, durch die Wahrheiten entstehen sind weiterhin Glaubenwollen, Weitersagen, Wiederholung und Übereinkunft und nicht eine kühle und kompetente Überprüfung wissenschaftlicher, technischer und mathematischer Prozesse. Bei den rationalen Vorwärtsschauern ganz genau so wie bei den angeblich so irrationalen Rückwärtsgewandten.

Vertrauen ist gut, ...

Bei halbwegs korrekter Anwendung sollten Datensammlung und Methoden von statistischen Verfahren transparent und überprüfbar sein. Der Wladimir Lenin zugeschriebene Aphorismus "Vertrauen ist gut, Kontrolle ist besser" ist wie die meisten solchen Wendungen zwar nirgends belegt, die Zitierung der russischen Beamtenregel "Vertraue, aber prüfe nach" dagegen mehrfach und schriftlich. Schon die Möglichkeit zum Gegencheck durch Außenstehende kann das Vertrauen steigern, eine regelmäßige Durchführung umso mehr.

Vertrauen in Methoden beruht auf Vertrauen in Personen und Institutionen, deren Vorgeschichte und die Macht der Rationalität. Oft werden Studien von den jeweiligen Interessenten finanziert und gesteuert. Die Medienwirtschaft produziert die Medienstudien. Politische Parteien, Ämter und Medien beauftragen Meinungsstudien, der statistischen Nachweis zu Wirkungen und Nebenwirkungen von Arzneien wird von und unter Mitwirkung von Pharma-Konzernen erbracht. "Vertraue aber prüfe" erscheint mehr als angebracht.

Nur veri- und falsifizierbare Metriken zu verwenden, mag ein Ideal sein. Es gibt aber viele Fälle, in denen die Überprüfung noch komplexer oder schwieriger finanzierbar ist als die eigentliche Messung und Verarbeitung.

... Kontrolle ist besser

Der offensichtliche, wissenschaftstheoretisch recht mittelmäßige, aber am weitesten verbreitete Lösungsweg für dieses Problem ist der Einsatz von leichter prüfbaren Metriken an Stelle der für die Beantwortung der untersuchten Fragen nützlichsten. Die nur Stichproben ziehende Durchführung von Checks ausgewählter Teildaten und Teilprozesse, immer dort, wo es leicht durchführbar erscheint, ist der zweite etwas zweifelhafte Weg, Vertrauen durch Prüfung zu erzeugen.

Für die meisten aussagekräftigen und belastbaren Metriken sind Unmengen von Daten notwendig. Der Datensammel-Prozess selbst ist prinzipiell von außen schwer prüfbar. Wenn eine Organisation, die Daten selbst gesammelt hat oder Zugang zu einer großen Datensammlung hat, fähig und entschlossen ist, vor der eigentlichen Verarbeitung die Daten zu "behandeln", ist das extrem schwer zu entdecken.

Die Verteilung der einzelnen Aufgaben und Verantwortlichkeiten innerhalb des Verfahrens erscheint zur Zeit als aussichtsreichste Methode, um Betrug und Manipulation in der statistischen Arbeit zu bekämpfen. Diese Vorgehensweise ist weniger effizient und teurer als eine, in der ein Team oder eng integrierte Teams alles machen. Sie wird deswegen in vielen Feldern noch kaum angewendet.

Wahlhochrechnungen sind im Gegensatz zu Vorwahlumfragen ein positiver Fall. Die Daten werden ganz objektiv und mit integrierter Prüfung in Zusammenarbeit von politischen Aktivisten und Wahlbehörden erfasst und aggregiert. Ein Experten-Team, deren einziges Interesse sein kann, sich dem richtigen Ergebnis schnell anzunähern entwickelt Modelle, um mit Teildaten und unter Hinzunahme von historischen Erfahrungen und Trends kurz nach Wahlschluss das Ergebnis vorausberechnen zu können. Dazu kommt auch, dass der Wahlvorgang meist eine sehr einfache Frage, die nur 2 - 10 definierte und nicht verknüpfte Werte annehmen kann.

Alles kann schiefgehen

Die Vorgänge bei der österreichischen Präsidentschaftswahl zeigen aber, dass Gewohnheit und Bequemlichkeit selbst in so einem Fall potentiell Unregelmäßigkeiten entstehen lassen können.

Ein weiteres gutes Beispiel für die Anwendung der Aufgabenteilung ist das britische Broadcasters' Audience Research Board (BARB). Nicht nur kontrollieren sich in so einer Organisation die Teilnehmer gegenseitig, hier sind auch die Aufgaben auf gleich 3 im Wettbewerb stehende Dienstleister verteilt.

Ein kleines Land, kleine Märkte und Geldmangel führen auch da zu Problemen. Vier Jahre lange konnte in der GfK-Austria der Radiotest manipuliert werden, ohne dass etwas auffiel. Bei einer Aufgabenverteilung anstelle einer Komplettlösung durch einen Dienstleister mit wahrscheinlich nur reiner Plausibilitätskontrolle durch die Hauptauftraggeber RMS und ORF, wäre das wohl viel schwerer möglich gewesen.

Noch problematischer ist die Anwendung von Blackbox-Plattformen im kommerziellen Bereich.

Wahrscheinlich müssen all die verschiedenen Institute und Auftraggeber, die in den letzten Jahren durch schlechte Ergebnisse, teilweise dumme Konkurrenz und Liebedienerei sowie durch verschiedene kleinere Manipulationsskandälchen viel Vertrauen eingebüßt haben, dringend mehr Verantwortungsteilung ins Auge fassen. Und die Auftraggeber des Radiotests sollten dringend überlegen, ob sie nicht auch eine schlagkräftigere Organisation brauchen, die sich mit einer Geschäftsstelle sowie den üblichen Kommissionen und Beiräten die Entwicklung und Durchführung ihres Messinstruments kontrolliert und verantwortet.

"Erfolg" gibt Dir immer recht ...

Nichts gibt Dir mehr Recht als eine Kombination aus offensichtlichem Erfolg, gleichzeitigem Misserfolg der Konkurrenz und intelligenter Kommunikation bei der Erklärung hinterher. George Gallup setzte sich und sein Institut auf die politische und mediale Landkarte, als es den Sieg Roosevelts 1936 richtig voraussagte und die Konkurrenz meilenweit daneben lag. Diverse Erklärungsvorträge des smarten Mr. Gallup mit seinem akademischen Hintergrund taten ein übriges.

An den Zahlen von Facebook und Google zweifelt außer ihren Feinden und den Verlierern kaum jemand öffentlich, obwohl die Datensammlung und vor allem die Datenverarbeitung bei beiden Konzernen mehr als intransparent sind. Bei Facebook übrigens deutlich mehr als bei Google. Beide veröffentlichen Whitepapers und Artikel zu allen möglichen Aspekten und Fragen zum Thema, aber letztlich handelt es sich bei der Statistik-Produktion von beiden um intransparente, extrem komplexe Black-Boxes unter privater Eigentümerschaft. Diese Eigentumsverhältnisse sind nicht der unwichtigste Grund dafür, dass die Datenprozesse aller dieser Konzerne im Gegensatz zu staatlichen Statistiken nur durch richtig wenige Transparenz-Gebote und sehr viel Schutz aus dem Wettbewerbsrecht reguliert werden.

Das ist aber nicht, worauf es ankommt. Worauf es ankommt, ist, dass hier die offensichtliche und intuitive Alltagswahrnehmung und sorgfältig darauf abgestimmte Zählergebnisse in Kombination Gewissheiten schaffen, die manchmal erstaunlich sind und an denen Zweifel und Kritik abperlen wie große Wassertropfen an der Goretex-Membran.

Wie leicht die führenden IT- und Internetkonzerne anderen Entscheidungsträgern und Meinungsmultiplikatoren in Wirtschaft, Politik und Medien passende Mythen einreden können, hat schon den einen oder anderen von uns kritischen Geistern geärgert oder gar beunruhigt. Die einzige Möglichkeit, die dem bemühten Beobachter noch bleibt, ist, Aussagen und Publikationen von Google, Amazon, Facebook und anderer Playern zu studieren, unter einander und mit den eigenen, lokal beschränkten Daten zu vergleichen und zu hoffen, dabei Widersprüche, Abweichen und kleine Risse in den Betonwänden entdecken zu können. Und das ist erst die halbe Miete.

Was Menschen glauben möchten, das werden sie glauben. Und was die Menschen glauben möchten und können, das hängt davon ab, ob es für sie einen Sinn ergibt und wenigstens irgendwie mit ihrer persönlichen Erfahrung zusammenpasst. Für die einen ist die Quantenphysik eine Religion, die zu verstehen sie nur vorgeben und für die anderen ist die biologische Evolutions ein wissenschaftlicher Irrtum, der nur erfunden wurde, um die Menschheit davon abzuhalten, durch freiwilliges moralisches Bemühen ihre gottgegebenen Ziele zu erreichen.