Versuchsplanung

Was sind die Schwierigkeiten bei der Versuchsplanung? Das Erheben von Daten ist zeitaufwändig und mit Kosten verbunden. Gleichzeitig ist es fehleranfällig, da man eine Vielzahl von Faktoren berücksichtigen muss. Denn schließlich sollen die damit gewonnenen Daten später aussagekräftig sein, damit Du die zuvor formulierten Hypothesen überprüfen kannst.

Eine gründliche und gut durchdachte Versuchsplanung ist daher für wissenschaftlich tätige Personen extrem wichtig. Dies hat sowohl ökonomische als auch ethische Gründe. Denn Versuchspersonen sind eine begrenzte Ressource, die man nicht für unnötig langwierige oder unangenehme Studien einsetzen sollte. Muss man vor der Durchführung des Versuchs Forschungsgelder akquirieren oder eine Genehmigung des Versuches vor einer Ethikkommission beantragen, ist es notwendig, die zuständigen Gremien mit einem sorgfältigen Versuchsplan zu überzeugen.

Wenn Du selbst schon mal eine Studie durchgeführt hast, hast Du bestimmt auch schon die Erfahrung gemacht, dass selbst bei einfachen Onlineumfragen viel bedacht werden muss. Vielleicht hast Du Dich im Nachhinein geärgert, dass Du dies oder jenes nicht anders gemacht hast. Solche Fehler kann man, anders als z.B. Fehler in der Datenanalyse, nicht einfach ausbessern..

Die Versuchsplanung basiert auf eingangs formulierten Hypothesen oder Fragestellungen, die Du mit den Daten beantworten möchtest. Die Untersuchung musst Du dann so durchzuführen, dass die Daten eine statistische Beantwortung der Fragen erlauben, ohne dass Störvariablen das Ergebnis verzerren.

Mögliche Fehlerquellen bei der Versuchsplanung

Was sind mögliche Fehlerquellen? Das sind alle Faktoren, die im Versuch nicht kontrolliert oder gemessen werden (können), aber die interessierenden Variablen beeinflussen. Dazu einige Beispiele, um zu verdeutlichen, wie viele denkbare Einflüsse es geben kann und welche Auswirkungen diese haben.

Angenommen, Du interessierst Dich für die Konzentrationsleistung von Probanden. Während die Probanden den Konzentrationstest durchführen, finden draußen vor dem Fenster laute Bauarbeiten statt. Sicherlich beeinträchtigt der Lärm die Konzentration und die Probanden werden im Durchschnitt schlechter abschneiden als ohne Lärm. Ihre durchschnittliche Leistung wird also vermutlich nicht dem Populationsdurchschnitt der Konzentration entsprechen, sondern systematisch niedriger sein. Das absolute Niveau der Konzentrationsleistung ist nicht mehr bestimmbar und der Mittelwert nicht inferenzstatistisch auf die Population übertragbar.

Schwierigkeiten bei der Versuchsplanung

Jetzt stell Dir vor, Du möchtest den Zusammenhang zwischen Alter und Konzentration mit einer Regression berechnen. Du wusstest vorher über die Baustelle Bescheid. Manchmal pausierten die Arbeiten, manchmal waren lautere und manchmal weniger laute Geräte im Einsatz. Deswegen misst Du für jeden Probanden, welcher Lärmbelästigung er oder sie ausgesetzt war. Mit einer Kovarianzanalyse kannst Du den Einfluss der Störvariable aus dem Zusammenhang herausrechnen, man sagt, um den Einfluss des Lärms kontrollieren. Das ist natürlich nicht das ideale Vorgehen: Es ist z.B. denkbar, dass manche Personen stärker als andere von der Ablenkung beeinträchtigt sind, außerdem sinkt die statistische Power bei einer Kovarianzanalyse im Vergleich zu einer einfachen Regression. Es wäre also besser, den Versuch bei Ruhebedingungen durchzuführen, dennoch ist es in diesem Fall möglich, die Fehlerquelle auszubügeln.

In einem dritten Szenario haben einige Probanden zuvor ein Konzentrationstraining durchgeführt, andere nicht. Für alle Probanden herrscht der gleiche Lärm, während sie den Konzentrationstest durchführen. Du interessierst Dich dafür, ob die trainierten Probanden signifikant besser abschneiden als die untrainierten. Hier ist der Lärm nicht von großer Bedeutung: es interessiert nicht das absolute Niveau der Leistung, wenn also alle etwas schlechter als in einer Ruhebedingung sind, ist das unproblematisch zur Überprüfung der Hypothese, ob es einen Leistungsunterschied zwischen den Gruppen gibt. Das nennt man Konstanthaltung der Bedingungen. Darin steckt die Annahme, dass alle gleichermaßen unter dem Lärm leiden. Eine Schwierigkeit könnte sein, dass die Probanden im Training explizit gelernt haben, Ablenkungsreize auszublenden; sie sind also weniger von der Baustelle beeinträchtigt als die anderen Probanden. Unter Ruhebedingungen würden aber beide Gruppen möglicherweise gleich gut abschneiden.

Repräsentativität in Stichproben

Oft hört man die Forderung nach Repräsentativität in Stichproben. Diese ist manchmal von größter Bedeutung, manchmal gar nicht so wichtig. Wieder ist entscheidend, ob die mangelnde Repräsentativität mit den gemessenen Variablen interferiert.

Umfrageinstitute, die das Wahlergebnis vorhersagen wollen, liefern oft erstaunlich präzise Ergebnisse, obwohl sie nur 1000 Personen befragen. Es gibt ein berühmtes historisches Beispiel zu einer Wahlumfrage 1936. Dort wurde eine riesige Stichprobe von 2,4 Millionen Personen am Telefon befragt, ob sie für die Demokraten oder Republikaner stimmen werden. Das Ergebnis der Umfrage war 43% der Stimmen für Demokraten, bei der tatsächlichen Wahl stimmten aber 62% für die Demokraten. Eine Abweichung von fast 20%! Wie kam diese zustande? Ein Telefon war Ende der 30er noch ein Luxusgut. Die befragten Personen gehörten mehrheitlich einer reichen Oberschicht an, die eher Republikaner befürworten als Personen mit niedrigerem ökonomischen Status.

Ein Stichprobe, die das Wahlergebnis gut vorhersagen will, muss also repräsentativ bzgl. aller Faktoren sein, die die Parteipräferenz beeinflussen. Das sind z.B. Geschlecht, Bildung, Einkommen, oder ob man städtisch oder ländlich wohnt. Die Haarfarbe hat wohl nichts damit zu tun, welcher Partei man seine Stimme gibt, also ist es irrelevant, ob die Stichprobe hinsichtlich Haarfarben repräsentativ ist oder nicht.

Weitere Faktoren, die die empirischen Ergebnisse und die Schlussfolgerungen daraus verzerren können sind Effekte der Reihenfolge, Demand Characteristics (Anforderungsmerkmale), eingeschränkte Varianz, Regression zur Mitte, Placeboeffekte und einige mehr. Gute empirische Arbeit setzt voraus, dass man all diese Aspekte kennt und evtl. umgeht, sollten sie problematisch für die Hypothesentestung sein.