- insbesondere bei nicht anonymen Befragungen kommt es häufig zu sozial erwünschten Antworten, die sich nicht - oder nur teilweise - mit der eigentlichen Einstellung der Befragten decken
- nicht jede Person hat sich zu einem Thema schon eine Meinung gebildet, weshalb oft spontan Antworten zu Themen gegeben werden
- es gibt Personen, die dazu neigen auf Skalen nur Extremwerte anzugeben, während andere Personen wiederum eine "Tendenz zur Mitte" besitzen
- bei nicht erprobten Testverfahren stellt sich die Frage, ob die Befragten eine Frage eigentlich so verstehen, wie der Forscher es mit seiner Frageformulierung beabsichtigt hat
- Einstellungen von Personen werden häufig mit wenigen Fragen unspezifisch erfragt, aber mit spezifischen Verhaltensweisen in Verbindung gebracht.
Beispiel: Kompostieren Sie ihren Müll? Rückschluss von der Antwort auf die Einstellung des Befragten zum Thema Umweltschutz.
- Definiert ist die Rücklaufquote als das Verhältnis von abgeschlossenen Interviews zu den versuchten Interviews. Bei sehr geringen Rücklaufquoten (insbesondere bei schriftlichen Befragungen per Brief) kann die Repräsentativität einer Befragung nachträglich verloren gehen. Angaben wie "wir haben 1000 Personen zum Thema befragt" heißen nicht, dass auch 1000 Personen auf die gestellte Frage geantwortet haben.
- Offene Formen (also Formen der Erhebung ohne feste Strukturierung der Gesprächsführung, der Beobachtung, bzw. ohne vorherige Festlegung von Antwortalternativen) erfassen eine Merkmalsausprägung immer präzise und gehen auf jeden Einzelfall individuell ein, während geschlossene Formen sich an vorher definierten Abläufen und Frage- /Antwortmöglichkeiten orientieren. Offene Formen berücksichtigen mehr den Einzelnen, lassen sich jedoch nur schwer auswerten, während geschlossene Formen einfach ausgezählt werden können.
Probleme verschiedener Messinstrumente
Fragebogen:- Fragebögen sind die am meisten verbreiteten Messinstrumente, da sie mit relativ wenig Aufwand erstellt und eingesetzt werden können.
Fragebögen sind i.d.R. anonym. Probleme ergeben sich insbesondere bei unklar formulierten Fragestellungen, unklaren Antwortmöglichkeiten und beim Schlussfolgern aus gegebenen Antworten (siehe "Probleme bei der Interpretation von Antworten").
Fragebögen sollten deshalb immer im Vorfeld erprobt werden.
- Beobachtungen sind immer subjektiv. Man sollte daher im Vorfeld immer Kriterien aufstellen, was beobachtet werden soll, wie beobachtet werden soll (offen, verdeckt, teilnehmend, nicht teilnehmend), wie sich das zu beobachtende Verhalten zeigt und - sofern mit einer Skala gearbeitet wird - welche Ausprägung eines Verhaltens welchem Wert auf einer Skala entspricht.
- Mündliche Befragungen bergen immer das Risiko, dass der Interviewer die Antworten unbewusst in eine Richtung lenkt. Da Interviews nicht anonym sind, kommt es häufig auch zu gesellschaftlich akzeptierten Antworten.
Objektivität:
Die Ergebnisse einer Erhebung müssen unabhängig von den Rahmenbedingungen sein. Sowohl die Durchführung einer Erhebung, die Auswertung, als auch die Interpretation der Ergebnisse müssen objektiv sein.
Reliabilität (auch Zuverlässigkeit): Grad der Genauigkeit, mit dem ein Merkmal gemessen wird, ohne etwas darüber auszusagen, ob überhaupt das gemessen wird, was gemessen werden soll. Bei Wiederholung einer Erhebung unter gleichen Rahmenbedingungen muss das gleiche Ergebnis erzielt werden.
Validität: Die Erhebung muss das Merkmal messen, welches es vorgibt zu messen. Eine Befragung zum Thema Umweltschutz wäre nicht valide, wenn die Befragten nur nach ihrer politischen Einstellung befragt werden würden.
Weiterführende Literatur:
- Hagl, S. Schnelleinstieg Statistik: Daten erheben, analysieren, präsentieren. München: Haufe Verlag, 2007.
- Lukesch, H. Einführung in die pädagogisch-psychologische Diagnostik. Regensburg: Roderer, 1998
- Kuper, H. Evaluation im Bildungssystem. Stuttgart: Kohlhammer, 2005.
- Kromrey, H. Empirische Sozialforschung: Modelle und Methoden der standardisierten Datenerhebung und Datenausweitung. Stuttgart: UTB, 2006.