GENERELLES


Hier geht's zu den Referenzen der netwiss OG im Bereich von Erhebungen >>

Effiziente und zielgerichtete Erhebungen, seien es klassische Markt- und Meinungsforschung, Evaluierungen oder wissenschaftliche Erhebungen, sind Grundlage jener Daten, die neue Erkenntnisse oder Weiterentwicklung ermöglichen. In vielen Fällen wird jedoch in einer Form erhoben, die nicht oder nur teilweise die Erkenntnisse bringen, die mit der jeweiligen Erhebung intentiert waren. Die Ursachen dafür sind vielfälltig und vermeidbar.

Um Wissen generieren zu können, bedarf es in den meisten Fällen einer guten Datengrundlage. Aufbauend auf langjähriger Erfahrung im Bereich von Datenerhebungen bieten wir folgende Dienstleistungen an:

- Quantitative Erhebungen
- Qualitative Erhebungen
- Zählungen (Ströme, Auslastungen, Querschnittserhebungen etc.)
- Marktanalysen

Alle Schritte einer Erhebung planen wir (gemeinsam mit Ihnen) auf höchstem Niveau, aufbauend auf nationalen und internationalen Erkenntnissen der empirischen Sozial- und Marktforschung. Im Folgenden sind wichtige Themen angeführt, die aus unserer Sicht bei Erhebungen einen wichtigen bzw. passenden Stellenwert erhalten sollten:

- Statistische Grundlagen als Garantie für den effizienten Einsatz des Erhebungsbudgets
- Non-Response Effekte (Item Non-Response, Unit Non-Response)
- Coverage-Effekte (Einfluss von Ziehungsregistern, Aggregation von Grunddaten etc.)
- Saisonale Einflüsse auf das Ergebnis (und ggf. Korrekturverfahren)
- Interviewer-Effekte (Evaluierung und ggf. Korrekturverfahren)

ERHEBUNGSMETHODEN


Am Beginn jeder Erhebung ist zu klären, mit welcher Methode die nötigen Daten generiert werden können, die Grundlage für Auswertungen und die Beantwortung der gestellten Fragen sind. Folgende Erhebungsmethoden können hier u.a. zum Einsatz kommen:

Zählungen / Beobachtungen

Zählungen bzw. Beobachtungen sind die direkteste Möglichkeit, Daten über einen definierten Untersuchungsgegenstand zu erhalten. Wie bei allen Erhebungen sind jedoch auch hier mögliche Einflüsse aufgrund der Zählung bzw. Beobachtung zu berücksichtigen und zu minimieren.

Gruppendiskussionen / Fokusgruppen

Diese Erhebungsmethode ermöglicht eine Datengenerierung unter dem Aspekt der sozialen Interaktion zwischen den Beteiligten. Vorteile liegen in einer Art "sozialen Kontrolle" der Diskussion und damit der Ergebnisse sowie der gegenseitigen Impulsgeberschaft für neue Themen bzw. Aspekte. Ein Nachteil ist der nur wenig geschützte Rahmen - heikle Themen werden im Regelfall weniger offen besprochen.

Face-to-face-Interviews

Persönliche Interviews, konzipiert als Personen oder Haushaltsinterviews, ermöglichen eine höchstmögliche Datenqualität. Face-to-face-Interviews sind klassisch Erhebungen der qualitativen Forschung, können jedoch auch in quantitativen Settings Anwendung finden. Essentielle Grundlage sind immer bestmögliche Interviewunterlagen - in den meisten Fällen ein optimaler Interviewleitfaden. Dieser kann sehr offen und frei gestaltet sein (narratives Interview), oder eine klare und strikte Leitung durch das Interview ermöglichen (standardisiertes Interview). Zwischen diesen beiden Polen gibt es eine Vielzahl an Abstufungen: Fokussierte Leitfadeninterviews, problemzentrierte Leitfadeninterviews etc.

Postalische Befragung

Schriftliche Befragungen finden häufig in quantitativen Erhebungen Anwendung. Ziel hierbei ist es, für eine definierte Grundgesamtheit möglichst representative Ergebnisse zu erzielen. Vorteile einer postalischen Erhebung liegen in der Tatsache, dass sich in den meisten Fällen die befragten Personen Zeit nehmen können, einen Fragebogen auszufüllen. Ein Nachfragen bzw. Erklären ist im Gegensatz zu Face-to-face-Interviews oder telefonischen Interviews nicht möglich.

Kombinierte telefonisch-postalische Befragung

Eine gut konzipierte, kombinierte telefonisch-postalische Erhebung verbindet den Vorteil beider Erhebungsmethoden. Einerseits kann man den befragten Personen die Auswahl der Interviewmethode überlassen, andererseits kann man über einen standardisierten Kontaktplan die Antwortrate deutlich erhöhen und damit die Datenqualität verbessern.

Telefonische Interviews

Interviews via Telefon sind (wie schriftliche Befragungen) in erster Linie quantitative Erhebungen, können jedoch auch z.B. bei Expertenbefragungen zum Einsatz kommen. Standard hierbei sind CATI-Systeme (Computer-Assisted-Telephone-Interview), die bei richtigem Einsatz die Interviewarbeit unterstützen, effizenter machen und die Datenqualität erhöhen.

Online-Befragungen - siehe auch interask.at

Der Anteil an Online-Befragungen als Erhebungsmethode ist nach wie vor steigend. Der Hauptgrund hierfür ist, dass Online-Befragungen relativ kostengünstig umgesetzt werden können. Ein Großteil der durchgeführten Online-Befragungen generiert jedoch eine Datengrundlage, die als nicht verwendbar eingestuft werden muss. Dies liegt an der Tatsache, dass Online-Befragungen sehr oft eingesetzt werden, um representative Ergebnisse zu erzielen, ohne die Grundgesamtheit zu kennen. Das Ergebnis sind oft (aufgrund der großen Stichprobe) sehr genaue, jedoch völlig falsche Aussagen. Dieses Problem ist lösbar - bedarf jedoch einer langen Erfahrung im Umgang mit dieser Erhebungsmethode.

ANWENDUNGSBEREICHE


Unterschiedliche Erhebungsmethoden müssen an dem jeweiligen Erhebungsziel ausgerichtet sein: Was soll mit der Erhebung erreicht werden? Dies kann von einer reinen Datensammlung bis zur Intervention in einem Unternehmen oder einer Gemeinde reichen. Im Folgenden sind einige Beispiele für Anwendungsbereiche von Erhebungen aufgelistet:

- Verhaltensbeobachtungen
- Kundenbefragungen
- Mitarbeiterbefragungen
- Einstellungserhebungen
- Experteninterviews
- Zählungen
- Messungen
- etc.

DATENQUALITÄT


Auswertungen und daraus abgeleitete Erkenntnisse können immer nur so gut sein, so gut die Datengrundlage dafür ist. Erhebungen bieten eine breite Möglichkeit, Fehler in einem Rohdatensatz zu haben. Generell kann man Stichprobenfehler, Verschlüsselungsfehler und Verzerrungsfehler unterscheiden. Der Stichprobenfehler ist ein statistisches Maß aufgrund der Tatsache, dass nicht die gesamte Grundgesamtheit in die Erhebung aufgenommen werden kann, sondern nur eine Stichprobe gezogen wurde. Dieser Fehler ist im Regelfall nicht vermeidbar. Der Verschlüsselungsfehler kann bei einem Übertrag der Befragungsergebnisse in eine elektronische Form entstehen. Er ist jedoch über geeignete Kontrollen vermeidbar bzw. behebbar.

Systematisch können Verzerrungsfehler wie folgt zusammengefasst werden:

- Fehler aus der Stichprobenziehung (Stichprobenziehungsfehler)
- Fehler durch Nichteinschließen oder Ausschließen ein oder mehrer Gruppen (Coverage-Fehler)
- Fehler durch Nichtantworter (Nichtantwort-Fehler, Non-Response)
- Fehler bei der Implementierung und Durchführung der Befragung (Befragungsfehler)

Folgende Verzerrungsfehler kommen am häufigsten vor, können die Ergebnisse sehr stark beeinflussen und sollten so gering wie möglich gehalten weden:

Interviewer-Einfluss / Interviewer-Bias (Befragungsfehler):

Es kann einen Einfluss auf das Ergebnis geben, je nachdem, wer z.B. ein Interview oder eine Messung durchgeführt hat. Hierbei spielen Aspekte wie Geschlecht, Alter, Genauigkeit, Gewissenhaftigkeit etc. oft eine sehr große Rolle. Eine möglichst kleine Abhängigkeit des Erhebungsgegenstands von signifikanten Merkmalen des Erhebungspersonals ist hierbei anzustreben.

Coverage-Problem:

In einer idealen (Zufalls)stichprobe, sollte jede Person (Erhebungseinheit) die gleiche Chance auf Ziehung haben. Viele Register einer Grundgesamtheit sind (systematisch) unvollständig: Nicht jede Person hat Internetzugang für eine Online-Befragung, nicht jede Person ist in einem Telefonregister eingetragen etc. Wenn das Antwortverhalten der nicht erreichbaren Personen nicht dem der erreichbaren Personen entspricht, können Coverarge-Probleme Ergebnisse stark verzerren.

Nichtantwort der Erhebungseinheit / Unit-Non-Response:

Dieser Fehler stellt eine Quelle der Verzerrung dar, in der das Verhalten der Ant­worter nicht gleich dem der Nichtantworter sein muss. Dieser Effekt ist stark abhängig von dem Typ der Erhebung und zentral von der Antwortrate. Vor allem aus diesem Grund muss die Antwortrate einer Erhebung immer größer als 50% sein - umso höher, umso besser. Erhebungen mit einer sehr geringen Antwortrate erreichen bei ausreichender Stichprobengröße oft statistisch sehr genaue, jedoch völlig falsche Ergebnisse.

Nichtantwort auf Teile einer Erhebung / Item-Non-Response:

Unter Fehlen von Erhebungsmerkmalen wird das Fehlen z.B. einzelner Antworten oder Informationen in einer Befragung verstanden. Diese Daten könnten als „ignorierbar“ gewertet werden, wenn sie rein zufällig sind und damit keine Auswirkungen auf das Ergebnis der Befragung haben. In diesem Fall beeinflusst das Fehlen von Erhebungsmerkmalen nur die Wirtschaftlichkeit einer Befragung. Es ist schwierig abzuschätzen, welchen Einfluss dieses Fehlen von Erhebungsmerkmalen auf das Ergebnis der Erhebung haben kann. Im Folgenden sind mögliche Gründe für das Fehlen von Erhebungsmerkmalen angegeben:

- Vergessen, Nichterinnern, ...
- Verständnisprobleme im Rahmen der Erhebung
- Überforderung der Befragten
- Andere persönliche Gründe
- Vorsätzliche Falschantworten um z.B. einen guten Eindruck zu hinterlassen

Es ist wichtig zu sehen, dass vor allem Einflussgrößen wie das Frage­bogendesign oder der Interviewer selbst für das Fehlen von Erhebungsmerkmalen relevant sind. Es können eine Reihe von Maßnahmen im Rahmen einer Erhebung gesetzt werden, die helfen, das Ausmaß dieser Art der Nichtantwort zu minimieren:

- Verbesserung des Layouts von selbstadministrierten Fragebögen
- Bessere Schulung der Interviewer
- Sorgfältige Pre-Tests
- Sorgfältiges Umgehen mit erhobenen Daten
- Reduzierung der Erinnerungsbarrieren („memory joggers“)
- Reduzierung von Verständnisproblemen
- Reduzierung des subjektiven Empfindens des Befragten, dass in seine Privatsphäre eingedrungen wird.

Im Rahmen der Durchführung einer Erhebung muss der Reduzierung des Item-Non-Response Effekts höchste Aufmerksamkeit geschenkt werden. Da jedoch dieser Effekt nie ausgeschlossen werden kann, sind folgende zwei Schritte unerlässlich:

- Analyse des Fehlens-von-Erhebungsmerkmalen-Effekts und gegebenenfalls
- die Generierung der fehlenden Daten durch Datenimputation.

DATENKORREKTUREN


Systematische Fehler, die im Rahmen einer Erhebung entstanden sind, können über geeignete Korrekturverfahren reduziert werden. Hierzu ist eine detaillierte Analyse des Rohdatensatzes bzw. zusätzliche Erhebungen nötig. Die wichtigsten Korrekturverfahren sind die Datengewichtung und die Datenimputation:

Datengewichtung:

Das Ziel der Datengewichtung ist die Adaptierung der Erhebungsdaten (des Rohdatensatzes) damit diese die Grundgesamtheit möglichst gut abbilden. Datengrundlagen hierfür können einer­seits nationale Daten der Grundgesamtheit (Zensus-Daten) und anderer­seits Daten­analysen der Befragungsdaten selbst darstellen. Zu ersteren zählen Gewichtungen zur Ziehungswahrscheinlichkeit sowie zu soziodemographischen Variablen. Gewicht­ung nach Ergebnissen der Analysen der Befragungsdaten kann zum Beispiel eine Nichtantwort Gewichtungen sein. Das Ergebnis all dieser Gewichtungs­schritte sind im allgemeinen Faktorengewichte auf Erhebungseinheit.

Die Methode der Errechnung der Gewichte hängt von der Verfügbarkeit und der Struktur der Befragungsdaten, der nationalen Daten der Grundgesamtheit sowie der Stichprobengröße ab. Wenn Zensus-Daten nur als Randsummenverteilungen ver­fügbar sind oder die Stichprobe zu klein ist, ist ein iteratives Verfahren zum Angleich der Stichprobenverteilungen an diese Randsummenverteilungen nötig. Wenn die Soll-Verteilungen je Einzelzelle bekannt sind und die Stichprobengröße ausreicht, ist eine Iteration nicht nötig. In diesem Fall können die Gewichte je Klasse direkt aus dem Ist-Soll-Vergleich errechnet werden. Grundsätzlich sollte Datenge­wichtung so disaggregiert wie möglich durchgeführt werden.

Eine Datengewichtung und Daten­korrektur sollte, je nach Erhebungsgegenstand, Erhebungsmethode und Erhebungsdauer, folgende Schritte enthalten:

- Gewichtung der unterschiedlichen Ziehungswahrscheinlichkeiten
- Gewichtung nach soziodemograph­ischen Merkmalen
- Saisonale Gewichtung
- Regionale Gewichtung
- Nichtantwort Gewichtung
- Gewichtung des Erinnerungseffekts und gegebenenfalls
- Nicht Einschluss Gewichtung (Coverage-Problem)

Datenimputation:

Datenimputation ist das "Auffüllen" von Item-Non-Response in Erhebungen. Im Idealfall wird dies zufällig, jedoch Verteilungswahrscheinlichkeiten innerhalb relevanter Variablen berücksichtigend, vorgenommen. Durch geeignete Datenimputation können nicht verwertbare Erhebungsteile verwertbar werden.

KOSTEN


Die Kosten für Erhebungen hängen im Regelfall von folgenden Parametern ab:

- Konzeptionsaufwand / Vorarbeiten
- Erhebungsmethode
- Erhebungsumfang / Stichprobengröße
- Gewünschte Datenqualität / Datenkorrekturen

Folgende Werte können im Rahmen von Befragungen einen Anhaltspunkt geben und verstehen sich inklusive Konzepterstellung, Erstellung der Erhebungsunterlagen und Datenübermittlung, exkl. Auswertung):

- Online-Befragung: ab ca. € 700,-- je Befragung (im Detail abhängig von der Komplexität des Fragebogens)
- Postalische-Befragung: ab ca. € 25,-- pro befragter Person/Haushalt
- Face-to-Face-Befragung: ab ca. € 75,-- pro befragter Person/Haushalt