Dass eine Befragung repräsentativ sein sollte, hat wohl jeder schon mal gehört. Doch was bedeutet Repräsentativität eigentlich genau? Warum ist das wichtig? Und wie erreiche ich, dass meine Befragung repräsentativ ist? Diese Fragen wollen wir in diesem Beitrag klären, damit es nicht allzu theoretisch bleibt, wollen wir zuerst eine konkrete Befragung als Beispiel einführen.
Befragung zur digitalen Lage der Nation
Die Initiative D21 e.V. erhebt in regelmäßigen Abständen den D21-Digital-Index. Dieser misst die Anpassungs- und Zukunftsfähigkeit der Digitalen Gesellschaft. Dafür wird untersucht, inwieweit verschiedene Lebensbereiche der Bürgerinnen und Bürger bereits von der digitalen Transformation betroffen sind und wie souverän sich die Bevölkerung im Umgang mit der Digitalisierung fühlt. Um uns der Frage der Repräsentativität zu nähern, picken wir uns folgende Fragestellung heraus:
Bitte geben Sie an, inwiefern die folgende Aussage auf Sie zutrifft: „Ich kann erkennen, ob z.B. Nachrichten, Musik oder Bilder von einer Künstlichen Intelligenz oder von Menschen erstellt wurden.“
Die Antwortskala ist eine typische Likert Skala mit folgenden Antwortmöglichkeiten: (1) trifft überhaupt nicht zum, (2) trifft eher nicht zu, (3) teils teils, (4) trifft eher zu und (5) trifft voll und ganz zu. Von den befragten Personen gaben 22% an, dass diese Aussage eher oder voll und ganz auf sie zutreffe (Stichprobengröße beträgt n=6.455).
In Bezug auf Repräsentativität müssen wir uns jetzt folgende Fragen stellen: Wen haben sie befragt und wen wollten sie eigentlich befragen?
Wann ist eine Befragung repräsentativ?
Die letztere Frage zielt auf die Definition der Grundgesamtheit (auch Population oder Zielpopulation) ab. Über welche Gruppe von Menschen wollen wir etwas erfahren? Die Initiative D21 e.V. gibt hierfür die deutschsprachige Bevölkerung ab 14 Jahre an.
Nun wurde nicht die gesamte deutschsprachige Bevölkerung ab 14 Jahre befragt, sondern nur 6.455 Personen. Eine Vollerhebung der Zielpopulation ist aufwendig, teuer, oftmals gar nicht möglich und vor allem auch gar nicht notwendig. Es reicht einen Teil der Grundgesamtheit zu befragen – eine Stichprobe – solange dieser Teil in wesentlichen Merkmalen der Grundgesamtheit entspricht.
Der Methodensteckbrief auf den Seiten 6 und 7 in der Publikation zum D21-Digital-Index 2023/34 erklärt, wie die Daten erhoben wurden. Als wesentliche Merkmale für Repräsentativität gelten hier: Bundesländer, Gemeindetypen, Geschlecht, Alter, Bildung, Haushaltsgröße, Nationalität und Berufstätigkeit.
Wenn die Stichprobe in diesen Merkmalen die gleiche Verteilung aufweist wie die Grundgesamtheit, dann kann sie als repräsentativ betrachtet werden. Die Altersstruktur der Befragten sollte also beispielsweise der Altersstruktur der gesamten deutschsprachigen Bevölkerung ab 14 entsprechen.
Warum ist Repräsentativität wichtig?
Wenn man Stichprobendaten auswertet, dann sind die berechneten Kennzahlen und Zusammenhänge Schätzer für ebendiese Kennzahlen und Zusammenhänge in der Grundgesamtheit. Die 22% der Befragten, die sich zutrauen KI-generierte Bilder, Texte und Musik erkennen zu können, bieten uns eine Schätzung dafür, wie hoch der Anteil der deutschsprachigen Bevölkerung ab 14 Jahre ist, der sich das auch zutraut.
Ein Schätzer ist immer mit Unsicherheit behaftet. Würde man die Befragung wiederholen, und nicht dieselben Personen befragen, wird man einen etwas anderen Prozentsatz herausbekommen – auch wenn beide Befragungen repräsentativ sind. Dies zufälligen Schwankungen nennt man Stichprobenfehler. Zufallsschwankungen zwischen Stichproben fallen uns normalerweise nicht auf, weil wir nur eine Stichprobe ziehen. Diese Stichprobe und die ermittelten Kennzahlen sind aber nur eine von vielen potenziellen Stichproben und Kennzahlen, die wir hätten ermitteln können. Der Stichprobenfehler wird umso kleiner, je größer die Stichprobe ist. Hier gilt also: Größer ist besser!
Wenn eine Stichprobe nicht repräsentativ ist, sind die berechneten Kennzahlen auf Basis der Stichprobe verzerrte Schätzer für die entsprechenden Kennzahlen in der Grundgesamtheit. Dann liegen systematische Auswahlfehler vor, die entweder auf der Art der Ziehung der Stichprobe oder auf der Teilnahmebereitschaft angesprochener Personen basieren.
Im ersten Fall spricht man von Sampling Bias, im zweiten Fall von Selbstselektion. Wie können wir uns das vorstellen? Nehmen wir an, in der Stichprobe befinden sich überproportional viele IT-Fachkräfte. Nun wäre es anzunehmen, dass diese sich eher zutrauen, KI-generierte Inhalte zu erkennen als der Durchschnittsbürger. Somit würde wohl ein Anteil von mehr als 22% der Probanden herauskommen, auf die die Aussage eher oder voll und ganz zutrifft. In diesem Fall spricht man von einem Sampling Bias. Selbstselektion ist ein Problem, wenn die potenziellen Teilnehmer so angesprochen werden, dass KI-interessierte Personen mit höherer Wahrscheinlichkeit den Fragebogen ausfüllen als Personen, die sich nicht für KI interessieren. Auch dann wäre der Schätzer nach oben verzerrt.
Wie ziehe ich eine repräsentative Stichprobe?
Um eine repräsentative Stichprobe zu erreichen ist es wichtig, dass die Befragten möglichst zufällig ausgewählt werden. Je näher man dem Ideal der einfachen Zufallsstichprobe kommt, desto geringer ist die Gefahr des Sampling Bias. Was eine einfache Zufallsstichprobe ist und welche Stichprobenarten es noch gibt, habe ich hier erklärt. Leider ist es die absolute Ausnahme, dass jede angesprochene Person auch an der Befragung teilnimmt. Daher muss bei der Ansprache darauf geachtet werden, dass das Problem der Selbstselektion so gering wie möglich gehalten wird. Ein gewisses Maß an Selbstselektion ist allerdings in den meisten Fällen nicht vermeidbar. Wichtig ist, dass diese nicht systematisch aufgrund von Eigenschaften, Merkmalen oder Interessen der Person stattfindet, die einen Einfluss auf die Beantwortung von relevanten Fragen haben.
Fragen? Kommentare? Anmerkungen? Nutzt die Chance, Euch auf Coapp mit Eurer zedita zukunftsforum Community für Datenkompentenz Training auszutauschen!
Eure Carina
Das „zedita.zukunftsforum“ ist ein Projekt der Hochschule Weserbergland und wird gefördert durch die Zukunftsregion Weserbergland+ mit Mitteln der Europäischen Union und des Landkreises Hameln-Pyrmont.