70 lat tradycji. Inspirujemy Prowokujemy Dyskutujemy

Na straży opinii

Liczby jako takie nie kłamią. Trzeba jednak od razu dodać dwa warunki: jeśli są wynikiem rzetelnego sondażu i są właściwie interpretowane.

Marta Duch-Dyngosz: Nazwaliście swój projekt Na Straży Sondaży. Przed czym sondaże trzeba strzec?

Marta Tomaszewska: Przed ich złym wykorzystywaniem. Prowadzi ono do spadku zaufania do sondaży i szerzej – do całej branży badawczej. Po studiach socjologicznych mamy w głowie pewien ideał badania opinii publicznej. Z jednej strony zależy nam, by sondaże nie straciły swojej funkcji, jaką jest dostarczanie ludziom samowiedzy. Z drugiej – zwracamy uwagę na źle przeprowadzone sondaże oraz staramy się wyposażyć odbiorców wyników prezentowanych w mediach w wiedzę i narzędzia pozwalające im samodzielnie ocenić rzetelność badań.

Ranga nadawana tego typu badaniu nieraz bywa przesadzona, tzn. odrywa się go od stojących za wynikami opinii obywateli i zaczyna traktować jak narzędzie walki o pozycje czy wpływy. Staramy się pokazać zarówno możliwości, jak i ograniczenia badań sondażowych. Chcemy też kształtować debatę publiczną na temat roli badań opinii publicznej.

Prof. Antoni Sułek, który wspiera działalność naszego zespołu, mówi w tym kontekście o „wrogach sondaży”. Dynamika mediów wymusza szybką pracę, a pośpiech nie jest sprzymierzeńcem rzetelnych badań. Kolejnym problemem jest ograniczenie wydatków przez podmioty je zamawiające, co wpływa na ich jakość, bo dobre badanie musi kosztować. Niestety, sondażem jako produktem – zamawianym i sprzedawanym – rządzą reguły rynku i dlatego niezbędna jest pamięć o etyce tak badawczej, jak i dziennikarskiej, by chronić rzetelność badań.

Jaki jest Państwa „numer jeden” źle zinterpretowanych badań w mediach?

Jakub Rutkowski: W zeszłym roku źle zinterpretowanych badań w mediach było wiele. Jednym z przykładów jest szeroko komentowany raport Polskiej Fundacji Pomocy Dzieciom „Maciuś”: Głód i niedożywienie dzieci w Polsce. Badanie zrealizowane przez Dom Badawczy Maison dotyczyło dzieci, ale badaną grupą nie były ani one, ani ich rodzice, ale nauczyciele i reprezentanci instytucji pomocy społecznej. Przedstawicieli tych środowisk poproszono o oszacowanie, ile dzieci dotyka problem niedożywienia. Abstrahując od tego, w jaki sposób badani szacowali tę liczbę, wynik przedstawiono w raporcie fundacji jako: „prawie co dziesiąte dziecko z klas 1–3”. Natomiast nagłówki prasowe mówiły o Kraju głodnych dzieci (J. Ćwiek, „Rzeczpospolita” z 26 lutego 2013 r.) i o tym, że Prawie milion dzieci głoduje (W. Kamiński, „Gazeta Polska Codziennie” z 27 lutego 2013 r.). „Prawie milion”, czyli dokładnie 800 tys., wzięło się z wyliczenia 10% ze wszystkich niepełnoletnich osób w kraju, a nie dzieci z klas 1–3, których badanie dotyczyło. To uogólnienie doprowadziło do rażącego przeszacowania, bo wśród uczniów klas 1–3 niedożywionych dzieci byłoby ośmiokrotnie mniej. Drugim poważnym błędem było posłużenie się sformułowaniem „głodowanie” jako synonimem „niedożywienia”. Przy tak ważnej kwestii terminy mają niebagatelne znaczenie.

Zatem powiedzenie „liczby nie kłamią” nie zawsze jest prawdziwe?

M.T.: Liczby jako takie nie kłamią. Trzeba jednak od razu dodać dwa warunki: jeśli są wynikiem rzetelnego sondażu i są właściwie interpretowane. Np. jeśli 67% dorosłych mieszkańców Polski opowiada się za pewnym konkretnym rozwiązaniem, nie uprawnia to do zatytułowania artykułu: Polacy chcą… Przed takimi nadużyciami przestrzegamy dziennikarzy, którzy w ogóle mają skłonność do stosowania zbyt dużych uogólnień. Należy być ostrożnym i odnosić daną liczbę tylko do grupy, której dotyczy. Drugi problem pojawia się wtedy, gdy błędne dane wychodzą z agencji badawczej. Takie przypadki stanowią rezultat przyjęcia złej metodologii, jak np. zastosowania nieprzemyślanego kwestionariusza lub niedopilnowania realizacji badania, m.in. pracy ankieterów. Zatem zgoda – zdarza się, że liczby kłamią. Dlatego robimy wszystko, by takie badania były publikowane jak najrzadziej, a gdy się pojawią – staramy się ujawnić i skomentować zafałszowania. W ten sposób z jednej strony odczarowujemy sondaże, czyli pokazujemy ograniczenia narzędzia, a z drugiej – uświadamiamy odbiorców, jak realizowane są badania, i dajemy im możliwość samodzielnej oceny. To rozpowszechnianie wiedzy o metodologii sondażu jest ważną częścią naszych działań.

Na co należy więc zwrócić uwagę podczas interpretowania badań sondażowych?

J.R.: W literaturze wyróżnia się siedem takich elementów, których używamy też do oceny rzetelności, cytowania danych. Absolutnie podstawową kwestią jest źródło danych: na ile jest wiarygodne. Można oczywiście powołać się na badania nierenomowanych ośrodków badawczych, a zamieszczając informację o tym, kto sondaż przeprowadził, dać czytelnikowi miejsce na samodzielną ocenę rzetelności źródła.

Następnie trzeba zwrócić uwagę, na ile sondaż jest reprezentatywny – czy uogólnienie jego wyników na całą populację ma uzasadnienie statystyczne. Nie wdając się w szczegóły, mówi nam o tym metoda, za pomocą której dobrano próbę. Tu znaczenie ma też wielkość próby, gdyż błąd statystyczny (znów mocno upraszczając, bo dotyczy to prób losowych wylosowanych z rzetelnego operatu losowania, np. bazy PESEL) rośnie odwrotnie proporcjonalnie do jej wielkości. Jeśli więc badana była mała próba, np. złożona z 625 osób, to wówczas różnice do 4 punktów procentowych są nieistotne, a tym samym nie powinny być interpretowane jako znaczące.

Zarówno w raporcie z badania, jak i w odwołującym się do niego artykule należy omawiać wyniki tylko wobec populacji, czyli zbiorowości, którą zdecydowano się zbadać, i z niej wylosować próbę, bo tylko na nią można je uogólnić.

Wpływ na interpretację danych ma też termin realizacji badania, czyli kontekst jego przeprowadzenia. W zależności od przedmiotu badania znaczenie mogą mieć: sytuacja gospodarcza kraju albo bieżące wydarzenia polityczne.

Jako szóstą wymienię technikę zbierania danych, od której zależy m.in. rzetelność odpowiedzi badanego, a także możliwość utrzymania motywacji do udziału w badaniu. Mam tu na myśli fakt, że rozmowę telefoniczną, czy jeszcze w większym stopniu ankietę wypełnianą przez Internet, dużo łatwiej przerwać w trakcie, niż wyprosić ankietera, który przyszedł do domu respondenta. Kontakt bezpośredni z ankieterem przeciwdziała też niedbałemu udzielaniu odpowiedzi przez respondenta, kiedy np. na wszystkie pytania odpowie w ten sam sposób, by szybko przejść do następnego etapu.

Ostatnim elementem jest dokładne sformułowanie pytania, bo w tym miejscu jesteśmy narażeni na różnice interpretacyjne. Wydaje się, że pominięcie części albo sparafrazowanie treści pytania, na jakie odpowiadali badani, nie jest błędem. Jednak badania kognitywne, które pozwalają poznać sposób udzielania odpowiedzi przez respondentów, w tym też rozumienie słów użytych w kwestionariuszu, pokazują, że pytania – sformułowane w języku sondażu (surveyspeak) – bywają odmiennie rozumiane przez osoby na nie odpowiadające. Dodatkowa reinterpretacja dziennikarza może sprawić, że to, co na temat badania publikuje się w mediach, bardzo dalekie będzie od intencji badacza. Powinno nas też interesować, czy pytanie zostało zadane w formie otwartej czy zamkniętej, a jeśli to drugie, to jaka była kafeteria odpowiedzi, czyli lista możliwości przedstawiona respondentowi do wyboru.

Wielu zastanawia się, po co nam sondaże. Prof. Antoni Sułek stwierdził kiedyś, że pozwalają przejrzeć się nam w zwierciadle społeczeństwa.

M.T.: Sondaże stanowią ważny punkt odniesienia w każdym państwie demokratycznym. Dzięki nim obywatele dowiadują się, co sądzą inni – nie tylko znajomi, których opinie mamy szanse poznać, np. żarliwie dyskutując przy stole podczas kolacji. W tym sensie sondaże okazują się właśnie zwierciadłem społeczeństwa – z perspektywy pojedynczego obywatela widoczne stają się opinie pozostałych ludzi. Jeśli sondaż, np. polityczny, jest reprezentatywny dla populacji dorosłych mieszkańców Polski, ujmuje to opinie całego społeczeństwa, a nie tylko tych, którzy biorą udział w wyborach. W tym sensie jest demokratyczny, bo niezależnie od statusu społecznego czy przynależności do elit głos każdego liczy się tak samo. Badanie opinii publicznej bierze pod uwagę poglądy także tych, którzy w innych okolicznościach się nie wypowiadają. Protesty czy manifestacje gromadzą zwykle osoby o radykalnych i wyrazistych poglądach, natomiast sondaż daje głos też cichej większości i w ten sposób prezentuje opinie wszystkich.

Dlaczego sondaże mogą być ważne dla demokracji?

J.R.: Z punktu widzenia funkcjonowania państwa o ustroju demokratycznym sondaże ważne są z co najmniej dwóch względów. Po pierwsze, ujawniają poglądy społeczeństwa w sprawach niebędących przedmiotem wyborów czy referendów. Możliwość wypowiedzenia się opinii publicznej na temat np. obowiązku szkolnego sześciolatków wydaje się ważna nie tylko dla decydentów i debaty publicznej, ale i dla całego społeczeństwa. Po drugie, dzięki realizowaniu sondaży obywatel wypowiada swoje opinie na temat władzy i jej funkcjonowania oraz poznaje, co sądzą o niej inni mieszkańcy państwa również w okresie między wyborami. W ten sposób badania pełnią pośrednio funkcje kontrolne wobec elity politycznej.

Ale sondaże nie mają w Polsce dobrej prasy. Największe wątpliwości budzą właśnie te prowadzane przed wyborami i te śledzące poparcie społeczne dla poszczególnych partii. Często słyszymy o „żonglerce sondażami”. Podejmowane są nawet próby, by uregulować ich realizację – np. zakazać publikacji wyników badań dwa tygodnie przed wyborami. W ten sposób my jako obywatele mamy być chronieni przed manipulowaniem naszymi wyborami. Zastanawiam się, kto miałby nami manipulować.

M.T.: Wyniki sondażu z założenia mają być wiernym odbiciem opinii panujących w społeczeństwie. Niebezpieczeństwo pojawia się, gdy politycy wykorzystują naukowy autorytet sondażu i próbują manipulować opinią publiczną dla własnych korzyści. Partie polityczne starają się zaklinać rzeczywistość, powołując się na sprzyjające im wyniki badań. Brak merytorycznej dyskusji na temat możliwości i ograniczeń badań sondażowych dezorientuje opinię publiczną oraz podważa społeczne zaufanie do sondażu jako źródła wiedzy.

Kwestię zakazu publikacji wyników badań poparcia poruszył Antoni Sułek, kiedy otwierał konferencję o kondycji tego typu badań w Polsce organizowaną przez zespół Na Straży Sondaży. Zwrócił uwagę, że sondaże poparcia politycznego, szczególnie w okresie kampanii wyborczych, są niezwykle istotnym źródłem informacji, tak dla społeczeństwa, jak i dla polityków. Proszę zwrócić uwagę, że postulat – wychodzący od polityków – mówi o zakazie publikowania sondaży, a nie ich realizowania. Gdyby wszedł w życie, mogłoby dojść do sytuacji, w której badania prowadzone na zamówienie np. partii politycznych byłyby robione do ostatniego dnia przed wyborami, a wyniki znaliby tylko zamawiający. Kto jednak jest suwerenem w państwie demokratycznym? Kto udziela poparcia, głosując w ten lub inny sposób? Społeczeństwo. Wyraźnie widać chyba przewrotność pomysłu zakazu prezentowania suwerenowi jego własnych opinii.

Czy możemy w ogóle mówić o wpływie wyników badań sondażowych na działania bądź opinie społeczne?

J.R.: W socjologii znane są i przeanalizowane zjawiska dotyczące wpływu publikowania wyników badań na ludzi, choć dotyczą one głównie sondaży poparcia politycznego i ich „weryfikacji” w rzeczywistych wyborach. Przykładem oddziaływania jest band-wagon effect, czyli przenoszenie głosów na prawdopodobnego zwycięzcę, albo teoria spirali milczenia, według której dostosowujemy poglądy do opinii większości, bo boimy się, że zostaniemy odrzuceni. Z drugiej strony, istnieje zjawisko nazywane underdog, które polega na udzieleniu wsparcia słabszemu kandydatowi. Jak widać, wpływ publikowania wyników sondaży przedwyborczych nie jest jednoznaczny. Przypuszczam, że każdy doświadczył tzw. strategicznego głosowania podyktowanego własną logiką, na którą mają też wpływ wyniki publikowanych badań.

Myślę, że nie ma powodu, aby komunikowanie społeczeństwu wyników sondaży kojarzyło się negatywnie. Samowiedza opinii publicznej jest w państwach demokratycznych prawem. Konieczne jest, aby punktem wyjścia do tego komunikowania było rzetelne prowadzenie badań i poczucie odpowiedzialności autorów wykorzystujących dane sondażowe.

Czego za pomocą sondaży nie jesteśmy w stanie zbadać?

M.T.: Sztuka sondażu, mimo iż jest dziś praktyką dość powszechną, wymaga od badacza dużej wiedzy. W przypadku badań opinii trzebasię wykazać wrażliwością socjologiczną zakotwiczoną w wiedzy metodologicznej. Nie każdy rodzaj pytania wart jest bowiem zadania w badaniu sondażowym. Mówiąc precyzyjniej, sondaż to sztuka polegającą na formułowaniu pytań trafnych, które nie sugerują badanemu odpowiedzi.

Musimy też pamiętać, że mierzenie opinii politycznych lub konsumenckich jako procedura badawcza ma ograniczone zastosowania. Sondaż zwykle mierzy deklaracje. Powodów rozbieżności między rzeczywistymi zachowaniami a związanymi z nimi deklaracjami jest wiele; dotyczą one np. pomyłki w obliczaniu częstotliwości przeszłych doświadczeń – choćby liczby wizyt u lekarza w ciągu ostatniego roku, niechęci do ujawniania prawdy, niedoskonałości pamięci, sugerowania się kafeterią, co wiąże się z oddziaływaniem społecznej poprawności, lub efektu ankieterskiego. Ten ostatni odnosi się do wpływu cech ankietera na odpowiedzi udzielane przez respondenta. Badania metodologiczne wskazują, że jeśli respondent uważa, iż ankieter jest zwolennikiem jednej z partii politycznych, to chętniej przyzna się do głosowania na tę właśnie partię.

Najprawdopodobniej jedyną okazję weryfikacji odpowiedzi badanych poprzez porównanie ich z „twardymi danymi” mamy przy okazji wyborów. Wówczas widać, że frekwencja w postaci deklarowanego – nawet ex post, np. tydzień po wyborach – udziału w głosowaniu zawsze jest wyższa od podawanej oficjalnie przez Państwowy Komitet Wyborczy.

Pytania zadawane w ankiecie są tylko wskaźnikami. Jeśli chcemy badać złożone zjawiska, nigdy nie uchwycimy ich istoty, ale jedynie to, co zdefiniujemy jako ich mierniki. Z tego powodu badaniu za pomocą sondażu zjawisk trudnych w operacjonalizacji, takich jak kapitał społeczny czy wiara, towarzyszyć musi głęboka refleksja nad tym, jakie wskaźniki wykorzystać do ich badania.

Również na etapie raportowania wyników należy pamiętać o wyjaśnieniu, w jaki sposób pytania zadane w ankiecie mierzą, zdaniem badacza, zjawisko będące przedmiotem sondażu. Warto wesprzeć się wówczas uzasadnieniem teoretycznym badanego zjawiska.

Musimy też wiedzieć, że sondaże nie są dobrym narzędziem do badań eksploracyjnych, czyli badania tych wycinków rzeczywistości, o których jeszcze bardzo mało wiadomo. Brakuje wówczas kategorii i języka opisu zjawiska. Znacznie łatwiej jest je uzyskać w badaniu jakościowym. Przykładem jest rozwijająca się w latach 80. Solidarność, która była zjawiskiem unikalnym nie tylko w skali kraju i dlatego trudno było uchwycić jej istotę w sondażach.

Mówią Państwo wiele o badaniu opinii publicznej. Zadam teraz dość przewrotne pytanie. Kiedy powiemy o istnieniu opinii publicznej?

M.T.: Żeby istniała opinia publiczna, potrzebna jest świadomość wspólnoty, innymi słowy, nie wystarczy, że pojedyncze osoby mają opinie na dany temat ani że te opinie są do siebie podobne. O opinii publicznej możemy mówić wówczas, gdy pojedyncze głosy usłyszą się nawzajem, gdy będzie istniała wspólna wiedza o tym, co myślą inni.

Może być ona analizowana na dwa sposoby – jako stan oraz jako zjawisko. Dodatkowo niektórzy teoretycy mówią o kręgach opinii publicznej, do których zaliczają się: elity, wpływowi aktywiści, osoby zainteresowane życiem publicznym, wszyscy głosujący i obywatele powyżej 15. roku życia. Inni szczególnie mocno podkreślają rolę elit medialnych, a z kolei Pierre Bourdieu kontestuje istnienie opinii publicznej. Pozostawiłabym tę sprawę do indywidualnego rozstrzygnięcia, jednak sama żywię przekonanie, że opinia społeczna – w sprawach społecznie ważnych – istnieje, a sondaż jest jednym ze sposobów jej ujawniania.

Oczywiście za badaniem opinii publicznej metodą sondażową stoi konkretny i mocno upraszczający model społeczeństwa: zauważmy, że nie ma w nim warstw ani klas społecznych, całe społeczeństwo sprowadzone jest do agregatu. Zasada one person, one vote, one value zrównuje wszystkich, dając osobom wpływowym nieproporcjonalnie małe znaczenie, natomiast pozwalając wypowiedzieć się tym, których głos jest w innych sytuacjach niesłyszalny (np. niebiorącym udziału w wyborach).Przedstawianie opinii społecznej w mediach sprowadza się często do słupków i wykresów, a więc upraszcza się ją na potrzeby prezentacji, zamykając w kategoriach statystycznych. Należy zatem pamiętać, że opinia publiczna nie sprowadza się do odsetków różnych odpowiedzi udzielonych przez respondentów, a sondaże są tylko jednym ze sposobów jej ujawnienia.

Można sobie wyobrazić sytuację, kiedy pytanie zadane wprost nie przyniesie nam szczerej odpowiedzi. Na jakiego rodzaju pytania ankietowani najczęściej uchylają się od odpowiedzi?

M.T.: Podstawowe tematy tabu to pieniądze, seks i polityka. To nietypowe zestawienie można by pewnie długo uzupełniać o kwestie drażliwe, jak spożywanie alkoholu czy – szerzej – zachowania społecznie nieakceptowane, naruszanie prawa, poglądy wykraczające poza polityczną poprawność itd. Osobiście jestem w trakcie rozważań, na ile wiara i udział (lub jego brak) w praktykach religijnych mogą być zaliczane do takich kwestii. Ogólnie rzecz biorąc, niechętnie udzielamy szczerej odpowiedzi na pytania o sprawy intymne, o szczególnie osobiste, trudne doświadczenia. Mam na myśli nie tylko przyznanie się do błędów czy do społecznie potępianych zachowań, ale także kwestię np. bycia ofiarą przemocy. Sytuacja wywiadu, czy to telefonicznego, czy tym bardziej bezpośredniego, nie sprzyja tego typu wyznaniom, co nie powinno nikogo dziwić.

W jaki sposób badacze mogą temu przeciwdziałać?

J.R.: Techniki uzyskiwania odpowiedzi na pytania drażliwe wypracowano w naukowy, często eksperymentalny sposób. Zaliczają się do nich metody „odwrażliwiania” pytań zadawanych wprost, np. poprzez osadzenie ich w kontekście oraz stosowania techniki pytania nie wprost, do których należy randomized response technique. Pozwalają one zmierzyć skalę zjawiska (najczęściej społecznie niepożądanego) przy możliwie największym komforcie badanego. Zakłada się, że w sytuacji kiedy osoba biorąca udział w badaniu nie odpowiada na drażliwe pytanie wprost, łatwiej jej przyznać się do rzeczywistych zachowań. Dzięki temu uzyskane wyniki traktuje się jako najbardziej wiarygodne.

Mogę prosić o przykład?

M.T.: Technikę randomized response można wyjaśnić na przykładzie badania Fundacji CBOS zaprojektowanego przez Natalię Hipsz. Ponieważ badanie dotyczyło doświadczeń aborcyjnych, respondentkami były kobiety. Odwiedzający je w domach ankieter miał ze sobą komputer i monetę. Kobietom pokazywano ekran komputera, na którym wyświetlone były dwa pytania: „Czy urodziła się Pani w marcu?” oraz „Czy co najmniej raz w życiu przerwała Pani ciążę?”. Na wstępie badane były proszone o przyporządkowanie – wyłącznie w myślach i według własnego uznania – orła do jednego pytania, a reszki do drugiego. Następnie ankieter rzucał monetą i prosił o udzielenie odpowiedzi: „tak” lub „nie” na pytanie, do którego respondentka przyporządkowała wylosowaną stronę monety. Dzięki tej procedurze tylko badana wiedziała, na które pytanie odpowiada. Ponieważ prawdopodobieństwo wyrzucenia orła jest takie samo jak wyrzucenia reszki, a odsetek kobiet w badanej populacji, które urodziły się w marcu, znany jest z danych urzędów statystycznych, dość łatwo wylicza się odsetek badanych, które przyznały się do przerwania ciąży. Wydaje mi się, że ten przykład dobrze obrazuje działanie i możliwości techniki.

Wspominali Państwo, że błędy nie zdarzają się tylko na poziomie interpretacji wyników badań, ale i na poziomie metodologii prowadzonych studiów.

J.R.: Oczywiście, że tak się zdarza, i jako głos zespołu Na Straży Sondaży nie mogę nie dodać: niestety. Odkąd prowadzimy monitoring, jednym z takich rażących błędów po stronie agencji badawczych był sondaż zrealizowany przez Instytut Homo Homini dla Stowarzyszenia Republikanie. Pytanie o preferencje polityczne zostało w tym badaniu poprzedzone zestawem tez dotyczących sytuacji społeczno-ekonomicznej w Polsce, z którymi respondenci mieli się zgodzić bądź nie, np.: „Obywatele lepiej będą zarządzać swymi pieniędzmi niż urzędnicy w ich imieniu, dlatego należałoby obniżyć podatki i zmniejszyć liczbę urzędników oraz spraw, w których muszą oni podejmować decyzje”. Następnie zadano tendencyjne pytanie dotyczące znajomości Stowarzyszenia Republikanie, którego program zawiera rozwiązanie wszystkich wymienionych wcześniej bolączek naszego kraju. Brzmiało ono dokładnie: „Czy słyszał(a) Pan(i) o powstaniu nowego Stowarzyszenia Republikanie założonego przez posła Przemysława Wiplera, którego programem jest m.in. obniżenie podatków, ograniczenie obciążeń biurokratycznych, zmniejszenie liczby urzędników oraz wsparcie dla rodzin?”. Nie dziwi więc, że nawet osoby, które przed badaniem o organizacji posła Wiplera nie słyszały, odpowiedziały twierdząco na pytanie, czyrozważyłyby oddanie głosu na tę organizację. Z powodu metodologicznie niepoprawnie skonstruowanego kwestionariusza ugrupowanie Republikanie otrzymało 19-procentowe poparcie, stając się według sondażu trzecią siłą polityczną w kraju. Jak wiemy, nigdy później (a badanie przeprowadzone było w lipcu ubiegłego roku) nie wiodło mu się tak dobrze, a agencja, która ten fatalny sondaż zrealizowała, wielokrotnie była „wywoływana do tablicy”. Zresztą sama przyznała się do błędu.

Zdarzyło się także, że Onet zakomunikował: „Generał Wojciech Jaruzelski jest tym z prezydentów III RP, którego Polacy darzą największym szacunkiem”, choć nie był to wynik rzetelnego badania, ale sondy przeprowadzonej na tejże stronie internetowej.

Media dość często wykorzystują sondy, by dowiedzieć się, co myślą na dany temat ich odbiorcy.

J.R.: Problem z sondami polega na tym, że nie mogą w żaden sposób odzwierciedlać opinii społeczeństwa, ponieważ nie stoją za nimi żadne założenia metodologiczne ani tym bardziej statystyczne. Najkrócej mówiąc, sondy wypełniają przypadkowe osoby i tylko im – jeśli znana byłaby ta badana grupa – można przyporządkować uzyskany wynik. Dlatego sondy nie są wiarygodnymi badaniami, o jakich tu rozmawiamy.

Innym problemem, z jakim mieliśmy do czynienia po referendum w Warszawie w sprawie odwołania ze stanowiska prezydenta miasta Hanny Gronkiewicz-Waltz, jest sytuacja, kiedy metodologii realizowanych badań nie można nic zarzucić, a jednak dziennikarze podważają rzetelność zarówno konkretnych firm badawczych, jak i samej instytucji sondażu. Pokazuje to niedbałość redaktora, który powinien weryfikować swoje tezy, oraz jego brak kompetencji w dziedzinie badań społecznych. Mimo dobrze zrealizowanych sondaży opinie przedstawiane w mediach mogą negatywnie oddziaływać na zaufanie do badaczy i efektów ich pracy. Moje przypuszczenie nie zostało chyba sprawdzone, ale trudno uwierzyć, żeby pisanie o rozmijaniu się badań z prawdą (W. Raczkowski, Kłopoty z procentami, „Przegląd” z 21 października 2013 r.) lub sugerowanie manipulacji przy wynikach (M. Palade, Sondażowa żonglerka, „Do Rzeczy” z 4 listopada 2013 r.) nie przyniosło sondażom w Polsce szkody.

Dla wielu prowadzenie badań ilościowych jest jak wróżenie z fusów, bo jak z badania obejmującego niewiele ponad tysiąc osób wnioskować o całym społeczeństwie? Czy moglibyście Państwo wyjaśnić, kiedy można uogólnić wyniki badania na całą populację? Jakie założenia za tym stoją?

J.R.: Wyniki badania można uogólnić na całą populację, gdy zbadana próba była reprezentatywna. Oznacza to, że respondenci byli losowani do badania, a nie dobierani w przypadkowy sposób. Spełnienie tego założenia gwarantuje, że z określonym wysokim prawdopodobieństwem (zwykle założonym na poziomie 95%) wynik w wylosowanej próbie nie będzie się różnił od wyniku w populacji o więcej niż błąd statystyczny, który dzięki zastosowanym procedurom jest znany. Gwarantuje to Centralne Twierdzenie Graniczne de Moivre’a- Laplace’a, rozwijane jeszcze później przez wielu statystyków. Stosowanie tego i jemu pokrewnych twierdzeń uzasadnione jest przy próbach losowych. Jednak próby takie są wykorzystywane w badaniach sondażowych coraz rzadziej – zastępują je próby kwotowe, których wykorzystanie nie ma już ściśle statystycznego uzasadnienia. Niestety, metodologia badań sondażowych jest złożona i bez wprowadzenia wielu pojęć statystycznych trudno jest krótko wyjaśnić nawet tak podstawową kwestię jak ta, o którą Pani zapytała. Bardziej dociekliwych czytelników odsyłamy na naszą stronę internetową, na której staramy się w jak najbardziej przystępny, ale i uczciwy sposób wyjaśniać przynajmniej podstawowe zagadnienia statystyczne.

 

Inspiracje przygotowane przez zespół Na Straży Sondaży:

V. Price, Public Opinion, Newbury Park 1992.

H. Schuman, Metoda i znaczenie w badaniach sondażowych, tłum. A. Grabowska, Warszawa 2013.

A. Sułek, Sondaż Polski. Przygarść rozpraw o badaniach ankietowych, Warszawa 2011.

A. Sułek, Obrazy z życia socjologii w Polsce, Warszawa 2011.

S. L. Warner, Randomized Response: a Survey Technique for Eliminating Evasive Answer Bias, „Journal of the American Statistical Association”, 1964 nr 60, s. 63–69.

J.R. Zaller, The Origin and Nature of the Mass Opinion, Cambridge 1992.

 

NA STRAŻY SONDAŻY – nazwa projektu realizowanego od końca 2012 r. na Uniwersytecie Warszawskim. Zespół tworzą studenci i doktoranci socjologii, a opiekę merytoryczną sprawuje m.in. Antoni Sułek. Komentarze na temat aktualnie publikowanych sondaży w mediach można znaleźć na stronie Nastrazysondazy.uw.edu.pl

 
 

Dołącz do nas!

Prenumeratorzy zyskują więcej.

Zobacz ofertę!

Prenumerata