Jak může tisíc lidí odhadnout názor celé země? Odpověď vidím i pod článkem o UFO

Před pár dny jsem zde publikoval článek o UFO a otázce, zda existuje důvod věřit, že Zemi skutečně navštěvují mimozemšťané. Na jeho konec jsem přidal jednoduchou anketu:

Věříte, že Zemi navštěvují mimozemšťané?

Možnosti byly tři: ano, nejsem si jistý, ne.

Kdo chce, může si původní článek i s anketou otevřít zde:

Samotný výsledek ankety byl zajímavý. Ještě zajímavější ale bylo sledovat, jak vznikal.

Dokud hlasovalo jen pár lidí, procenta se viditelně hýbala. Jeden nový hlas dokázal výsledkem citelně zamávat. Pak se ale stalo něco, co mě zaujalo mnohem víc než samotná odpověď na otázku o mimozemšťanech.

Někde už kolem několika desítek hlasujících se anketa začala uklidňovat. Přesný okamžik jsem si bohužel nezapsal, ale dobře si pamatuji, že u odpovědi „Ano, věřím“ bylo už tehdy číslo lehce přes 53 procent. Když později hlasovalo 264 čtenářů, výsledek u stejné odpovědi činil 54,5 procenta.

Jinými slovy:
přibyly zhruba dvě stovky hlasů — a celkový obraz se téměř nezměnil.

Pěkná ukázka toho, jak funguje statistika. Pojďme si to trochu přiblížit:

První vysvětlení je úplně prosté.

Když hlasuje 10 lidí, jeden nový hlas tvoří desetinu všech odpovědí. Může tedy výsledkem pohnout o 10 procentních bodů.

Když hlasuje 50 lidí, jeden nový hlas představuje už jen 2 procenta.

A když hlasuje 264 lidí, jeden další člověk odpovídá přibližně 0,38 procentního bodu.

Na začátku ankety je tedy každý nový hlas jako kámen hozený do malé louže. Voda vystříkne všude. Později už padá do rybníka. Hladinu sice zasáhne, ale skoro ji nezmění.

To samo o sobě vysvětluje, proč se procenta postupně přestanou dramaticky přelévat. Ještě ale nevysvětluje to hlavní:
proč se výsledek ustálí zrovna kolem nějakého konkrétního čísla a dál se drží poblíž něj.

Představme si hod mincí.

Když ji hodíme desetkrát, klidně může sedmkrát padnout panna a jen třikrát orel. To by vypadalo, jako by mince měla pannu „raději“.

Když ji ale hodíme tisíckrát, výsledek se obvykle mnohem víc přiblíží poměru půl na půl. Ne proto, že by mince po pětistém hodu dostala rozum. Ale proto, že nahodilé výkyvy se ve větším počtu pokusů začnou vyrovnávat.

Tomu se říká zákon velkých čísel.

Podobný princip funguje i u ankety. Prvních deset nebo dvacet čtenářů může být náhodou výrazně skeptičtějších, nebo naopak výrazně otevřenějších víře v návštěvy mimozemšťanů. Jak ale odpovědí přibývá, začne se z šumu jednotlivostí vynořovat stabilnější obraz celé skupiny hlasujících.

Právě to se zřejmě stalo i pod článkem o UFO. První hlasy mohly výsledkem cloumat, ale někde kolem několika desítek odpovědí se začal ukazovat skutečný poměr nálad mezi lidmi, kteří článek četli a rozhodli se hlasovat. Další stovky odpovědí už tento poměr spíš jen jemně zpřesňovaly.

Tady je potřeba udělat důležitou brzdu.

Moje anketa pod článkem není reprezentativní průzkum české společnosti. Nehlasovali náhodně vybraní obyvatelé republiky. Hlasovali lidé, kteří:

To je velmi specifická skupina. Výsledek tedy neříká, co si myslí všichni Češi.

Ukazuje ale něco jiného a pro tento článek podstatného:
i v jedné konkrétní skupině lidí se s rostoucím počtem odpovědí začne výsledek stabilizovat.

A tím se dostáváme k velké otázce.

Když slyšíme, že předvolební průzkum vznikl na vzorku třeba tisíce respondentů, spousta lidí automaticky namítne:

Jak může tisíc lidí vypovídat o celé zemi, která má přes deset milionů obyvatel?

Intuitivně to zní podezřele. Jenže statisticky to smysl dává.

Podstatné totiž není jen to, kolika lidí se zeptáme. Ještě důležitější je, koho se zeptáme.

Pokud by výzkumná agentura zastavila tisíc lidí před jedním nákupním centrem v Praze, výsledek by byl velmi pochybný. Takový vzorek by měl k celé společnosti daleko.

Když ale sestaví skupinu tak, aby odpovídala populaci podle důležitých znaků — například věku, pohlaví, regionu, vzdělání nebo velikosti místa bydliště — vznikne něco jako zmenšený model společnosti.

Ne dokonalá kopie. Ale dost dobrá na to, aby z ní šlo s určitou chybou odhadovat celek. Právě proto sociologové a výzkumné agentury běžně pracují se vzorky kolem tisícovky lidí. CVVM uvádí, že přibližně 1 000 respondentů představuje z hlediska přesnosti a nákladů velmi rozumný kompromis; u takového vzorku se běžně mluví o výběrové chybě kolem ±3 procentních bodů.

A tady se skrývá možná nejzajímavější pointa.

Průzkumy mohou fungovat jen proto, že lidé nejsou ve svých názorech úplně nahodilí. Nejsme deset milionů dokonale izolovaných hlav, jejichž postoje nelze v ničem odhadnout.

Lidé podobného věku, vzdělání, životní zkušenosti, ekonomické situace nebo prostředí, v němž žijí, mívají v řadě otázek určité společné tendence. Ne absolutně. Ne vždy. Ale dost často na to, aby se v dobře sestaveném vzorku začala společnost zmenšeně „otiskovat“.

To není urážka lidské individuality. Je to prostě pozorování, že v názorech velkých skupin existují vzorce.

Jednotlivec může překvapit. Společnost jako celek už mnohem méně.

A právě proto dává smysl, že z dobře vybrané tisícovky lidí lze poměrně přesně odhadnout, jak se v určité otázce rozkládají názory v celé zemi.

Další věc, která působí proti intuici:
u velkých populací nehraje počet všech obyvatel tak zásadní roli, jak si laik často představuje.

Člověk by čekal, že na desetimilionovou republiku potřebujeme mnohem větší vzorek než třeba na město se sto tisíci obyvateli. Jenže pokud odhadujeme podíl názorů a máme dobře vybraný vzorek, rozdíl už není tak dramatický.

Vzorek tisíce lidí může s podobnou přesností odhadovat poměry v populaci o jednom milionu i o deseti milionech lidí. S rostoucím vzorkem se samozřejmě přesnost zlepšuje, ale čím dál pomaleji.

Například CVVM připomíná, že u 500 respondentů může být chyba u výsledku kolem poloviny populace zhruba 4,4 procentního bodu, zatímco u 1 000 respondentů přibližně 3 procentní body. Zdvojnásobení práce tedy nepřinese dvojnásobnou přesnost.

To je důvod, proč se agentury neptají desítek tisíc lidí při každém průzkumu. Přínos by už často neodpovídal nákladům.

Samozřejmě mohou.

Statistika není křišťálová koule. I kvalitní průzkum je pořád odhad, nikoli opis budoucnosti.

Chyba může vzniknout více způsoby:

AAPOR například upozorňuje, že údaj o chybě ±3 procentní body se vztahuje k celému tisícihlavému vzorku, nikoli automaticky k menším skupinám uvnitř něj. Pokud se z tisíce respondentů díváme třeba jen na dvě stovky lidí určitého typu, chyba už je podstatně vyšší.

Proto také volební model není jen obyčejná anketa „koho budete volit“. Seriózní agentury pracují i s pravděpodobností účasti, minulým volebním chováním a dalšími korekcemi.

Když jsem sledoval anketu pod svým článkem, viděl jsem v malém něco, co statistika využívá ve velkém.

Nejdřív chaos.
Pak náznak tvaru.
A nakonec překvapivě stabilní obraz.

Po několika desítkách hlasů jsem u odpovědi „Ano, věřím“ viděl něco přes 53 procent. Po 264 hlasech bylo 54,5 procenta. To neznamená, že anketa zjistila názor českého národa. Ale znamená to, že po určitém počtu odpovědí se začala docela přesně rýsovat nálada konkrétní skupiny čtenářů.

A právě na podobném principu stojí i průzkumy veřejného mínění.

Statistika není magie. Jen umí rozpoznat chvíli, kdy se z jednotlivých hlasů začne vynořovat celek.

Hlasujte v anketě a klidně se k článku později vraťte. Uvidíme, jestli se i tady po prvních výkyvech začne výsledek uklidňovat — přesně tak, jak jsme si právě popsali.