Průzkum tvrdí, že si to myslí většina Čechů. Kolika lidí se vlastně ptali?

Procento vypadá přesně, jen kolem něj chybí několik podstatných údajů. Kdo odpovídal, na jakou otázku, kdy a jak byl vybrán? Počet respondentů je důležitý začátek, nikoli celé osvědčení o kvalitě.

Modelový čtenář vidí graf, podle kterého většina lidí souhlasí s věcí, o níž má jeho rodina úplně opačný názor. Okamžitě vzniknou dvě vysvětlení. Buď je průzkum zmanipulovaný, nebo jeho rodina nerozumí světu. Nabízí se však i méně dramatická možnost: nejprve zjistit, na co se kdo skutečně ptal. Barevný sloupec zatím neposkytl ani otázku, ani popis respondentů, ale už stihl svolat mimořádné zasedání domácího veřejného mínění.

Základní kontrola průzkumu nemusí vyžadovat vlastní statistický software. Potřebujete metodické informace a ochotu nenechat se zastavit u jediného procenta. Tento článek nevysvětluje všechny statistické postupy ani neposuzuje konkrétní agenturu. Ukazuje čtenářský způsob, jak oddělit doložený závěr od přehnaného titulku. Otázka „kolika lidem se ptali?“ je užitečná. Hned za ní ale musí přijít otázka „jakým lidem a jakým způsobem?“.

Profesní organizace AAPOR ve svém průvodci pro novináře doporučuje zkoumat přesné znění otázek, pořadí, termín sběru dat, zadavatele a to, zda výsledek popisuje všechny respondenty, nebo jen podskupinu. Upozorňuje také, že větší vzorek sám nezaručuje lepší průzkum. Tyto údaje nejsou administrativní přítěž; pomáhají určit, jaký závěr lze z výsledku vůbec vyvozovat. [1]

Vezměme vlastní model. Otázka „Chcete příjemnější veřejný prostor?“ může přinést jiný význam odpovědi než otázka „Souhlasíte s tímto konkrétním projektem za uvedenou cenu a s těmito omezeními?“. I kdyby v obou případech zaznělo stejné ano, nejde automaticky o podporu stejného rozhodnutí. Neodvozujte odpověď na druhou otázku z první. Obecná sympatie k hezké věci ještě není souhlas s každým způsobem její realizace.

Představte si čistě modelovou anketu na stránce klubu milovníků železnice. Může zajímavě popsat odpovědi lidí, kteří se do ní zapojili. Samotný počet hlasů však nevysvětlí, proč by měla reprezentovat celou zemi. Pokud stránku navštíví deset tisíc nadšených čtenářů, nevznikne tím automaticky náhodný výběr všech obyvatel. Není nutné výsledky zahodit; je nutné popsat je v rozsahu, který skutečně odpovídá sběru.

AAPOR v doporučeních pro výzkum rozlišuje pravděpodobnostní a nepravděpodobnostní výběry a připomíná, že i online průzkum může využít různé způsoby náboru. Samotné slovo „internetový“ tedy není dostatečné hodnocení kvality. Důležitý je popis cílové populace, výběru, náboru a zpracování dat. Čtenář by měl mít možnost tyto informace zjistit, ne pouze obdivovat velikost zveřejněného čísla. [2]

Pro myšlenkový experiment si představte dvě krabice s odpověďmi. Jedna pochází z předem navrženého výběru pro konkrétní populaci, druhá od lidí, kteří sami chtěli hlasovat v jedné tematické komunitě. Přisypávání dalších podobných lístků do druhé krabice samo neřeší otázku, kdo v ní chybí. To je důvod, proč se vedle počtu zajímáte o způsob získání odpovědí. Velikost a složení jsou dvě různá témata.

Zároveň z toho nedělejte opačnou zkratku, že na počtu nikdy nezáleží. Záleží, jen není jediným údajem. Pokud metodice nerozumíte, není poctivé rozhodnout kvalitu podle toho, zda se vám výsledek líbí. Zeptejte se na chybějící vysvětlení nebo vyhledejte kvalifikovaný rozbor. Věta „tomuhle výpočtu zatím nerozumím“ je pro čtenáře lepší výchozí bod než okamžitý rozsudek „statistika přece může dokázat cokoli“.

Celkový průzkum může obsahovat velký počet lidí, ale konkrétní graf se může týkat jen malé části z nich. Ptejte se, kolik odpovědí stojí za daným podílem a jaká nejistota je pro tento výsledek relevantní. AAPOR výslovně upozorňuje na rozdíl mezi celým vzorkem a podskupinami. Běžnou výběrovou chybu také nelze bez příslušného zdůvodnění přenášet na nepravděpodobnostní anketu, jako by šlo o stejný typ výběru. [1]

Modelově může titulek popisovat „mladé obyvatele malých obcí“, přestože celková tisícovka respondentů zahrnovala mnoho jiných skupin. Neznamená to automaticky, že příslušný výsledek je nepoužitelný. Znamená to, že celkový počet v metodické poznámce neodpovídá sám na otázku, kolik podkladů má právě tento detail. Když autoři příliš jemné srovnání nevydávají za pevný závěr, může jít o poctivé omezení, nikoli o neochotu ukázat pravdu.

Napište si, kdy lidé skutečně odpovídali. Výsledek zveřejněný dnes může popisovat názory z dřívějšího období. Pokud mezitím nastala významná událost související s otázkou, je to důležitá souvislost, ne automatický důvod výzkum odmítnout. U politických či jiných proměnlivých témat nepřepisujte časovou platnost podle nového sdílení grafu. Průzkum popisuje svůj vymezený sběr, nikoli nepřetržitý živý přenos všech myšlenek v republice.

Při srovnání dvou výsledků se ptejte, zda se nezměnilo také zadání nebo metoda. AAPOR zdůrazňuje potřebu srovnatelných otázek, kontextu a postupů při měření změny v čase. Rozdíl mezi dvěma procenty nemusí mít pouze jedno vysvětlení. Bez odpovídajících podkladů proto neoznamujte zásadní obrat nálady jen proto, že dva grafy mají podobnou barvu a oba obsahují název stejného tématu. [2]

Zadavatel a zpracovatel nejsou vždy tatáž osoba. Zjistěte obě role a dostupnou metodiku. Financování zainteresovanou organizací je relevantní okolnost, ale samo ještě nedokazuje podvod. Stejně známé jméno automaticky nevyřeší všechny otázky. Hledejte konkrétní nedostatek nebo konkrétní kvalitní postup, ne pouze důvod přidat celému výsledku jedno emocionální znaménko. Odborná práce se hodnotí lépe podle doloženého postupu než podle společenských sympatií.

Pokud metodické údaje chybí, popište tuto mezeru přesně. „Nemám k dispozici znění otázky a způsob náboru“ je obhajitelné sdělení. „Všechno si vymysleli“ už tvrdí něco dalšího, pro co potřebujete důkaz. Stejnou poctivost používejte i u výsledků, které podporují váš názor. Největší zkouška čtenářské důslednosti nepřichází u nepříjemného grafu, ale u toho, který vám právě poskytl výbornou munici do oblíbené debaty.

U procent si všimněte, z jakého základu jsou počítaná a zda bylo možné vybrat více odpovědí. Vlastní model s více povolenými volbami může mít součet podílů přes sto procent, aniž by kalkulačka utrpěla poruchu. Jindy jsou z přehledu vynechané některé odpovědi. Než oznámíte odhalenou chybu, přečtěte poznámku. Pokud vysvětlení chybí, máte správnou otázku pro autora, nikoli ještě hotový výsledek vyšetřování.

Podobně rozlišujte počet lidí a případnou upravenou váhu jejich odpovědí, pokud metodika popisuje vážení. Nemusíte tento postup sami přepočítávat, ale neměli byste ho zaměnit za prosté sčítání všech hlasů bez úprav. Ptejte se, proč a jak byl použit. Pokud výzkumný postup není transparentní, snižuje to vaši možnost závěr nezávisle posoudit. Z této mezery ale stále neplyne právo dosadit vlastní libovolné číslo místo zveřejněného.

Navrhuji vlastní čtenářskou kartu: otázka, populace, způsob výběru, počet relevantních odpovědí, datum a zdroj metodiky. Nejde o profesionální audit. Je to malá kontrola, která ukáže, zda rozumíte základnímu rozsahu tvrzení. Když některý údaj chybí, můžete sdílení doplnit výhradou nebo zatím počkat. Není povinností každého grafu okamžitě zaujmout definitivní postoj za celou společnost.

Až tedy příště uvidíte „většina Čechů“, nehádejte se nejprve se svou rodinou, zda se do této většiny počítá. Podívejte se, koho výzkum skutečně popisuje a jak se k závěru došlo. Procento nemusí být nepřítel a metodika nemusí být tajný jazyk. Často je to jen odpověď na několik obyčejných otázek, které měl dostat i ten nejpřesvědčivější sloupec v grafu dřív, než začal mluvit za všechny.

Ptejte se nejen kolik, ale také koho a jak.

Otázky, termín, původ a výběr respondentů, podskupiny a omezení výběrové chyby. Neposuzuje konkrétní český průzkum.

Návrh výběru, transparentnost, srovnatelnost metod a vážení. Modelové příklady v článku jsou původní vysvětlení, nikoli výsledky výzkumu.