Як правильно порівнювати результати опитувань і не помилитися у висновках

Два опитування, опубліковані з різницею у тиждень, показують різні результати: в одному кандидат випереджає суперника на 6%, в іншому відстає на 2%. Заголовки кричать про «різкий перелом», але найімовірніше жодного перелому немає — просто опитування відрізняються за вибіркою, датами польового етапу та способом обробки невизначених відповідей. Щоб читати результати опитувань, а не заголовки про них, потрібно розуміти кілька базових методологічних речей. Цей посібник пояснює, на що дивитися в першу чергу, як порівнювати різні дослідження між собою і які висновки з цифр робити не можна.

З чого починати читання будь-якого опитування

Перш ніж дивитися на відсотки, знайдіть методологічний блок — зазвичай це невеликий текст наприкінці пресрелізу або на сторінці дослідження. Поважна соціологічна служба завжди вказує, хто замовив і профінансував опитування, який метод збору даних використовувався, коли тривав польовий етап, скільки респондентів опитано, яка заявлена похибка і хто саме входив до сукупності — усе доросле населення, лише ті, хто планує голосувати, чи вузька група.

Якщо хоча б частина цієї інформації відсутня, це перший тривожний сигнал. Цифри без методології неможливо ні перевірити, ні порівняти з іншими дослідженнями. Замовник теж має значення: опитування, профінансоване політичною партією або зацікавленою компанією, не обов’язково фальшиве, але до нього варто ставитися уважніше — особливо до формулювань запитань та вибірки.

Окрема деталь, яку часто пропускають, — хто вважається респондентом. Результат «серед усіх дорослих» і «серед тих, хто точно піде голосувати» може відрізнятися на десяток пунктів, бо це фактично різні сукупності. Порівнювати їх напряму — типова помилка, якою грішать навіть новинні стрічки.

Вибірка респондентів і репрезентативність

Репрезентативність — це властивість вибірки відображати структуру всієї сукупності за ключовими ознаками: віком, статтю, регіоном, типом поселення, іноді освітою чи доходом. Якщо вибірка репрезентативна, результати опитування можна з обережністю переносити на всю країну. Якщо ні — цифри описують лише тих, кого вдалося опитати.

Метод формування вибірки визначає якість усього дослідження. Найнадійніший підхід — ймовірнісна вибірка, де кожен представник сукупності має відому й ненульову ймовірність потрапити до опитування: випадковий набір телефонних номерів, випадковий відбір адрес чи домогосподарств. Протилежність — самоселекція, коли респонденти самі вирішують брати участь, як в опитуваннях на сайтах чи в соцмережах. Такі опитування систематично перетягають найбільш заангажовану та поляризовану аудиторію, і їхні результати не можна вважати національними настроями, скільки б тисяч людей у них не взяло участь.

Метод збору даних також має наслідки. Телефонне опитування схильне до того, що в багатьох країнах частина населення не має телефонного зв’язку або принципово не відповідає невідомим номерам. Особисті інтерв’ю дорожчі, але дають доступ до людей без телефонів. Онлайн-панелі охоплюють лише користувачів інтернету. Соціологи часто застосовують зважування — математичне вирівнювання вибірки за відомими демографічними параметрами, — але воно виправляє перекоси лише частково і саме по собі є джерелом додаткової невизначеності.

Практичний висновок простий: перед тим як довіряти цифрам, перевірте, чи відповідає метод вибірки питанню, яке досліджується. Опитування про загальнонаціональні настрої, проведене лише в одному регіоні або лише серед користувачів певного застосунку, не дає відповіді на поставлене питання.

Похибка опитування: що насправді означають плюс-мінус 2,5%

Заявлена похибка опитування — це статистична похибка вибірки: межа, у межах якої з високою ймовірністю (зазвичай 95%) лежить справжнє значення, якби вибірка була ідеально випадковою. Для вибірки приблизно у 2000 респондентів вона становить близько 2,2–2,5 відсоткового пункту, для 1000 — близько 3,1 пункту.

Звідси випливає кілька важливих правил читання цифр. По-перше, різниця всередині похибки — це нічия. Якщо один кандидат має 28%, а інший 26%, за похибки у 2,5 пункти немає жодних підстав говорити про лідера: реальні значення можуть бути 26,5% і 27,5%, тобто з протилежним порядком. По-друге, похибка зростає для підгруп. Загальна похибка по країні у 2,5 пункту перетворюється на 6–8 пунктів, коли ви дивитеся на підтримку серед молоді чи в одному регіоні, бо фактична вибірка підгрупи мала. По-третє, похибка застосовується до кожного показника окремо, тому порівняння двох відсотків з різних опитувань має подвійну невизначеність.

Важливе застереження: статистична похибка враховує лише випадкову складову. Вона не враховує систематичні помилки — перекоси через метод збору даних, відмови респондентів, маніпулятивні формулювання запитань, ефект соціальної бажанності, коли люди відповідають так, як прийнято, а не як думають. Реальна невизначеність будь-якого опитування майже завжди більша за заявлену похибку, і добрі методологи це визнають прямо.

Дати польового етапу і чому контекст тижня має значення

Польовий етап — це період, коли фактично збиралися відповіді. Ці дати не технічна дрібниця, а частина змісту дослідження, бо суспільні настрої реагують на події. Опитування, проведене до гучного політичного скандалу, економічної новини чи різкої зміни валютного курсу, і опитування, проведене після, можуть давати помітно різні результати — і обидва будуть чесними знімками свого моменту.

Тому перше правило порівняння: дивіться, чи перетинаються польові етапи. Якщо одне опитування зібране на початку місяця, а інше наприкінці, різниця між ними може відображати реальну зміну настроїв, а може — просто різні методології, і відрізнити одне від іншого без додаткових даних неможливо. Найцінніша інформація — динаміка однієї й тієї самої служби з однаковою методологією. Зміна на 4 пункти між двома хвилями одного дослідження значно інформативніша, ніж різниця на 4 пункти між двома різними компаніями.

Звертайте увагу й на тривалість польового етапу. Опитування, зібране за один-два дні, швидше реагує на події, але вразливіше до випадкових перекосів днів тижня. Розтягнутий на два тижні збір дає стабільніший середній показник, але згладжує реакцію на події, що сталися всередині цього періоду. Дата публікації, до речі, нічого не означає сама по собі — результати можуть виходити через тижні після завершення польового етапу, і важливо не плутати «свіжість публікації» зі свіжістю даних.

Невизначені респонденти: прихована чверть електорату

У будь-якому виборчому чи рейтинговому опитуванні є респонденти, які відповіли «ще не визначився», «не піду голосувати» або відмовилися відповідати. Їхня частка нерідко становить 15–30%, і саме поводження з цією групою створює найбільшу різницю між опублікованими цифрами.

Існує два основні підходи до презентації результатів. Перший — показати відсотки серед усіх опитаних, де невизначені лишаються окремою категорією. Другий — порахувати розподіл лише серед тих, хто визначився, фактично перерозподіливши невпевнених респондентів пропорційно. Другий варіант завжди дає вищі цифри лідерам, бо знаменник менший. Одна й та сама сировина може виглядати як «24% за кандидата» в першому варіанті і як «32%» у другому, що створює ґрунт для маніпулятивних заголовків.

Деякі служби йдуть далі й будують моделі: прогнозують, як розподіляться невизначені, на основі їхніх вторинних симпатій або поведінки схожих груп у минулому. Такі моделі можуть бути точнішими за сирі дані, але це вже не результат опитування, а прогноз, і читач має право знати, де закінчується вимір і починається припущення. Перевірте в методології, як саме подано результати, і порівнюйте між собою тільки опитування з однаковою базою підрахунку.

Як коректно порівнювати різні опитування між собою

Різні соціологічні служби використовують різні методи: одна працює телефоном, інша — особистими інтерв’ю, третя — онлайн-панеллю; у кожної свої процедури зважування та правила роботи з невизначеними. Через це між службами існують сталі системні зсуви, які методологи називають ефектом дослідницького інституту: одна компанія стабільно дає певній партії на 2–3 пункти більше, ніж інша, при однаковій чесності обох. Це нормально і не означає, що хтось бреше.

Звідси — головне правило порівняння: різниця між опитуваннями різних служб менш інформативна, ніж динаміка всередині однієї. Якщо ви хочете зрозуміти тренд, візьміть серію опитувань однієї компанії з незмінною методологією. Якщо потрібна оцінка поточного стану, дивіться на консенсус кількох незалежних служб, опитаних у близькі дати: коли чотири дослідження показують лідера в межах 24–28%, чесна відповідь — «приблизно чверть», а не будь-яка з крайніх цифр окремо.

Короткий алгоритм перевірки перед тим, як робити висновки з новини про опитування:

• Знайдіть замовника, дати польового етапу, розмір вибірки та заявлену похибку.
• Перевірте метод збору даних і принцип формування вибірки.
• З’ясуйте, серед кого пораховано відсотки — усіх опитаних чи лише тих, хто визначився.
• Оцініть різницю між показниками з урахуванням похибки: різниця менша за подвійну похибку — це статистична нічия.
• Для тренду використовуйте динаміку однієї служби, для поточного стану — консенсус кількох.
• Ігноруйте опитування без методології та самоселекційні голосування в інтернеті.

Останнє правило стосується дисципліни висновків. Одне опитування — це знімок із похибкою, а не факт. Навіть ідеально проведене дослідження описує настрої на момент польового етапу, а не прогнозує майбутнє. Коли заголовок обіцяє точний результат виборів за місяць до дня голосування, він продає впевненість, якої в даних немає.

Часті запитання

Чи можна довіряти опитуванню з вибіркою лише у 1000 осіб?

Так, якщо вибірка ймовірнісна та репрезентативна. Тисяча правильно відібраних респондентів дає похибку близько 3,1 відсоткового пункту, чого достатньо для оцінки загальних настроїв по країні. Розмір вибірки значно менш важливий, ніж метод її формування: сто тисяч самозваних учасників інтернет-голосування дають гіршу картину, ніж тисяча випадково відібраних.

Чому різні опитування в один тиждень показують різних лідерів?

Зазвичай через комбінацію трьох причин: статистичної похибки (різниця насправді в межах випадкових коливань), різної обробки невизначених респондентів та системних ефектів дослідницьких інститутів. Рідше — через реальні зміни настроїв між польовими етапами. Поки різниця не перевищує подвійну похибку, говорити про різних лідерів немає підстав.

Що важливіше: одне велике опитування чи кілька малих?

Кілька незалежних опитувань, проведених у близькі дати різними методами, надійніші за одне велике. У кожного методу є свої сліпі зони, і збігання результатів з різних джерел — найкраще доступне підтвердження того, що картина реальна, а не артефакт конкретної методології.

Чи означає перевага в опитуваннях перемогу на виборах?

Ні. Опитування фіксує декларовані наміри на момент польового етапу. На фінальний результат впливають явка (яку моделювати складно), зміна рішень невизначених у останні дні та ефект соціальної бажанності у відповідях. Чим більше часу до події, тим менш прогностичними є будь-які цифри.