Манипулирование данными опросов и ошибки их интерпретации
"Чим менше ти знаєш – тим легше тобою маніпулювати".
Ці слова Капелюшника з вічної "Аліси в Країні чудес", написаної Льюїсом Керролом ще у ХІХ столітті, не втрачають актуальності і понині.
Свідомо чи несвідомо, в тій чи іншій мірі маніпулюють інформацією всі.
Однак є такий вид інформації, яким люблять жонглювати з особливим інтересом, – соціологічні опитування.
Найперше ними маніпулюють політики, які через телебачення, інтернет-ЗМІ та соціальні мережі намагаються подати дані у вигідному для себе світлі. Але політики в цьому не самі.
У межах однієї статті важко охопити усі методи маніпуляцій та хибних інтерпретацій даних, які використовуються в Україні.
Однак спробуємо на реальних прикладах показати найважливіші з них.
Маніпуляції при візуалізації даних
Найголовніший принцип візуалізації – графічне представлення даних має відображати реальні пропорції.
Візуальні маніпуляції відносно легко виявити. Використовуються вони частіше у матеріалах, які не публікуються онлайн, а поширюються друкованими – у виборчій агітації.
На графіку зображений прогнозований партією "Відродження" рівень зарплат у Дніпропетровській області після приходу цієї партії до влади (агітка 2015 року).
Вельми оптимістично, але графік ілюструє маніпуляцію з віссю ординат – вертикальна шкала починається не з нуля.
Якщо правильно побудувати графік з тими ж даними, висхідна тенденція буде більш стриманою:
Наступний графік логічніше було б побачити у виконанні ОПЗЖ, аніж у газеті БПП.
Навіщо партії, яка не поділяє ідеї федералізації України, візуально прибільшувати кількість прихильників федерації – не зрозуміло (різниця у розмірі стовпчиків не пропорційна реальній різниці даних).
Нещодавно Макс Нефьодов представив візуалізацію кількості коштів, перерахованих митницею до держбюджету у січні 2020 року.
На представленому графіку вісь ординат починається не з нуля, що також дещо спотворює враження про дані: наприклад, точка 28.01 на графіку вдвічі вище за точку 24.01, але різниця у фактичних цифрах, які ці точки представляють, менша.
Підступними є й кругові діаграми.
Наприклад, у жовтні 2015 року газета Олександра Омельченка, переконуючи виборців у ефективності свого кандидата як мера, перебільшила його "шматок пирога".
Як видно, 2% Омельченка, які опинилися на правій частині кола, візуально дорівнюють сусіднім часткам у 11%.
Маніпуляції на кругових діаграмах іноді важко розрізнити, оскільки необхідно озброїтися транспортиром, аби виміряти, чи точно відображені пропорції.
Маніпуляції соціологів
1. Формулювання запитань
Тут можливі ціннісні судження, які скеровують до певної відповіді; додаткові роз’яснення щодо предмету опитування; невичерпний перелік варіантів відповіді тощо (більш повний перелік можливих помилок див. у посібнику Фонду "Демократичні ініціативи).
Опитування однієї з соціологічних служб щодо способів розв'язання конфлікту на Донбасі, проведене навесні 2019 року, містило наступне запитання та набір відповідей:
На нашу думку, перелік варіантів відповіді не є вичерпним та містить лише три опції при широкому формулюванні запитання.
Ізоляція окупованих територій, як і війна за них, для більшості є неприйнятними.
Відсутність інших альтернатив скеровує респондента підтримати надання автономії.
Іншим прикладом є опитування щодо ринку землі, яке включало запитання: "Який підхід щодо земель сільськогосподарського призначення, на Вашу думку, є кращим для України: такий, як у Канаді чи Ізраїлі, де майже всі землі с/г призначення перебувають у державній власності, чи такий, як у Італії, де землю купують і продають за певними правилами?".
У формулюванні міститься маніпулятивне роз'яснення для респондента, адже реальні дані зовсім інші (у Канаді всього 6,9% земель с/г призначення, у Ізраїлі – 24,6%).
Класичний приклад – опитування від червня 2018 року, в якому Аграрна партія отримала 7,9% голосів від тих, хто визначився та прийде на вибори.
Опис вибірки у прес-релізі зазначає, що опитування не проводилося у обласних центрах, однак за наявного оформлення публікації для більшості глядачів цей опис залишиться непоміченим.
Результати такого опитування не можна поширювати на усе населення України, адже воно було проведене на вибірці, яка не представляє цю генеральну сукупність.
Маніпулятивне або хибне використання даних у заголовках новин
Використання опитувань є гарним способом зробити резонансний заголовок, але такі заголовки іноді спотворюють суть чи є відверто маніпулятивними.
- Заголовок UNN: "Понад 60% українців вважає, що антикорупційна реформа є першочерговою – опитування".
Заголовок не містить фактологічних помилок, але формулювання наштовхує на думку, що всі інші реформи є першочерговими для решти 40% громадян.
Насправді ж це запитання з множинними відповідями, тобто сумарна кількість відсотків може перевищувати 100:
Як бачимо, антикорупційна реформа є не набагато більш важливою, аніж реформа охорони здоров'я та реформа системи соцзахисту.
- Заголовок УНІАН: "Майже 70% українців готові піти на компроміс з РФ заради миру на Донбасі — опитування"
70% громадян, які у грудні 2018 року готові були йти на компроміси з РФ та з "республіками", складаються з двох суттєво відмінних категорій: 16% громадян готові погодитися на будь-які компроміси (зокрема й вигідні Росії) та 51% готових йти на компроміси, але не на всі:
Об'єднувати ці категорії без спотворення сенсу можна лише з уточненням, що на будь-які компроміси погоджуються лише 16%.
- "Діяльність уряду і Гончарука підтримує лише 6% українців" – заголовок, що з'явився на Громадському, Еспресо TV, Прямому тощо після лютневого дослідження Центру Разумкова.
В реальності, крім 6% прихильників, ще 34% підтримували окремі заходи колишнього уряду:
Акцент у заголовку спотворює враження читача та наштовхує на думку, що решта 94% громадян не підтримували уряд.
Краще сформульовано заголовок на UNN, 24 каналі, Gordon.ua, які вказували, що мова йде про "повну підтримку".
Озвучення недостовірної інформації з посиланням на авторитетні соціологічні компанії
Якщо попередні приклади є прикладами умисної чи неумисної маніпуляції з реальними даними, то поширеними є й заяви, які абсолютно не відповідають дійсності, але з посиланням на дані опитувань авторитетних соціологічних компаній, аби зробити ці неправдиві заяви більш переконливими для читача.
Наприклад, у вересні 2018 року Фонд "Демократичні ініціативи" ім. Ілька Кучеріва виступив із заявою про маніпуляційне використання даних Фонду під час одного з ефірів телеканалу "112 Україна".
Зокрема, в ефірі йшлося про зростання підтримки партії "За життя" згідно з дослідженнями Фонду "Демократичні ініціативи", хоча насправді жодне опитування не показувало збільшення рейтингу партії.
Схожим прикладом маніпуляції у телеефірі є, наприклад, заява представника партії "Слуга народу" в ефірі 5-го каналу: "Людей, які виступають за мир проти війни, більше 70%, причому значна частина з них виступає за мир на будь-яких умовах".
Насправді мир на будь-яких умовах, як вже зазначалося, підтримують не більше 20% громадян України.
Телеефіри створюють ризики поширення таких неправдивих заяв, адже у учасників дискусії немає часу перевірити достовірність тверджень своїх опонентів, а далеко не всі глядачі критично сприймають подібні заяви та перевіряють інформацію.
Ще один приклад неправдивих повідомлень у ЗМІ з посиланням на соціологічні дані – новина одного з інформаційних порталів про "таємні дані соціологів".
Вочевидь, жодних таємних опитувань Фонд "Демократичні ініціативи" разом з КМІС та Центром Разумкова не проводили, а наведені в новині дані є недостовірними.
Особливості інтерпретації результатів опитувань через специфіку формулювання запитань
Сприйняття результатів опитувань може відрізнятися залежно від формулювання запитань.
Прикладом може слугувати опитування Фонду "Демократичні ініціативи" щодо ринку землі:
У 2019 році порівняно з 2011 істотно знизилася частка респондентів, які вважають, що земля в жодному разі не може бути предметом купівлі-продажу. Логічно припустити, що з часом люди стали більш готовими до відкриття ринку землі у тому чи іншому вигляді.
Насправді ж за однакового формулювання дещо відрізнялася почерговість запитань у анкетах 2011 та 2019 років.
У 2019 році цьому запитанню передувало інше, яке було відсутнім у анкеті 2011 року: "Як ви вважаєте, чи повинна людина, яка має у власності землю, мати право її продати?".
На нашу думку, саме це вплинуло на подальші відповіді респондентів, оскільки певною мірою змінило ціннісний підхід до проблеми ринку землі на підхід, що засновується на праві людини розпоряджатися своєю власністю.
Іншим прикладом є динаміка підтримки незалежності України (інфографіка видання "Слово і діло"):
Наприклад, 2011 року 51,5% громадян проголосували б за незалежність України (або ж 67,1% від тих, хто визначився).
Особливість інтерпретації в тому, що оптимістичні такі показники лише відносно. Ідея незалежності перемогла б на референдумі, але серйозною проблемою для держави лишилась би значна кількість громадян, які сумніваються у доцільності незалежності України.
Та варто уникати також і хибних порівнянь результатів референдуму 1991 року та результатів опитувань через:
- різницю у суспільно-політичних та історичних умовах;
- різницю між реальною поведінкою громадян та відповідями щодо гіпотетичної ситуації;
- результати 1991 року обраховані для тих, хто в ньому взяв участь, у той час наведені результати опитувань дають показники "від усіх".
Це питання також є яскравим прикладом того, що усереднені показники для всієї країни дають дуже приблизне уявлення про ситуацію.
Для адекватнішого розуміння варто дивитися на результати у регіональному розрізі, які показують істотні регіональні відмінності (дані від серпня 2019 року):
Великі регіональні відмінності мають і результати опитувань щодо вирішення конфлікту на Донбасі (зазвичай мешканці Півдня та Сходу більш готові йти на компроміси заради миру).
Критичне ставлення до результатів опитувань
- Результати опитувань не варто сприймати як незаперечну істину, адже громадська думка може бути не сформованою чи внутрішньо суперечливою.
Якщо проаналізувати згадане опитування "Демініціатив" про ринок землі, з'ясується, що майже кожен десятий противник будь-якого ринку землі говорить про право людини продавати свою землю:
Вочевидь, ці міркування суперечать одне одному, але через поєднання різних підходів до розуміння ринку землі у масовій свідомості можуть виникати такі оксюморони.
- Інший приклад – опитування про ставлення до судової реформи, яке показало, що близько половини критиків реформи зізнаються, що майже нічого про неї не знають:
Такі результати опитування дають уявлення про загальне емоційне сприйняття реформ, але при прийнятті політичних рішень необхідно розуміти, що негативне сприйняття часто є нераціональним.
- При інтерпретації результатів опитувань також варто враховувати рівень знань респондентів щодо змісту питань.
Наприклад, згідно з опитуванням Центру Разумкова, влітку 2018 року більшість українців не відносили себе ані до "правих", ані до "лівих":
Однак 58% українців не є переконаними центристами. Найімовірніше, для більшості з цих людей маловідомим є зміст поняття "лівих" та "правих" ідеологій.
Тобто по суті значну частину цих відповідей варто розуміти як "Важко відповісти".
Отже, при роботі з соціологічними даними важливо уникати маніпуляцій та розпізнавати неумисні помилки у презентації та інтерпретації даних, оскільки соціальні опитування, окрім інструменту вимірювання громадської думки, є й потужним інструментом впливу на громадську думку.
Надзвичайно важливо вміти коректно користуватися цим науковим методом вивчення суспільних настроїв, не допускаючи перетворення його на інструмент політичних маніпуляцій громадською свідомістю.
Сергій Шаповалов, фонд "Демократичні ініціативи"
