Рейтинги: реальные и иллюзорные различия

- А сегодня стал проверять кассу, глядь, а вместо денег- резаная бумага.
- Ай-яй-яй!- Воскликнул артист, - да неужели ж они думали, что это настоящие бумажки? Я не допускаю мысли, чтобы они это сделали сознательно.
Буфетчик как-то криво и тоскливо оглянулся, но ничего не сказал.
- Неужели мошенники?- тревожно спросил у гостя маг, - неужели среди москвичей есть мошенники?

Булгаков, Мастер и Маргарита

Чем ближе к выборам, тем больше разговоров о продажности социологов, иногда даже об их заговоре, о том, что их данные – это пиар, а не наука и т.п. Трудно найти политическую силу, представители которой не высказались бы о продажности социологов (по-видимому, в отличие от неподкупных политиков и честных журналистов). Типичное представление о социологах я нашёл на страницах газеты "Коммунист" (от 25 января 2006 года).

С чем связано такое отношение к социологам? Хочется спросить, как Воланд буфетчика – "Неужели среди социологов есть мошенники?". Когда я начал писать эти заметки, появилась статья Ирины Бекешкиной, в которой уже частично дан ответ на этот вопрос.

Мне хотелось бы более детально рассмотреть эти вопросы. Можно ли отличить реальные данные от их имитации? Каков реальный рейтинг политических партий сейчас, можно ли это определить?

Первый мой тезис – может быть, несколько неожиданный в контексте вышесказанного – и политики и журналисты и население в целом доверяют данным социологических исследований.

Иногда даже слишком доверяют.

В общем, никто не ставит под сомнение основные результаты социологических исследований последнего месяца: наибольшие шансы попасть в парламент имеют 6 партий: "Регионы", "Наша Украина", БЮТ, социалисты, коммунисты, блок Литвина. Лидируют Регионы, на втором месте "Наша Украина" и БЮТ, сохраняют шансы попасть в парламент ещё несколько блоков - в частности, блок Витренко, "Не так", Пора-ПРП, блок Костенко-Плюща и др.

Никто не утверждает, что лидером является, скажем, блок Марчука или коммунисты, или Пора-ПРП. А почему, собственно? Блок Марчука, скажем, возглавляет известный политический лидер, программа не хуже, чем программа других партий… Что мешает утверждать, что её рейтинг, допустим, 32%? Данные социологических исследований?

А если бы никаких исследований не было? Лидер партии зелёных, говоря о социологическом заговоре, не утверждает, что партия зелёных – лидер, но говорит о том, что она уверенно преодолевает проходной барьер. О чём, собственно, спорят политики и журналисты с социологами?

Фактически, социологи оценивают свою ошибку в 2-4%, а критики говорят, что на самом деле их партия "имеет не 0.5%, а 4%" или что БЮТ не отстаёт от Нашей Украины на 5%, а опережает на 2% и т.п. Т.е. политики или журналисты говорят о 6-7% отклонений от действительности (где под действительностью обычно понимают данные центра, который даёт выше рейтинг "моей" партии).

СОЦІОПОЛЕМИКА

Обережно, соціологи Мы выставляем социологические данные малознакомых структур - возможно, они не существует физически, но мы не можем устанавливать монополию на правду "избранных". Обережно, шахраї! Усього за 6 днів виникло 6 нових "соціологічних центрів", про які ніхто з соціологів нічого не знає...

Таким образом, речь идёт не столько о доверии или недоверии, сколько о величине ошибки не в 2-4%, а в 6-7%. Это уже чуть ли не методологические споры социологов с потребителями их информации.

При этом существует также некоторая амбивалентность в сознании, так как часто отличия между данными двух центров более, чем в 1%, трактуются как продажность социологов, намеренно занижающих или завышающих рейтинг партий. Кроме недоверия к социологическим данным одновременно существует и переоценка возможностей наших методов, непонимание их статистического характера, и того, что получить с высокой вероятностью ошибку меньше 3-4% в обычных опросах практически невозможно.

Итак, в целом социологии доверяют, но считают, что социологи намеренно добавляют или убавляют 3-4% в зависимости от того, кто им платит.

Возможно ли это? Вполне возможно, и даже достаточно распространено, если речь идёт о центрах, которые работают только во время выборов на какую-то одну политическую силу во время избирательных компаний.

"Наши социологи, - часто говорят представители тех или иных политических партий, - получили результаты, которые показывают тенденциозность рейтингов, публикуемых в печати, войну социологов против нашей партии".

Руководителям политической партии, которые связывают свои планы и надежды с выборами и вкладывают крупные деньги в избирательную компанию, очень трудно поверить в неэффективность этих усилий. Они очень легко верят мошенникам или (в лучшем случае) непрофессионалам, демонстрирующим высокий рейтинг этой партии - "ах обмануть меня несложно, я сам обманываться рад".

реклама

Більше про соціологію в розділі РЕЙТИНГИ Найсвіжіші новини про виборчі перегони читайте в розділі ВИБОРИ

Я уже не говорю о вымышленных центрах, публикующих вымышленные данные (об этом пишет Бекешкина).

Возможен ли подкуп профессиональных социологических центров, т.е. центров, которые постоянно (а не только во время выборов) проводят социологические исследования, работают по заказу самых разных компаний, организаций, политических сил и заинтересованы в укреплении своей репутации профессионалов?

До экзит-полов президентских выборов 2004 я бы убеждённо говорил о том, что подкуп профессиональных социологических центров невозможен.

В течение многих лет при больших расхождениях в рейтингах профессиональных центров, мы исследовали, с чем это связано, и обнаружили, что

- либо данные относятся к разным периодам времени;
- либо сравниваются разные показатели;
- либо вопросы существенно отличаются между собой.

Однако при проведении экзит-полов в президентских выборах-2004, впервые за полтора десятка лет существования социологических центров возникло обоснованное подозрение, что два профессиональных социологических центра сознательно обнародовали не те данные, которые получили.

Я думаю, что это экстраординарное событие, связанное с серьёзным давлением на эти центры, и что повторение таких событий маловероятно. Утрата репутации связана с риском лишиться множества заказов и поставить под удар само дальнейшее существование того или иного центра. Некоторые профессиональные центры во время выборов вообще не проводят политических исследований (или проводят их без дачи разрешения на публикацию результатов), чтобы не бросить тень на свою репутацию и не лишиться маркетинговых и социально-экономических заказов.

На графике приведены данные некоторых профессиональных социологических центров – Киевского международного института социологии (КМИС), Юкрейн социолоджи сервис совместно с Фондом "Демократические инициативы" (USS-DIF), Центра Разумкова (ЦР), и компании InMind. Эти данные получены во второй половине января и рассчитаны по отношению к тем, кто планирует участвовать в выборах.

Рейтинги профессиональных социологических центров, январь 2006. Проценты рассчитаны по отношению к тем, кто планирует прийти

Как видим, в целом различия данных невелики. Первое место – "Регионы", потом НУ, потом БЮТ, далее приблизительно одинаковый рейтинг у СПУ и КПУ и блока Литвина… Если мы найдём среднее для всех центров, то максимальное отличие от среднего (по "Партии регионов") составляет 3.5%, что лишь слегка превышает ошибку выборки с учётом дизайн-эффекта (3.3%). К этому различию мы вернёмся ниже.

Возьмём какой-нибудь из менее известных центров, например, Всеукраинскую социологическую службу, и сравним со средними профессиональных центров. (Исследование проведено с 10 по 20 января, опрошено 2 386 респондентов).

Сравнение данных опроса Всеукраинской социологической службы со средними рейтингами профессиональных социологических служб

Как видим, данные существенно отличаются. Рейтинг партии регионов отличается от средней не на 3.5%, а на 10%. Второе место не НУ, а БЮТ, все остальные партии имеют рейтинг выше, чем средний показатель, причём рейтинг СПУ и Блока Литвина – вдвое выше.

Если к Всеукраинской социологической службе добавить другие рейтинги, проведенные в январе (хотя, скорее всего Ирина Бекешкина права - многие из этих центров не существуют и не проводили исследований, а только писали о них), то картина становится ещё более пёстрой.

Мы добавили рейтинги таких центров: НІСД, Київська соціологічна Академія, Институт соц. и пол. психологии, Юкрейніан соціолоджі онлайн груп, Центр социологических исследований (по запросу ВОО "Демократический выбор"), Фонд Украина 2000, Всеукраинский Центр политических исследований, Центр політичного та економічного консалтингу.

Результаты ни одного из этих центров (см. график) не приближаются к результатам профессиональных социологических центров (на графике – более жирная чёрная линия).

Таким образом, главная причина расхождения данных социологических исследований состоит в наличии малопрофессиональных центров и в публикации данных несуществующих центров о якобы проведенных исследованиях.

Рейтинги других центров

Итак, как отличить профессиональные центры от непрофессиональных? Можно выделить несколько критериев:

1) сколько лет тот или иной центр работает на рынке;

2) проводит ли он только политические или же и социально-экономические и маркетинговые исследования (желательно было бы знать, какую долю в его доходах составляют электоральные исследования, но это практически невозможно);

3) является ли он членом международных профессиональных ассоциаций, прежде всего, ЕСОМАР (Европейское сообщество исследователей общественного мнения и маркетинга). Это сообщество имеет эффективный механизм для поддержки научных стандартов проведения исследований: нарушитель стандартов исключается из справочника членов ЕСОМАРа, по которому заказчики ищут исполнителей, и нарушитель теряет многих заказчиков и терпит большие убытки. Существует также два национальных сообщества – Украинская ассоциациия маркетинга, УАМ и Социологическая ассоциация Украины, САУ (к сожалению, последняя практически развалилась из-за скандала, связанного с подозрениями в фальсификациях результатов экзит-полов, и до сих пор не восстановила свою деятельность) ;

4) являются ли руководители центров профессиональными социологами, какие работы они опубликовали;

5) есть ли сайт у этого центра, есть ли на сайте информация о методологии проведения исследования этим центром;

6) что думают об этом центре руководители профессиональных ассоциаций и руководители других центров.

Журналисты или политики, интересующиеся надёжностью тех или иных результатов исследования, могут:

1) получить вышеприведенные сведения от самого центра;
2) поискать их в интернете;
3) обратиться к национальному представителю ЕСОМАР и в УАМ;
4) обратиться к руководителям других центров.

Но профессиональные, постоянно работающие центры тоже время от времени получают разные результаты. Возникает вопрос - с чем это связано?

Во-первых, данные опросов всегда могут различаться в пределах ошибки выборки, поскольку выборочные измерения в любой области – будь то технической, экономической, или социальной - всегда дают лишь приблизительный результат, со статистической погрешностью, которую при математически обоснованном построении выборки можно рассчитать с необходимой вероятностью.

При этом надо принять во внимание, что, как правило, социологические центры сообщают величину ошибки выборки без учета так называемого дизайн-эффекта, а именно - без учета особенностей конкретной выборки. То есть публикуют ту ошибку, которая была бы, если бы выборка была полностью равновероятно стохастической, т.е. если бы фамилии всех избирателей Украины положили бы в большую шапку, перемешали бы и вытаскивали в количестве, необходимом для опроса.

Реальные же выборки, которые применяются социологическими центрами, существенно отличаются от полностью стохастических. Поэтому даже для добротной случайной выборки реальная погрешность в лучшем случае в полтора раза больше, чем рассчитанная без учета дизайн-эффекта

Читатель может легко сам определить, приводят ли авторы реальные ошибки с учётом дизайн-эффекта или теоретические заниженные ошибки - даже если в статье, где приводятся данные исследований, ничего об этом не сказано.

Посмотрите сколько людей опрошено, извлеките корень из этого числа и поделите 100 на этот корень. Например, если опрошено 2000 респондентов, корень квадратный равен приблизительно 45, поделите 100 на 45, и вы получите 2.2%. Почти все центры и дают этот процент как ошибку выборки, так что если ваши расчёты совпали с приведенными в публикации, то, чтобы получить реальную ошибку, можете смело умножать приведенную ошибку на полтора.

Во-вторых, разность в рейтингах зависит от конструкции анкеты, в частности, от списка партий, который использовался в опросе. Только когда списки, по которым опрашиваемым предлагалось сделать выбор, были одинаковыми и по составу, и по порядку партий или кандидатов, сравнение полученных данных достаточно корректно. Сейчас, когда жеребьёвка уже прошла, списки будут полностью совпадать и различия данных станут меньше.

К сожалению, социологи не договорились о каких-либо стандартах вопроса в рейтингах. Одни центры задают сначала вопрос о том, будет ли респондент участвовать в выборах, и если да, то ему задаётся вопрос о рейтингах. Другие сначала задают вопрос о рейтинге всем опрашиваемым и только потом задают вопрос, будет ли респондент участвовать в выборах. Всё это вносит дополнительные различия в результаты опроса.

В-третьих, разница в рейтингах может зависеть от времени проведения опроса. В избирательной компании 2004 года, стразу после начала выплаты добавок к пенсиям стал расти рейтинг Януковича. Поэтому сравнение результатов исследований, проведенных со сдвигом в одну-две недели давали очень разные результаты.

В-четвёртых - и это одна из самых распространённых ошибок - сравниваются проценты, рассчитанные от неодинаковых базовых величин –

или по отношению ко всем, кто ответил на вопрос,
или ко всем, кто определился, за кого голосовать,
или ко всем тем, кто имеет намерение прийти на выборы.

Сравнение этих данных между собой может породить иллюзию различий там, где их совсем нет.

Насколько сильно могут отличаться разные показатели видно из данных нашего последнего опроса. (Опрошено 2014 респондентов во всех областях Украины, выборка случайная многоступенчатая).

В первой колонке проценты рассчитаны по отношению ко всем опрошенным, включая тех, кто не собирается участвовать в голосовании и тех, кто ещё не определился.

Во второй колонке - те же данные, но проценты рассчитаны по отношению к тем, кто скорее всего придёт голосовать и определился с выбором. Иерархия, разумеется, не изменилась, но рейтинг партии Регионов на 11% выше, НУ – на 6% и т.д. Вторая колонка показывает, каким был бы результат выборов, если бы они проходили в день опроса.

Таблица 1. Результаты опроса КМИСа (4-13 февраля 2006)

	Все опрошенные,%	Те, кто скорее всего придёт на выборы и определился,%
Партия регионов	26.0	37.0
Блок "Наша Украина"	14.4	20.4
Блок Юлии Тимошенко	11.7	16.6
Социалистическая партия Украины	4.5	6.3
Народный блок Литвина	3.2	4.5
Коммунистическая партия Украины	2.2	3.1
Блок Наталии Витренко "Народная оппозиция"	1.5	2.1
Гражданский блок ПОРА-ПРП	1.4	2.0
Оппозиционный блок "НЕ ТАК!"	0.5	0.6
Украинский Народный Блок Костенко и Плюща	0.4	0.5
Другие 35 партий и блоков вместе (каждый меньше 0,4%)	2.8	4.1
Не поддержали бы никакую партию	3.8	2.8
Не брали бы участия в голосовании	5.5	100.0
Еще не определились	22.1
Всего	100.0

В завершение следует сказать, что в большинстве исследований используется очень практичная и экономная квотная выборка, которая не является статистически обоснованной (в отличие от стохастической выборки) и нечуткая к некоторым характеристикам исследуемого населения.

Если теперь вернуться к первому графику, к рейтингам профессиональных центров, то видно, что значимые различия есть только по партии Регионов. Причём данные КМИСа практически полностью совпадают с данными ИнМайнда, а данные USS-DIF совпадают с данными Центра Разумкова.

С чем это может быть связано?

Во-первых, КМИС и Инмайнд используют стохастическую выборку, а USS-DIF и Центр Разумкова – квотную.

Во-вторых, несколько отличаются вопросы о рейтинге: КМИС ставит этот вопрос после вопроса о рейтинге, вопрос о рейтинге задаётся всем. А USS-DIF ставит сначала вопрос о явке, а затем задаёт вопрос о рейтинге только тем, кто планирует прийти на выборы.

Хотя исследования всех центров даны по отношению к тем, кто планирует участвовать в выборах, оценка того, сколько избирателей придёт, у разных центров отличается. Поэтому несколько отличаются и базы для расчёта процентов, т.е. рейтинги не полностью сопоставимы.

Подытоживая, можно сказать, что разница в рейтингах профессиональных социологических центров может быть связана с такими факторами:

1) ошибки выборок (плюс дизайн-эффект выборки);

2) отличия в инструменте исследования, прежде всего, в списке партий, который предъявляется респондентам, а также в формулировке вопроса о рейтинге;

3) разные периоды опросов;

4) показатели, которые сравниваются (процент ко всем, кто ответил, или ко всем, кто определился, или к тем, кто имеет намерение прийти на выборы). Возможны и другие варианты расчётов, которые связаны с более сложными моделями прогнозирования того, как будут вести себя неопределившиеся;

5) тип выборки (квотная или стохастическая).

И напоследок. Дорогие политики, журналисты и другие сограждане! Прежде, чем хватать социологов и кричать: "Держи вора!", убедитесь, хотя бы

(1) что это социолог, а не имитатор,
(2) правильно ли вы сравниваете имеющиеся данные.

Если всё нормально, то данные профессиональных центров отражают реальную ситуацию обычно с точностью до нескольких процентов.

Владимир Паниотто, профессор НаУКМА, генеральный директор КМИС, вице-президент Украинской ассоциации маркетинга