Konsultacje czy ściema?

Obserwatorium Wyborcze przyglądało się wyborom w Legionowie, a teraz pod lupę wzięło pisowskie „społeczne konsultacje” (cudzysłów jak najbardziej wskazany).
Do 14 kwietnia odbywają się społeczne konsultacje projektu ustawy o ustroju miasta stołecznego Warszawy, zakładającej utworzenie metropolii warszawskiej, na którą składałyby się oprócz dotychczasowej gminy Warszawa także 33 inne gminy. W tym celu uruchomiona została strona internetowa (http://www.konsultacjemetropolia.pl/), zawierająca informacje na temat przewidywanej zmiany oraz między innymi interaktywną ankietę, której wyniki mają dać odpowiedź na pytanie o poparcie dla reformy.
Czy na pewno ankieta spełni swe zadanie i pozwoli na uzyskanie miarodajnej informacji o stosunku mieszkańców wyżej wymienionych gmin do planowanej reformy? Postanowiliśmy to sprawdzić. Jako członkowie Obserwatorium Wyborczego wypełniliśmy i przeanalizowaliśmy ankietę.

Kto jest Twoim bohaterem i dlaczego to Lenin?

Wydaje się, że największym mankamentem ankiety, który powoduje jej tendencyjność, jest sama jej konstrukcja. Bardzo ważną kwestią jest kolejność pytań. Zazwyczaj najpierw zadaje się pytania ogólne, a potem coraz bardziej szczegółowe. Zadaje się także czasami tzw. pytania filtrujące, aby wyodrębnić grupę osób, których kolejne pytania dotyczą. Obie te zasady zostały złamane w ocenianej ankiecie. Nie pojawiło się w ogóle pytanie o to, czy zdaniem odpowiadającego potrzebne jest utworzenie metropolii warszawskiej. Mimo to zadano wiele szczegółowych: o sposób wybierania władz, podejmowania uchwał, transport itd. Jeśli jesteś osobą o negatywnym nastawieniu do reformy, to masz problem. Aby mieć możliwość wyrażenia negatywnego nastawienia, tj. odpowiedzieć na pytanie: „Czy chciałbyś, aby Twoja gmina znalazła się w obszarze Metropolii Warszawskiej?”, należy przejść cały kwestionariusz, udzielając obowiązkowo odpowiedzi na każde pytanie zamknięte, w tym na te, na które krytycy reformy nie powinni odpowiadać! A ich odpowiedzi będą zapewne analizowane i dowolnie wykorzystywane przez autorów badania.
We wstępie do ankiet zazwyczaj zachęca się odpowiadających do wyrażania różnych opinii, ale nie przedstawia się własnych! W tym wypadku treść preambuły sugeruje (a nawet mówi o tym wprost!), że zmiany, jakie wprowadzi reforma, będą pozytywne.

Dwa w jednym? Bez problemu!

Treść poszczególnych pytań także jest sugerująca. Pytania są nieprecyzyjnie. W jednym pytaniu poruszanych jest kilka kwestii (klasyczny szkolny błąd typu „dwa pytania w jednym”). Odpowiadający może mieć trudności ze zrozumieniem treści pytań ze względu na ich zawikłanie. Ponadto takie formułowanie pytań może w ogóle uniemożliwić odpowiadającemu odpowiedź zgodną z jego poglądami, na przykład gdy do jednej kwestii chciałby się ustosunkować negatywnie, a do drugiej pozytywnie.
Listy odpowiedzi na pytania zamknięte nie obejmują całego spektrum możliwości, a brakuje takich odpowiedzi jak na przykład „inne”, „trudno powiedzieć”, „nie mam zdania, gdyż nie jestem zwolennikiem metropolii”. W efekcie nie każdy zdoła odpowiedzieć zgodnie z własnymi przekonaniami na każde pytania. Przy tym, żeby przejść do następnej strony ankiety, trzeba koniecznie odpowiedzieć na każde pytanie zamknięte na stronie bieżącej. Czyli ominięcie kwestii, do których nie można się ustosunkować, nie jest możliwe. Dla odmiany, wypełnienie pól „Komentarz do pytania” służących do swobodnego wyrażania własnych opinii i komentarzy nie jest wymagane. Można swobodnie przejść do następnej strony, nawet jeśli się tam nic nie wpisze. Jest to istotne z punktu widzenia miarodajności uzyskanych wyników, gdyż w sytuacji niejasnych i sugerujących pytań zamkniętych może to być jedyna możliwość, aby wyrazić swoją autentyczną opinię na temat reformy (na przykład sprzeciw czy niezadowolenie). Jak wiadomo każdemu, kto zetknął się z badaniami społecznymi, ludzie bardzo niechętnie odpowiadają na pytania otwarte (czyli właśnie tego typu), gdyż wymaga to od nich wysiłku sformułowania i zapisania swoich myśli. W tym wypadku wygląda to tak, jakby autorzy ankiety z góry przewidzieli, że odpowiedzi na te pytania są mniej ważne. Jest prawdopodobne, że nie będą ich wcale analizowali lub bardzo pobieżnie.

Ślązak i Kaszub odpowie za warszawiaka

Mankamentem ankiety jest też fakt, że wypełnia ją kto chce. Nie tylko nie ma próby, którą można by uznać za reprezentatywną, ale także nie ma żadnej kontroli nad tym, kto wysyła kwestionariusz. Po pierwsze, brakuje w ogóle pytań o cechy społeczno-demograficzne (płeć, wiek, wykształcenie, zawód), co jest swoistym „must be” w badaniach tego rodzaju. Odpowiedzi na te pytania umożliwiłyby określenie, czy i na ile grupa odpowiadających jest podobna do populacji osób zainteresowanych, czyli mieszkańców Warszawy i pozostałych trzydziestu trzech gmin. Jedyne dwa pytania charakteryzujące osobę odpowiadającą to pytania o miejsce zamieszkania, czyli gminę lub w wypadku Warszawian dzielnicę zamieszkania. Przewidziana jest także opcja inne miejsce zamieszkania, czyli mogą się wypowiadać osoby spoza gmin potencjalnie objętych metropolią. Czy przy analizie wyników ten fakt będzie brany pod uwagę? Ponadto, jak się okazało, z jednego IP można wysłać kilka ankiet. Z jednej strony jest to uzasadnione, gdyż z jednego komputera może korzystać kilka osób, na przykład cała rodzina, z drugiej jednak daje to możliwość zwiększenia frekwencji. Powstaje pytanie, czy to nie „celowa dziura” w systemie, możliwe jest bowiem, że ktoś z innego regionu wypełni 100 ankiet, opowiadając się za metropolią i już jest 100 głosów „za”.
Po wypełnieniu ankiety, gdy ktoś nie podjął jeszcze decyzji o jej wysłaniu (bo na przykład zorientował się, że pytania są tendencyjne, i uznał, że zamysł pytającego jest niejasny), nie można przerwać i zacząć od nowa. Nie można też wcześniej przeczytać całej ankiety, by się spokojnie nad nią zastanowić. Nawet w przypadku pomyłki nie można wrócić do poprzedniej strony, aby zmienić odpowiedź. Metodologia badań społecznych co prawda nie zakłada, że respondent odpowiadający na pytania sondażu zapoznaje się na początku z całością kwestionariusza, czy że może zmieniać swoje wcześniejsze odpowiedzi, ale jednak daje pewność, że narzędzie badawcze będzie przygotowane z należytą starannością i nie będzie tendencyjne.
Podsumowując: ankieta nie daje w zasadzie możliwości wyrażenia negatywnego stosunku do utworzenia metropolii warszawskiej. Pytania zostały tak postawione i przewidziano takie zestawy odpowiedzi, że uzyskane wyniki będzie można dowolnie interpretować. Ponadto sformułowania pytań są na tyle nieprecyzyjne, że ankieta może być później „doklejona” do zupełnie nowych rozwiązań, nowego projektu ustawy.

Rekomendujemy: nie wypełniać!

Ankieta – pytanie po pytaniu

STRONA 1

Preambuła – Informuje odpowiadających, że wprowadzane zmiany będą tylko pozytywne! Zgodnie z metodologią badań społecznych we wstępie do ankiet zazwyczaj zachęca się badanych, aby wyrażali pozytywne i negatywne opinie na temat badanego problemu, a nie sugeruje im się co jest pozytywne!

STRONA 2

Pyt. 1 W pytaniu zawarta jest informacja, że gminy zachowają budżet, władze i kompetencje. Na czym więc ma polegać zmiana? Nie wiadomo dokładnie, jakie kompetencje zachowają gminy i co to znaczy niezależność. Czyli w moim przekonaniu nie wiadomo, czego dotyczy pytanie, jest zbyt ogólne sformułowane.
Pyt. 2 – Projekt zakłada zwiększenie kompetencji dzielnic, ale nie wiadomo, o jakich lokalnych sprawach (poza tym, że „o większości”) ma decydować dzielnica, a co pozostaje w gestii gminy – sformułowanie jest zbyt ogólne. Można uważać, że niektóre kompetencje powinny pozostać w gestii dzielnic, a niektóre w gestii gminy. Albo uważać, że zwiększenie kompetencji jest generalnie dobrym pomysłem, ale są sfery, które muszą pozostać w gestii gminy, i jeśli miałoby się to zmienić, to lepiej tych kompetencji dzielnic nie zwiększać w ogóle. W takim wypadku nie można odpowiedzieć na to pytanie.
Pyt. 3 – Czy lista dziedzin jest wyczerpująca? W jakim sensie mają one być najważniejsze? Co to znaczy „dostępność usług społecznych (edukacja, zdrowie)”? Rozumiemy, że istnieje problem dostępności do opieki zdrowotnej (czyli długi czas oczekiwania na niektóre wizyty, badania i zabiegi albo konieczność płacenia za nie), ale czy istnieje problem dostępności do edukacji? I co to znaczy? Dostęp do dobrych szkół czy dostęp do przedszkoli? I w jakim sensie dostęp – trudno tam umieścić dziecko czy dziecko ma daleko? A ponadto jest tu klasyczny błąd polegający na pytaniu jednocześnie o dwie rzeczy. Jak ma odpowiedzieć ktoś, kto za jedną z najważniejszych dziedzin uważa dostęp do służby zdrowia, a edukacja nie jest dla niego tak ważna (bo nie ma dzieci)? Albo odwrotnie; jest młody zdrowy i ma dzieci, dlatego dostęp do edukacji jest dla niego ważny, a do służby zdrowia – na razie nie tak bardzo? Czy te osoby powinny wybrać tę opcję czy nie? A jakie jeszcze „usługi społeczne” autor ankiety miał na myśli? Czy „transport i komunikacja” to jest to samo? Chyba nie, i też można mieć inną opinię na temat jednej i drugiej kwestii. W jakim sensie ma być ważna „ekologia”? Czy ważne jest, żeby żyć w miejscu, gdzie jest czyste powietrze, czy żeby było więcej parków i drzew i by chronić ptaki? To sformułowane jest zbyt ogólnie. Pewną odpowiedź na te niejasności daje strona internetowa, ale ankieta powinna być samodzielnym narzędziem, chyba że się prosi najpierw odpowiadających o zapoznanie się z jakimiś informacjami. „Inwestycje infrastrukturalne” podobne uwagi. „Obsługa administracyjna” – czy chodzi o to, aby była, czy żeby była lepsza, szybsza? Czy jeszcze o coś innego?
Pyt. 4 – To dopiero jest przekręt! Jest tu milczące założenie, że jeśli ktoś uznał, za jedne z najważniejszych dziedzin, na przykład „ekologię” czy też „dostęp do usług społecznych”, odpowiadając na poprzednie pytanie, to w zasadzie stwierdził, że w tych dziedzinach „potrzebne byłoby wprowadzenie spójnych rozwiązań dla całej Metropolii Warszawskiej”. Teraz jest tylko pytany, w jakich dziedzinach jeszcze takie spójne rozwiązania są potrzebne! No i milcząco zakłada się tu istnienie metropolii i jakiś jej obszar (a ten obszar jak wiadomo zmienia się w koncepcjach samych autorów pomysłu, tj. dodawane są nowe gminy). Nie mówiąc o tym, że zgodnie z metodologią badań społecznych takie pytanie o spójną politykę powinno być poprzedzone pytaniem, czy taka spójna polityka w ogóle zdaniem badanego jest potrzebna, na przykład „Czy Pana zdaniem są takie dziedziny, w których jest potrzebne wprowadzenie spójnych rozwiązań dla całej Metropolii… czy też nie”. Wydaje się, że część osób może nawet nie zwrócić uwagi na to, że chodzi o „spójne rozwiązania”, a nie tylko „inne dziedziny” nieujęte w poprzednim pytaniu. A ponadto można przecież uważać, że w jakiejś dziedzinie(nach) potrzebne są wspólne rozwiązania, ale wcale nie uznawać, że do tego trzeb metropolii!! Zresztą przecież tak jest w wielu sprawach!
Pyt. 5 Pytanie wydaje się zbyt ogólne; odpowiadający mogą być w różnej sytuacji i z odpowiedzią mogą mieć kłopot. Na przykład do pracy jeżdżą autobusem, ale na zakupy – samochodem. A jeśli ktoś na przykład mieszka pod Warszawą, dojeżdża na stację kolejową samochodem, korzysta z podmiejskiej kolejki, wraca w taki sam sposób, ale potem wozi samochodem dzieci na zajęcia, będzie miał ogromny problem z odpowiedzią oddającą rzeczywisty stan.
Pyt. 6 – Nie jest jasne, o co chodzi z systemem komunikacji. Czy on nie jest wspólny, skoro są SKM-ki (Szybka Kolej Miejska) na przykład do Legionowa czy Otwocka, autobusy podmiejskie? Czy chodzi w tym pytaniu o „jednolity bilet”? Czyli dwa pytania (znów) są zawarte w jednym. Rozważmy sytuację, gdy ktoś jest zwolennikiem wspólnego systemu komunikacji, ale nie uważa, że potrzebny jest jednolity bilet, bo ceny i rodzaje biletów powinny być uzależnione od odległości do przejechania, wieku (na przykład „bilet seniora”), sytuacji życiowej (na przykład bilety rodzinne), czasu, na jaki się bilet zakupuje (są przecież bilety okresowe najprzeróżniejszego rodzaju od jednodniowych do kwartalnych czy nawet rocznych!). Ale nawet gdy jesteśmy za „jednolitym biletem”, wypełnienie tej ankiety może się okazać trudne, bo co właściwie znaczy „jednolity bilet”? Czy na przykład tak jak jest teraz między ZTM (Zakład Transportu Miejskiego) a KM (Koleje Mazowieckie), że KM respektuje okresowe bilety ZTM? Czy na przykład każdy bilet miałby kosztować tyle samo, niezależnie od tego, czy chcę dojechać z Centrum na Pragę czy do Otwocka? I w dzień, i w nocy? I czy mam ulgę, czy nie? No i za ile?

STRONA 3

Pyt. 1, 2, 3, 4, 5 – Pytania te mają ukryte założenie o istnieniu jakiejś metropolii. Dotyczą one poszczególnych rozwiązań, a nie ma pytania o to, czy ktoś uważa za sensowne utworzenie takiej metropolii o wspólnych władzach.
Pyt. 1 – System wyboru władz metropolii opisany jest zbyt ogólnie, a ponadto wypełniający ankietę może uważać, że inaczej należy wybierać prezydenta, inaczej radnych (czyli znów – dwa pytania są zawarte w jednym). Nie ma opcji: „żaden z powyższych”, „nie mam zdania”, „nie jestem zwolennikiem metropolii warszawskiej, więc pytanie mnie nie dotyczy”. A nie można przejść dalej, jeśli się nie wybierze odpowiedzi!
Pyt. 2 – Pytania wydają się niezrozumiałe: czy „podwójna większość” oznacza, że jednocześnie ponad połowa radnych musi być za uchwałą, a ci radni, którzy są za uchwałą, mają być z gmin/dzielnic tak licznie zamieszkanych, że suma ich mieszkańców stanowić będzie większość mieszkańców metropolii? A co, jeśli na przykład będzie to większość radnych wynosząca 2/3, ale będą to radni z małych gmin/dzielnic i ich dzielnice/gminy nie będą miały większości mieszkańców?
Pyt. 3 –Niejasna treść pytania, a właściwie można uznać, że zawiera ono w sobie 3 pytania: „Czy prezydent metropolii ma być jednocześnie prezydentem Warszawy?”, „Czy jego kompetencje mają być ograniczone na rzecz dzielnic Warszawy?”, „Czy ma być wybierany bezpośrednio?”. I tu pytania można mnożyć, bo twórca ankiety nadal jest mało precyzyjny: Jakie kompetencje prezydenta miałyby być ograniczone?, Co z jego kompetencjami w stosunku do innych gmin? A ponadto, czy kompetencje te mają być ograniczone w porównaniu z obecnymi kompetencjami prezydenta Warszawy?

Pyt. 4 – Jak w wypadku pyt. 1, zbyt ogólnie opisany jest system wyboru władz metropolii. Pytanie też zawiera w sobie dwa pytania (można uważać, że inaczej należy wybierać prezydenta, inaczej radnych). Brakuje opcji: „żaden z powyższych”, „nie mam zdania”, „nie jestem zwolennikiem metropolii warszawskiej, więc pytanie mnie nie dotyczy”
Pyt. 5 – Jak wyżej.

STRONA 4

Pyt. 1 – Brakuje odpowiedzi „nie wiem”. Ponadto w pytaniu został użyty tryb oznajmujący, a nie przypuszczający, co sugeruje, że metropolia na pewno powstanie.
Pyt. 2 – Pytanie jak pytanie, gdyby się czepiać, to może należałoby dodać, „czy też nie chciałbyś” zgodnie z zasadą równoważenia przeciwnych opcji, aby pytanie nie było sugerujące. Tylko co ma na to odpowiedzieć warszawiak, to jest czy możliwe jest utworzenie metropolii bez Warszawy? A w całej ankiecie brak pytania o to, czy ktoś w ogóle uważa utworzenie metropolii za potrzebne.
Dodatkowe uwagi:
Wydaje się, że często stosowana w ankiecie skala odpowiedzi: tak, nie, trudno powiedzieć, zawiera zbyt mało opcji. Lepsza byłoby skala pięciostopniowa: zdecydowanie tak, raczej tak, raczej nie, zdecydowanie nie, trudno powiedzieć. Należy się uznanie twórcom ankiety za umieszczenie odpowiedzi „trudno powiedzieć” w niektórych pytaniach – mogli w ogóle jej nie dać. Ponadto niewłaściwa wydaje się kolejność pytań. Należałoby wyjść od pytania, czy utworzenie metropolii jest sensowne czy nie. Jeśli tak, dlaczego. Jeśli nie, dlaczego. Następnie, czy gmina respondenta powinna się, jego zdaniem, tam znaleźć. Jeśli tak, dlaczego. Jeśli nie, dlaczego. Potem należałoby pytać o różne dziedziny życia, zmiany i udoskonalenia, a następnie o konkretne rozwiązania dotyczące wyborów władz itd.
Testowali i komentowali: Agnieszka Borowiec, Stefan Filemon, Katarzyna Urogowska, Przemek Zalewski, Hanka Miąsek, Barbara Konecka Sielicka. Całość zebrała i opracowała Agnieszka Borowiec.