4. Wykorzystanie dowodów w podejmowaniu decyzji strategicznych przez samorząd lokalny

Europejskie wytyczne dotyczące monitorowania i ewaluacji funduszy spójności wymagają stworzenia systemów monitorowania, których głównym celem jest rozliczalność

W Polsce wymogi monitorowania nałożone na samorządy terytorialne w związku z wykorzystaniem funduszy strukturalnych UE w większości promują rozliczalność w wykorzystaniu funduszy strukturalnych (OECD, 2009[5]). Beneficjenci funduszy muszą przygotowywać coroczne sprawozdanie z wykorzystania funduszy i ich efektów (Rysunek 4.2 przedstawia przykład przygotowania takiego rocznego sprawozdania z wdrożenia dla RPO). Podkreślają to wytyczne na lata 2014-20 dotyczące monitorowania i ewaluacji funduszy strukturalnych (EC, 2015[7])w których stwierdza się, że sprawozdanie roczne jest "jednym z kluczowych elementów monitorowania programu operacyjnego". O ile format ten pomaga interesariuszom kontrolować i zatwierdzać realizację programów i strategii, to niekoniecznie jest on przydatny z punktu widzenia sprawnego i szybkiego podejmowania decyzji operacyjnych.

W rezultacie władze samorządowe, które składają sprawozdania z wykorzystania funduszy UE, mogą postrzegać monitoring jako narzędzie kontroli, a nie narzędzie, które jest rzeczywiście przydatne do poprawy wdrażania ich polityk i podejmowania decyzji. Istnieją także dowody (Meyer, Stockmann and Taube, 2020[8]), że percepcja ukierunkowana na kontrolę może występować również na szczeblu centralnym w odniesieniu do monitorowania priorytetów polityki krajowej.

Przedstawienie innych metodologii monitorowania może pozwolić na podejmowanie lepszych decyzji operacyjnych i usprawnienie komunikacji z obywatelami na szczeblu lokalnym.

Po pierwsze, aby monitorowanie efektywności stało się skutecznym narzędziem zarządzania i podejmowania decyzji operacyjnych, musi ono odbywać się w ramach dialogu na temat wyników działań prowadzonego regularnie i wystarczająco często, aby umożliwić decydentom i urzędnikom publicznym dostosowywanie swoich działań i/lub zasobów do potrzeb w obliczu trudności we wdrażaniu (Vági and Rimkute, 2018[9]). Aktualnie dane OECD wskazują, że tylko 17 z 36 badanych samorządów lokalnych (kwestionariusz OECD) sporządza regularne sprawozdania w celu monitorowania priorytetów swoich polityk. Spośród tych 17, tylko kilka robi to częściej niż raz w roku. Dlatego też mogą one rozważyć ustanowienie wewnętrznego dialogu na temat efektywności działań pomiędzy najwyższym szczeblem decyzyjnym (na przykład burmistrzem lub marszałkiem) a kierownikami wydziałów/dyrektorami departamentów w celu dokonania przeglądu kluczowych celów i wskaźników realizacji ich strategii rozwoju. Rozdział 7 zawiera szersze omówienie zagadnień związanych z zasobami ludzkimi w samorządach terytorialnych w Polsce.

Stworzenie ram dialogu dotyczącego efektywności działań stanowiłoby zachętę dla kadry kierowniczej urzędów do rozwiązywania problemów monitorowania wdrażania strategii o charakterze technicznym poprzez proces stopniowej eskalacji. Jeśli po dwóch kwartałach problem nadal pozostaje nierozwiązany, mógłby być dwa razy w roku kierowany do burmistrza/prezydenta lub marszałka w celu podjęcia decyzji. Rysunek 4.2 pokazuje, w jaki sposób dialog na temat rezultatów działań mógłby być prowadzony pomiędzy niższymi poziomami decyzyjnymi a centrum władzy na szczeblu samorządowym na przestrzeni jednego roku. Aby wprowadzić w życie dialog poświęcony skuteczności podejmowanych działań, władze lokalne i regionalne musiałyby zdefiniować zakres odpowiedzialności każdego uczestnika całego łańcucha wartości monitorowania, na który składa się koordynacja i promocja monitorowania, gromadzenie danych, analiza danych, sprawozdawczość i wykorzystanie danych. Nowelizacja Ustawy o zasadach prowadzenia polityki rozwoju z listopada 2020 r. (Polish Government, 2017[4]) przewiduje, że gminy powinny dążyć do stworzenia własnego systemu monitorowania, ale nie precyzuje, w jaki sposób to zrobić.

Rysunek 4.2. Proponowana konfiguracja dialogu na temat skuteczności działań

Samorządy lokalne mogą dodatkowo rozważyć dokonanie wyboru ograniczonej liczby priorytetowych celów i wskaźników ze swoich strategii rozwoju, aby skoncentrować posiadany potencjał na monitorowaniu polityk o dużej widoczności i wpływie na gospodarkę i społeczeństwo. Wybór mniejszej liczby wskaźników o dużej widoczności mógłby również służyć lepszemu komunikowaniu się z obywatelami, albo poprzez stronę internetową aktualizowaną informacjami pochodzącymi z monitoringu strategii rozwoju regionalnego lub lokalnego, albo poprzez opracowanie dokumentu komunikującego postępy w realizacji strategii.

Ogólnie rzecz biorąc, działania takie mogłyby być wspierane przez Ministerstwo Funduszy Rozwoju i Polityki Regionalnej, które mogłoby rozważyć opracowanie konkretnych wytycznych dotyczących monitorowania realizacji strategii lokalnych, w tym opracowania celów monitorowania i odpowiadających im metodologii. Tak dzieje się na przykład w Kolumbii, gdzie Krajowy Departament Planowania zapewnia wytyczne dla władz niższego szczebla (głównie departamentów) dotyczące monitorowania ich planów strategicznych (zob. Ramka 4.1).

Polskie samorządy lokalne muszą wzmocnić swoje możliwości dostępu do rzetelnych, aktualnych danych, aby zapewnić wysoką jakość swojego monitoringu.

Po pierwsze, opracowanie jasnych wskaźników efektywności, ich wartości bazowych i docelowych jest ważne dla monitorowania priorytetów polityk, takich jak te, które są zawarte w polskich strategiach rozwoju lokalnego na poziomie gmin (SRL) lub strategiach rozwoju województw (SRW). Badane trzydzieści cztery jednostki samorządu lokalnego szczebla gminnego deklarują, że definiują wskaźniki wyników dla swojej strategii rozwoju ex ante, co oznacza, że zdefiniowały te wskaźniki w powiązaniu ze swoimi strategiami rozwoju. Może to jednak także oznaczać, że zadeklarowały one nazwy wskaźników bez podania kwantyfikowalnej wartości docelowej.

Rysunek 4.3. Jednostki samorządu lokalnego definiujące wskaźniki ex ante

Uwaga: W oparciu o odpowiedzi 37 JST poziomu gminnego na pytanie zawarte w ankiecie OECD (n=37). Odpowiedzi dotyczą pytania wielokrotnego wyboru: "Czy cele w zakresie efektywności dla polityk i monitorowanych usług są definiowane ex ante? (proszę zaznaczyć wszystkie opcje, które mają zastosowanie)". Chociaż wielkość próby nie pozwala na wyciągnięcie istotnych statystycznie wniosków, to jednak dostarcza spostrzeżeń, które mogą być istotne dla większej grupy polskich jednostek samorządu terytorialnego.

Źródło: Opracowanie własne na podstawie odpowiedzi JST na pytania w ankiecie OECD (2020).

Niemniej jednak jedna trzecia (14) ankietowanych samorządów lokalnych podaje, że nie definiuje swoich wskaźników ex ante. Co jeszcze ważniejsze, jeśli wskaźniki takie nawet istnieją, brak jest systematycznego powiązania między każdym celem zawartym w strategiach a wskaźnikami wybranymi do ich monitorowania, co utrudnia interesariuszom ocenę postępów w realizacji celów. W rzeczywistości wskaźniki często nie są zawarte w samym dokumencie SRL. Samorządy mogłyby skorzystać z okazji, jaką stanowi kolejny cykl SRL, aby jasno określić wskaźniki, za pomocą których będą mierzyć realizację swoich strategii.

Mimo wszystko gminy, powiaty i regiony wykorzystują szeroką gamę wskaźników do obserwowania wyników osiągania celów swoich polityk. Samorządy terytorialne mają dostęp do wielu baz danych przydatnych do tworzenia i aktualizacji wskaźników. Na przykład regionalne obserwatoria terytorialne mają za zadanie gromadzenie, rozpowszechnianie i wymianę danych na temat rozwoju danego regionu oraz interwencji publicznych przeprowadzanych na poziomie regionalnym (więcej na temat obserwatoriów w Ramka 4.2).

Dodatkowo platforma internetowa STRATEG (https://strateg.stat.gov.pl/) jest cennym narzędziem monitorowania polityk rozwoju na poziomie krajowym i wojewódzkim. Jednym z głównych celów tej platformy jest gromadzenie danych na temat wskaźników statystycznych istotnych z punktu widzenia realizacji polityki spójności. Od połowy 2021 r. ma powstać kolejny portal internetowy Głównego Urzędu Statystycznego, służący monitorowaniu usług publicznych. Platforma ta (www.smup.gov.pl) powinna oferować interesujące dane na temat jakości, ilości, dostępności i efektywności kosztowej ponad 80 usług publicznych.

Obecnie 34 z 37 ankietowanych gmin i powiatów sygnalizuje, że dostępność danych stanowi wyzwanie w prowadzeniu i promowaniu M&E. Kilka gmin wskazuje, że statystyki regionalne i krajowe nie pomagają im monitorować ich strategii rozwoju. I rzeczywiście, ten rodzaj danych najlepiej nadaje się do wykorzystania w długoterminowych badaniach oddziaływania i wskaźnikach kontekstowych, w przypadku których zmiany leżące u podstaw są mniej pewne niż w przypadku wskaźników efektywności (DG NEAR, 2016[14]). Dane administracyjne i dane zebrane podczas wdrażania interwencji są zazwyczaj lepiej dostosowane do potrzeb związanych ze wskaźnikami procesów, produktów i efektów pośrednich, takich jak zawarte w SRL. Wszystkie szczeble samorządu mogą rozważyć wykorzystywanie własnych danych administracyjnych do monitorowania strategii rozwoju. Może to być szczególnie przydatne w kontekście dialogu na temat wyników, dla którego dane muszą być bardzo responsywne. Takie dane można czasem znaleźć na portalu internetowym bdl.stat.gov.pl/BDL/start.

Prowadzenie wysokiej jakości monitorowania będzie wymagało od samorządu lokalnego posiadania odpowiedniego potencjału

Aby stworzyć system monitorowania dostarczający wiarygodnych i istotnych danych, a także umożliwiający ich analizę, władze muszą posiadać odpowiedni potencjał. Pojęcie potencjału można zdefiniować jako "ogół zdolności i zasobów dostępnych w ramach mechanizmu rządzenia. Odnosi się ono do systemów organizacyjnych, strukturalnych i technicznych, jak również do indywidualnych umiejętności, które tworzą i wdrażają politykę odpowiadającą potrzebom społeczeństwa, zgodnie z orientacją polityczną". (OECD, 2008[15]).

Kluczowe są dwa rodzaje umiejętności:

• umiejętności analityczne, pozwalające na przeglądanie i analizowanie danych oraz wyciąganie wniosków,

• umiejętności komunikacyjne, umożliwiające skonstruowanie zestawu wskaźników monitorowania i raportowania postępów w sposób mający wpływ na czytelność komunikatu kierowanego do odbiorców docelowych.

Przede wszystkim monitorowanie wyników wymaga posiadania wystarczających zasobów do regularnego zbierania i analizowania danych, obliczania wskaźników, wnioskowania na ich podstawie itp., co wymaga odpowiedniej liczby przeszkolonych pracowników i menadżerów. W polskich samorzadach zasoby te wydają się być ograniczone. Podczas gdy większe lokalne samorządy posiadają jednostki audytu lub monitorowania odpowiedzialne za tego rodzaju zadania (27, z czego 15 położonych w miejskich obszarach funkcjonalnych), w małych samorządach działania monitorujące są w większości wykonywane przez biuro burmistrza/wójta (patrz Rysunek 4.4).

Rysunek 4.4. Podmioty zaangażowane w proces monitorowania na poziomie samorządu lokalnego

Uwaga: W oparciu o odpowiedzi 37 JST poziomu gminnego na pytanie zawarte w ankiecie OECD (n=37). Odpowiedzi dotyczą pytania wielokrotnego wyboru: "Jakie podmioty są zaangażowane w proces monitorowania? (proszę zaznaczyć wszystkie opcje, które mają zastosowanie)". Chociaż wielkość próby nie pozwala na wyciągnięcie istotnych statystycznie wniosków, to jednak dostarcza spostrzeżeń, które mogą być istotne dla większej grupy polskich jednostek samorządu terytorialnego.

Źródło: Opracowanie własne na podstawie odpowiedzi JST na pytania w ankiecie OECD (2020).

Ponadto istnieje wyraźna różnica między zasobami dostępnymi na poziomie regionalnym a zasobami do dyspozycji gmin czy powiatów, ponieważ regiony są instytucjami zarządzającymi funduszami strukturalnymi i w związku z tym mają wyraźnie przydzielone środki na raportowanie wykorzystania tych funduszy. Inicjatywy takie jak ROT czy nawet warsztaty i seminaria prowadzone przez Ministerstwo Funduszy Rozwoju i Polityki Regionalnej również przynoszą zwykle większe korzyści na poziomie regionalnym niż na poziomie lokalnym. Niniejszy raport rekomenduje przekazywanie większej części środków na potrzeby monitorowania z poziomu krajowego/regionalnego do samorządów lokalnych.

Niezależnie od wysiłków Polski na rzecz wspierania rozwoju ewaluacji wśród władz publicznych, istnieje możliwość zapewnienia bardziej systematycznego zaangażowania i większej akceptacji dla procesu ewaluacji wśród lokalnych samorządów

Pomimo postępów, jakie Polska poczyniła w zakresie ewaluacji w ciągu ostatnich 15-20 lat, nadal istnieje szereg wyzwań związanych z promowaniem polityki M&E na poziomie niższym niż krajowy. Są to przede wszystkim: ograniczona świadomość i zrozumienie korzyści płynących z ewaluacji (co z kolei osłabia poczucie akceptacji procesu ewaluacji i aktywnego w nią zaangażowania), ograniczone zasoby i możliwości, niewystarczające wykorzystanie wyników ewaluacji w kształtowaniu polityk, a także jakość dokonywanych ocen. Są jednak obiecujące przykłady w tym zakresie pochodzące z kilku dużych samorządów lokalnych.

Zgodnie z wynikami ankiety OECD JST wykorzystują ewaluację polityk do oceny szeregu aspektów związanych z ich funkcjonowaniem i efektywnością. Jak pokazano na Rysunek 4.7 29 samorządów lokalnych spośród 39 ankietowanych, zadeklarowało, że wykorzystuje ewaluację do oceny świadczenia usług publicznych. Jedenaście spośród 16 deklarujących wykorzystywanie ewaluacji do oceny postępów w realizacji celów sektorowych (ochrona środowiska, bezpieczeństwo, dobrostan) było położonych na terenie MOF. Podobnie wykorzystanie ewaluacji do przydzielania i obliczania dotacji krajowych jest stosowane przede wszystkim przez większe samorządy lokalne w obrębie MOF, a prawie nigdy przez samorządy lokalne spoza MOF o niskiej dostępności. Ponadto przedstawiciele relatywnie większych, miejskich samorządów wskazali, że ewaluacja służy im do oceny postępów w realizacji celów określonych w ich strategiach rozwoju. Dwadzieścia sześć z nich stwierdziło, że ewaluacja jest powiązana z interwencjami finansowanymi przez UE, co po raz kolejny ilustruje rolę wymogów w zakresie monitorowania, sprawozdawczości i oceny związanych z finansowaniem unijnym jako czynników stymulujących działania ewaluacyjne. Zadowolenie obywateli z działań lokalnych władz jest kolejnym obszarem, na którym skupia się ewaluacja.

Rysunek 4.7. Wykorzystanie ewaluacji przez samorząd lokalny – wybrane obszary

Uwaga: W oparciu o odpowiedzi 39 JST poziomu gminnego na pytanie zawarte w ankiecie OECD (n=39). Dopuszczalne były odpowiedzi wielokrotnego wyboru: Chociaż wielkość próby nie pozwala na wyciągnięcie istotnych statystycznie wniosków, to jednak dostarcza spostrzeżeń, które mogą być istotne dla większej grupy polskich jednostek samorządu terytorialnego.

Źródło: Opracowanie własne na podstawie odpowiedzi JST na pytania w ankiecie OECD (2020).

Wielkość i zasoby samorządów lokalnych wydają się odgrywać ważną rolę w ich praktykach związanych z ewaluacją. Duże miasta przeznaczają na ten cel więcej czasu i zasobów, a niektóre z nich posiadają jednostki specjalizujące się w ocenie jakości polityk (np. Płock). Z drugiej strony, jeden z respondentów stwierdził, że ewaluacja polityk i programów nie ma całościowego zakresu i często nie jest przeprowadzana.

Wpływ na budżet oraz możliwość realizacji to kluczowe obszary, na których koncentrują się samorządy lokalne badając prawdopodobne oddziaływania swoich decyzji regulacyjnych i programowych

Dwadzieścia siedem z 36 jednostek, które udzieliły odpowiedzi, wskazało, że podejmowane przez nie decyzje regulacyjne opierają się głównie na dowodach i analizie potencjalnych skutków, w tym trendów i szacunków społecznych i gospodarczych. Odpowiedzi udzielone w ankiecie OECD sugerują, że wiele samorządów lokalnych poświęca znaczną uwagę wykonalności wdrożenia oraz, w stosownych przypadkach, wykonalności decyzji politycznych i regulacyjnych - w tym tych, które wynikają z ustawodawstwa krajowego lub są podejmowane na jego podstawie. Zdecydowana większość jednostek zadeklarowała, że przy opracowywaniu przepisów na szczeblu lokalnym bierze pod uwagę ich potencjalny wpływ na środowisko lokalne, np. zasoby naturalne potrzebne do wdrożenia oraz istniejące możliwości administracyjne lub realizacyjne. Przedmiot i zakres tych analiz mogą różnić się znacząco w przypadku poszczególnych samorządów oraz w zależności od obszarów polityki. Jak wynika z odpowiedzi, na pytania zawarte w ankiecie OECD, obejmują one wpływ na stosunki z sąsiednimi gminami (np. w kontekście mobilności mieszkańców lub przeciwdziałania wykluczeniu społecznemu), zatrudnienia, środowiska i jakości życia oraz finansów gmin. Ponadto niektóre z przykładów podanych przez respondentów odnoszą się również do wydatków publicznych w uzupełnieniu do interwencji regulacyjnych. W wielu odpowiedziach podkreślano potrzebę starannego rozważenia możliwości wdrożenia procesu ewaluacji, w szczególności w odniesieniu do gminnych planów zagospodarowania przestrzennego (ponieważ decyzje podejmowane na tym etapie będą miały wpływ na alokację zasobów i podział obowiązków).

Większość samorządów lokalnych przeprowadza w jakiejś formie ewaluację ex ante i/lub ex post skutków swoich decyzji politycznych i regulacyjnych, ale oceny te są ograniczone do określonych obszarów polityki lub rodzajów interwencji

Czynności ewaluacyjne prowadzone na szczeblu lokalnym w Polsce są bardzo zróżnicowane zarówno pod względem stopnia szczegółowości, jak i zakresu (bardzo niewiele gmin wykonuje je systematycznie) i rzadko są one kompleksowe. Oceny ex post często koncentrują się na postępach we wdrażaniu, a nie na efektach lub długoterminowym oddziaływaniu, co ogranicza wykorzystanie rezultatów ewaluacji w perspektywie długoterminowej.

Zdecydowana większość samorządów lokalnych, które udzieliły odpowiedzi (29 z 36), zadeklarowała przeprowadzanie jakiejś formy oceny ex ante potencjalnych skutków (w tym kosztów i korzyści) swoich decyzji regulacyjnych i programowych. Spośród nich 19 robiło to tylko dla niektórych regulacji (a 3 dla wszystkich regulacji). Miejscowe plany zagospodarowania przestrzennego były wielokrotnie wskazywane jako poddawane ocenie ex ante. Inne przykłady obejmują analizy finansowe (w tym symulacje i prognozy) dotyczące opłat za wywóz śmieci i gospodarowanie odpadami, zmian w podatkach od nieruchomości, planów gospodarki niskoemisyjnej oraz proponowanych zmian regulacyjnych w takich obszarach jak edukacja. Niektóre gminy wskazały, że wykraczają poza analizę finansową i dodatkowo wykonują analizy ryzyka, analizy ekonomiczne, oceny skutków społecznych i oceny oddziaływania na środowisko (nie podano bliższych szczegółów).

Rysunek 4.8. Ocena ex ante przeprowadzana przez samorząd lokalny w odniesieniu do potencjalnych skutków ich decyzji regulacyjnych i programowych, według kategorii

Uwaga: W oparciu o odpowiedzi 36 JST poziomu gminnego na pytanie zawarte w ankiecie OECD (n=36). Chociaż wielkość próby nie pozwala na wyciągnięcie istotnych statystycznie wniosków, to jednak dostarcza spostrzeżeń, które mogą być istotne dla większej grupy polskich jednostek samorządu terytorialnego.

Źródło: Opracowanie własne na podstawie odpowiedzi JST na pytania w ankiecie OECD (2020).

Powyższe odpowiedzi należy interpretować z ostrożnością, ponieważ wywiady pogłębione przeprowadzone z przedstawicielami władz lokalnych pokazały, że rzeczywisty zakres i poziom ambicji związany z ewaluacją ex ante przeprowadzaną na szczeblu lokalnym jest bardzo zróżnicowany. Na przykład, jedno z najbardziej kompleksowych podejść (w kontekście planowaniu strategicznego) zakłada wykorzystanie metodologię foresight z , jak również szeroko zakrojone konsultacje z mieszkańcami, w tym publikację ich wyników oraz odwołanie się do paneli ekspertów. Z drugiej strony niektóre sam lok stwierdziły, że oddziaływanie rzadko poddawane jest systematycznej ocenie.

Podobnie jak w przypadku ocen ex ante, 24 z 33 badanych gmin, które udzieliły odpowiedzi, stwierdziły, że przeprowadzają oceny ex post skutków swoich polityk i regulacji, choć zdecydowana większość z nich (18) robi to tylko w przypadku niektórych regulacji, a żadna nie przeprowadza oceny ex post wszystkich regulacji.3 Podobnie jak w przypadku ocen ex ante, wydaje się, że istnieje duża różnorodność, jeśli chodzi o szczegółowość i zakres tych ocen. W niektórych samorządach lokalnych ocena ex post strategii rozwoju jest systematyczna (czasami obowiązkowa) i obejmuje ocenę ich skuteczności i adekwatności (w świetle zmian, które zaszły od momentu ich przyjęcia). W innych przypadkach jednak analiza ex post ma węższy zakres i dotyczy tylko wykonania budżetu lub postępów w realizacji inwestycji, a nie efektów lub długoterminowego oddziaływania (pomijając w ten sposób zasadniczy wymiar). Odpowiedzi udzielone przez samorządy gminne kontrastują z odpowiedziami powiatów, z których większość stwierdziła, że nie przeprowadza ocen ex post.

Działania promujące zaangażowanie interesariuszy w ocenę i tworzenie regulacji mają ograniczony zakres i są prowadzone w sposób nieformalny, szczególnie w mniejszych samorządach

Działania na poziomie lokalnym związane z zaangażowaniem interesariuszy4 w ewaluację i tworzeniem regulacji wydają się być stosunkowo szeroko rozpowszechnione. Często są one jednak prowadzone w sposób nieformalny i nie do końca przejrzysty (szczególnie w mniejszych samorządach). Ponadto brakuje systematycznego wykorzystywania opinii interesariuszy do celów decyzyjnych, co zostało również opisane w Rozdziale 8.

Brak formalnych procedur angażowania interesariuszy może nie dawać wszystkim zainteresowanym stronom równych szans na wyrażenie swoich potrzeb i obaw. Zasoby i możliwości mają kluczowe znaczenie dla konstruktywnego angażowania interesariuszy, zwłaszcza w sytuacjach, w których wymagana jest wiedza techniczna. Znaczna większość samorządów, które udzieliły odpowiedzi (28 na 31), zadeklarowała, że angażuje interesariuszy w ocenę ex ante lub ex post swoich decyzji regulacyjnych i programowych.5 Spośród nich 22 zadeklarowały, że robią to tylko w przypadku niektórych regulacji, co jest mniej więcej zgodne z odpowiedziami na temat wykorzystywania oceny ex ante i ex post. Spotkania i konferencje lub dyskusje osobiste są zdecydowanie najczęściej stosowanymi metodami konsultacji w połączeniu z miejskimi platformami konsultacyjnymi i spotkaniami on-line. Wywiady pogłębione prowadzone z JST sugerują, że interakcje z interesariuszami często odbywają się w sposób nieformalny, bez systematycznej dokumentacji, szczególnie w mniejszych samorządach. Niektóre z nich poinformowały o przekazywaniu komunikatów związanych z konsultacjami za pośrednictwem prominentnych postaci lokalnych, takich jak księża i inne znane osobistości, w celu dotarcia do określonych grup społecznych, w tym osób starszych.

Wydaje się, że możliwe jest bardziej systematyczne i szerzej zakrojone monitorowanie informacji zwrotnych przekazywanych przez interesariuszy. Zostało to szerzej omówione w Rozdziale 8. Większość lokalnych samorządów prowadzących działania związane z angażowaniem interesariuszy stwierdziła, że przekazuje podmiotom i osobom uczestniczącym w konsultacjach pewne informacje zwrotne na temat ich wkładu w dyskusję. Podczas wywiadów niektórzy respondenci twierdzili jednocześnie, że takie informacje zwrotne, jeśli w ogóle istnieją, są często ograniczone. Czy i w jakim stopniu wkład wniesiony przez interesariuszy biorących udział w konsultacjach jest docelowo wykorzystywany w procesie podejmowania decyzji, zależy w szczególności od charakteru danej regulacji. Zdaniem 17 z nich ma to miejsce w przypadku niektórych regulacji, a zdaniem 8 w przypadku najważniejszych regulacji. Podobny rozkład odpowiedzi dotyczy publikowania informacji otrzymanych od interesariuszy.

Niedostateczna dostępność danych w odpowiednim czasie i na czytelnej platformie, ograniczone zasoby i niedoskonałe kwalifikacje analityczne stanowią główne przeszkody w rozwoju praktyk ewaluacyjnych na poziomie samorządu lokalnego. Są one krytycznymi czynnikami hamującymi wprowadzanie praktyk ewaluacyjnych. Wpływa to na niesystematyczne wykorzystywanie wyników ewaluacji do celów decyzyjnych. Chociaż rząd krajowy podjął wysiłki w celu sprostania tym wyzwaniom (np. opracowanie ramowych modeli wskaźników dla interwencji publicznych, działania szkoleniowe, wytyczne itp.), konieczne są dalsze działania, zwłaszcza w świetle dużego zróżnicowania wśród samorządów pod względem zainteresowania i zrozumienia potencjalnych korzyści płynących z ewaluacji.

Zgodnie z wynikami ankiety OECD kluczowe wyzwania dla samorządów lokalnych w zakresie promowania i prowadzenia ewaluacji polityk6 obejmują: środki finansowe na prowadzenie ewaluacji; dostępność danych; opóźnienia czasowe w uzyskiwaniu i mierzeniu rezultatów długoterminowych polityk; ograniczenia kapitału ludzkiego (umiejętności i kwalifikacje) w zakresie zarządzania i prowadzenia ewaluacji przez pracowników samorządowych. Oprócz tego często wymieniane są ograniczenia finansowe i niesatysfakcjonujące wykorzystanie wyników ewaluacji polityk w procesie ich kształtowania oraz jakość wyników oceny (zob. Rysunek 4.9). Wyposażenie w zasoby jest kluczowym czynnikiem determinującym zakres i zasięg działań ewaluacyjnych na poziomie lokalnym, ponieważ ewaluacja jest finansowana przede wszystkim ze środków gminnych. Wszystkie 33 samorządy, które odpowiedziały na tę część ankiety OECD, zadeklarowały, że działania w zakresie ewaluacji są finansowane ze środków własnych, podczas gdy zaledwie 7 wskazało fundusze UE, 5 fundusze samorządu regionalnego, a 3 fundusze rządowe (dopuszczono kilka opcji odpowiedzi).

Rysunek 4.9. Dostrzegane wyzwania związane z promowaniem polityki M&E na poziomie lokalnym

Uwaga: W oparciu o odpowiedzi 33 JST poziomu gminnego na pytanie zawarte w ankiecie OECD (n=33). Chociaż wielkość próby nie pozwala na wyciągnięcie istotnych statystycznie wniosków, to jednak dostarcza spostrzeżeń, które mogą być istotne dla większej grupy polskich jednostek samorządu terytorialnego.

Źródło: Opracowanie własne na podstawie odpowiedzi JST na pytania w ankiecie OECD (2020).

Odpowiedzi samorządów lokalnych dotyczące ograniczeń w rozwoju praktyk ewaluacyjnych są zbieżne z odpowiedziami udzielonymi przez regionalne władze samorządowe. Trzy czwarte urzędów marszałkowskich uznało ograniczenia finansowe samorządów poziomu lokalnego za główne wyzwanie w promowaniu działań związanych z ewaluacją swoich polityk.. Niewystarczająca jakość wyników ewaluacji polityk była z kolei głównym wyzwaniem w tym zakresie według dwóch trzecich ankietowanych urzędów marszałkowskich. Inne wyzwania obejmują zainteresowanie i zapotrzebowanie, jak również braki w ewaluacji polityk na poziomie niższym niż krajowy. Ponadto, niektórzy respondenci wskazywali na ograniczone kompetencje analityczne, w tym zdolność do wyciągania wniosków na podstawie danych i wskaźników, jak również na potrzebę wyższej jakości i regularnego dostępu do danych na mniej zagregowanym poziomie.

Dostęp do danych i informacji wydaje się obecnie ograniczony. Zwłaszcza do danych gromadzonych przez rząd w ramach jego działalności ustawowej. Oczekuje się, że realizowany aktualnie projekt mający na celu poprawę monitorowania usług publicznych (System Monitorowania Usług Publicznych, SMUP) przyczyni się do rozwoju ewaluacji (zarówno ex ante, jak i ex post) poprzez udostępnienie niektórych istotnych danych, jako że bardzo duża część działań samorządu lokalnego związana jest ze świadczeniem usług publicznych.

Należałoby rozważyć, czy możliwe jest przekazanie władzom lokalnym dodatkowych środków w celu wsparcia rozwoju praktyk ewaluacyjnych. Dla przykładu, w ramach Programu Operacyjnego Kapitał Ludzki 2007-13 finansowano projekty, w których pracownicy gmin przechodzili szkolenia z zakresu M&E. Mając to na uwadze, warto zbadać możliwości poprawy komunikacji i współpracy instytucjonalnej na różnych szczeblach administracji, aby zapewnić odpowiednią wiedzę i zrozumienie przez samorządy lokalne (zwłaszcza mniejsze i o ograniczonych możliwościach) już dostępnych zasobów, np. wytycznych, źródeł danych, oferty szkoleniowej, wiedzy specjalistycznej itp. W celu optymalnego wykorzystania dostępnych zasobów można również dążyć do współpracy instytucjonalnej między samorządami lokalnymi, ewentualnie z udziałem władz szczebla regionalnego, które pełnić mogą rolę koordynatora lub organizatora. Niektóre mniejsze samorządy lokalne nie muszą lub nie mogą sobie pozwolić na posiadanie na stałe wszelkich niezbędnych zasobów wiedzy i potencjału, ale mogą skorzystać z dostępu do sieci ekspertów w dziedzinie ewaluacji. Szczególną uwagę należy zwrócić na samorządy o niskiej dostępności położone poza MOF, ponieważ mogą one napotkać przeszkody w korzystaniu z takich sieci i zasobów.

Promowanie systematycznego monitorowania na szczeblu lokalnym poprzez zapewnianie odpowiednio dostosowanych wytycznych.

Nowelizacja Ustawy o zasadach prowadzenia polityki rozwoju z listopada 2020 r. stanowi, że gminy powinny tworzyć własne systemy monitorowania, ale nie precyzuje jak należy to zrobić. Z danych OECD wynika, że tylko 17 z 36 badanych gmin sporządza regularne raporty w celu monitorowania swoich priorytetów programowych. Spośród tych 17 tylko kilka opracowuje je częściej niż raz w roku.

• Ministerstwo Funduszy i Polityki Regionalnej mogłoby zatem zachęcać gminy do prowadzenia monitoringu jako skutecznego narzędzia zarządzania, dostarczając im dostosowanych do ich potrzeb wytycznych i metodologii monitorowania lokalnych strategii rozwoju.

Zwiększenie świadomości władz lokalnych odnośnie korzyści, jakie można osiągnąć dzięki pomiarom efektywności i ogólnej ewaluacji

Niezależnie od działań podejmowanych w Polsce na rzecz wspierania rozwoju ewaluacji wśród władz publicznych, istnieje możliwość zapewnienia bardziej systematycznego zaangażowania i wzmocnienia poczucia odpowiedzialności w tym zakresie na szczeblu samorządu lokalnego.

• Władze krajowe i regionalne powinny zatem skorzystać z ekosystemu ewaluacji jaki rozwinął się wokół interwencji w ramach Polityki Spójności UE, aby przekonać samorządy lokalne, że pomiar i ocena efektywności może pomóc im lepiej służyć obywatelom.

Przezwyciężanie ograniczeń potencjału i zasobów w odniesieniu do rozwoju praktyk monitorowania i ewaluacji przez miasta i gminy.

Pomimo postępów poczynionych przez Polskę w zakresie ewaluacji w ciągu ostatnich 15-20 lat, nadal istnieje szereg wyzwań związanych z promowaniem polityki monitorowania i oceny na szczeblu niższym niż krajowy, zwłaszcza ze względu na ograniczone zasoby i zdolności.

• Aby rozwiązać te problemy, warto aby jednostki administracji krajowej i regionalnej rozważyły, czy mogą udostępnić lokalnym samorządom dodatkowe zasoby w celu ułatwienia rozwoju praktyk monitorowania i ewaluacji, między innymi poprzez zwiększenie zdolności analitycznych.

Promowanie wymiany dobrych praktyk i lepszego zarządzania wiedzą w celu podejmowania decyzji w oparciu o dostępne dane

Decydenci polityczni i interesariusze nie mogą wykorzystywać konkretnych danych lub wyników monitorowania i oceny, jeżeli o nich nie wiedzą. Pierwszym krokiem w promowaniu korzystania z danych jest zatem ich upublicznienie i zakomunikowanie docelowym użytkownikom. Władze krajowe i regionalne mają do odegrania kluczową rolę w propagowaniu wykorzystywania danych, w tym wyników ewaluacji, poprzez poprawę zarządzania wiedzą i zadbanie, aby istotne informacje były łatwo dostępne.

• W tym celu należy wykorzystać istniejące platformy i instytucje. Na przykład, Ministerstwo Funduszy i Polityki Regionalnej może rozważyć utworzenie specjalnej strony internetowej www.ewaluacja.gov.pldla lokalnych samorządów, na której można by udostępniać wyniki prowadzonej ewaluacji. Ponadto, wiedza i zasoby zarówno ROT, jak i Wojewódzkich Ośrodków Badań Regionalnych (WOBR) mogą być wykorzystane do poprawy zarządzania wiedzą i dostępności odpowiednich informacji i analiz.

Analogicznie, dostosowane do potrzeb strategie komunikacji i rozpowszechniania informacji zwiększające dostęp do przejrzyście przedstawionych wyników badań, są bardzo ważne dla korzystania z danych.

• Nowa platforma Monitorowania Rozwoju Lokalnego mogłaby zostać wykorzystywana jako centrum kompleksowej informacji i oceny dotyczących strategii rozwoju lokalnego wraz z praktykami udoskonalonej komunikacji i upowszechniania informacji.

Syntezy danych stanowią przydatne narzędzie rozpowszechniania informacji, ponieważ umożliwiają decydentom dostęp do dużych zbiorów danych i pozwalają na ocenę stopnia ich wiarygodności. W ramach tego procesu dokonywana jest agregacja, standaryzacja, przegląd i ocena bazy dowodowej interwencji.

• Władze szczebla regionalnego powinny zachęcać ośrodki gromadzące dane do korzystania i udostępniania narzędzi syntezy, takich jak systemy oceny informacji, aby ułatwić korzystanie z nich przez lokalnych decydentów.

• Władze regionalne powinny również wspierać upowszechnianie dobrych praktyk i wymianę doświadczeń związanych z wykorzystywaniem danych w procesach decyzyjnych pomiędzy lepiej wyposażonymi i bardziej doświadczonymi gminami (zazwyczaj większymi jednostkami położonymi w obrębie MOF) a ich mniej zaawansowanymi odpowiednikami.

Poprawa w zakresie publikowania i komunikowania danych

Czytelna publikacja wyników ewaluacji ma kluczowe znaczenie dla promowania wykorzystywania danych, a docelowo dla skuteczniejszej realizacji rekomendacji wydanych na ich podstawie, przy jednoczesnym zapewnieniu rozliczenia się wobec obywateli z wykorzystania środków publicznych. W tym celu należy zadbać o:

• Poprawę sposobu wykorzystania danych poprzez lepsze zarządzanie wiedzą. Na przykład stworzenie na szczeblu krajowym dedykowanej strony internetowej www.ewaluacja.gov.pldla jednostek samorządu terytorialnego w celu zamieszczania rezultatów przeprowadzonych ocen wymusza czytelną organizację tekstu, komunikatywność przekazu. Strona ta mogłaby również zawierać oceny przeprowadzone przez instytucje zarządzające na poziomie regionalnym.

Dane OECD wskazują jednak, że absorpcja wiedzy przez decydentów i autorów polityk jest bardziej prawdopodobna, gdy informacje są dla nich łatwo dostępne. Badania pokazują, że w praktyce samo publikowanie danych nie zawsze znacząco poprawia wykorzystywanie wyników ewaluacji w procesie kształtowania polityk. Zebrane dane należy raczej przekładać na zrozumiały język i komunikować w sposób odpowiadający na potrzeby użytkowników. Oznacza to, że informacje pochodzące z monitorowania i ewaluacji powinny być komunikowane w sposób bardziej strategiczny. W szczególności wykorzystanie mediów społecznościowych jest dobrą alternatywą służącą bardziej efektywnej wymianie danych. Samorządy terytorialne mogą być zainteresowane dzieleniem się interesującymi informacjami w mediach społecznościowych, które są efektywnym kosztowo sposobem rozpowszechniania danych pochodzących z monitorowania strategii rozwoju. W związku z tym, Polska mogłaby rozważyć:

• przekształcenie systemu strateg w centralne źródło danych na temat strategii rozwoju lokalnego, w tym obejmujące informacje i ewaluacje z poziomu gmin w połączeniu z lepszymi praktykami komunikacji i upowszechniania informacji;

• korzystanie z mediów społecznościowych, aby dzielić się informacjami i materiałami dotyczącymi strategii rozwoju lokalnego.

Wyjaśnienie celów i metodologii monitorowania strategii rozwoju lokalnego

Monitorowanie różni się od ewaluacji w sposób zasadniczy. Można wykorzystać je do realizacji trzech głównych celów: poprawy procesu podejmowania decyzji operacyjnych, zwiększenia rozliczalności oraz promowania przejrzystości i komunikacji z obywatelami. Każdy z tych celów wymaga innej struktury monitorowania. W Polsce samorządy lokalne, które monitorują priorytety swojej polityki, nie zawsze jednoznacznie rozróżniają te cele, co może osłabić efektywność monitoringu. W związku z tym mogą one rozważyć:

• Skorzystanie z krajowych wytycznych w celu wyraźnego zróżnicowania struktury monitorowania w odniesieniu do każdego z wymienionych celów: podejmowania decyzji operacyjnych, rozliczalności i komunikacji z obywatelami.

W szczególności samorządy lokalne mogłyby rozważyć stworzenie ram dla wewnętrznego dialogu dotyczącego własnej efektywności pomiędzy najwyższym szczeblem decyzyjnym tj. prezydentem/burmistrzem a szefami wydziałów/ jednostek świadczących usługi w celu poprawy podejmowania decyzji operacyjnych. Nawiązanie dialogu dotyczącego wyników stanowiłoby zachętę dla wydziałów gmin do rozwiązywania problemów o charakterze technicznym poprzez stopniowy proces eskalacji. Jeśli dany problem byłby wciąż nierozwiązany po upływie np. dwóch kwartałów mógłby zostać zaadresowany do gabinetu burmistrza/prezydenta dwa razy w roku celem podjęcia dalszych decyzji. Rysunek 4.2 w jednej z powyższych sekcji niniejszego rozdziału prezentuje w jaki sposób dialog nt. efektywności mógłby być prowadzony pomiędzy niższymi szczeblami decyzyjnymi a centrum decyzyjnym władz samorządów terytorialnych w ciągu jednego roku. Na potrzeby dialogu dotyczącego efektywności działań, lokalne władze powinny:

• jednoznacznie określić obowiązki każdego z podmiotów w całym łańcuchu czynności związanych z monitorowaniem (koordynacja i promowanie monitorowania, gromadzenie danych, analiza danych, raportowanie, wykorzystywanie danych);

• określić narzędzia używane w dialogu wewnętrznym dotyczącym efektywności, np. zestaw wskaźników;

• wybrać ograniczoną liczbę priorytetowych celów i wskaźników, aby skoncentrować zasoby na monitorowaniu polityk o dużej widoczności i znacznym oddziaływaniu ekonomicznym i społecznym.

Samorządy lokalne mogą również korzystać z danych pochodzących z monitorowania, aby szerzej komunikować mieszkańcom efekty swoich działań . W tym celu gminy mogłyby:

• usprawnić komunikację z obywatelami poprzez aktualizowanie kilku kluczowych wskaźników na publicznej stronie internetowej lub poprzez opracowywanie materiałów komunikacyjnych dotyczących postępów w realizacji strategii w regularnych odstępach czasu (np. co roku).

Zwiększenie możliwości dostępu do aktualnych danych wysokiej jakości w celu promowania jakości monitorowania.

Określenie jasnych wskaźników oczekiwanych wyników, ich wartości wyjściowych i docelowych jest ważne dla monitorowania strategicznych priorytetów, takich jak te zdefiniowane w strategiach rozwoju lokalnego. Jedna trzecia (14) z ankietowanych gmin, że nie określiła swoich wskaźników z góry. A jeśli wskaźniki takie zostały określone, to brakuje systematycznego powiązania pomiędzy każdym z celów zawartych w strategii rozwoju a wskaźnikami wybranymi do ich monitorowania. Co więcej, wskaźniki zawarte w SRL opierają się na wykorzystaniu danych statystycznych. Tymczasem dane administracyjne i dane zebrane w toku realizacji interwencji są zazwyczaj lepiej dostosowane do wskaźników dotyczących procesów, efektów docelowych i rezultatów pośrednich, takich jak te, które występują w SRL. W związku z tym polskie gminy powinny:

• jednoznacznie określić wskaźniki stosowane do monitorowania każdej strategii rozwoju gminy;

• uwzględniać wskaźniki oparte na danych administracyjnych i wykorzystać aktualnie tworzony system monitorowania usług publicznych do konstruowania tych wskaźników. Poniższa ramka zawiera więcej informacji na temat różnych potencjalnych źródeł danych do monitorowania.

Promowanie systematycznej oceny interwencji samorządu lokalnego

Zakres wykorzystywania praktyk ewaluacji w samorządzie lokalnym jest nierównomierny, przy czym większe, miejskie jednostki poświęcają na ten cel więcej czasu i zasobów niż ich mniejsze odpowiedniki spoza MOF. W ostatnich latach, w związku z finansowaniem w ramach Polityki Spójności UE, podjęto szeroko zakrojone działania zorientowane na ewaluację.

• Korzystanie z dostępnej wiedzy i doświadczenia w celu promowania systematycznej ewaluacji i włączenia jej do stosowanych metod pracy.

Zapewnienie dostępności wystarczających zasobów i kompetencji w zakresie ewaluacji, w tym poprzez koordynację instytucjonalną i łączenie zasobów

Samorządy lokalne powinny zająć się kwestią dostępności danych i ograniczonych zasobów, w tym zdolności analitycznych, które są głównymi przeszkodami w rozwoju praktyk ewaluacji na poziomie lokalnym, w szczególności poprzez:

• ocenę tego, czy można udostępnić dodatkowe zasoby na potrzeby rozwoju praktyk ewaluacji poprzez zwiększenie potencjału wewnętrznego;

• zbadanie możliwości poprawy komunikacji i współpracy instytucjonalnej na wszystkich szczeblach administracji w celu zapewnienia odpowiedniej wiedzy i zaznajomienia się przez władze lokalne z zasobami już dostępnymi; np. wytycznymi, źródłami danych, możliwościami szkoleniowymi, źródłami wiedzy specjalistycznej itp.;

• dążenie do współpracy instytucjonalnej pomiędzy samorządami lokalnymi, w miarę możliwości z władzami szczebla regionalnego w roli koordynatora lub moderatora, w celu optymalizacji wykorzystania dostępnych zasobów. Może to w szczególności obejmować tworzenie sieci wiedzy i kompetencji eksperckich (np. stworzenie sieci ekspertów w dziedzinie ewaluacji dostępnych dla lokalnych samorządów).

Poprawa w zakresie upowszechniania i komunikowania informacji i danych

Publikacja wyników ewaluacji ma kluczowe znaczenie dla promowania wykorzystywania danych, a docelowo dla skuteczniejszej realizacji rekomendacji wydanych na ich podstawie, przy jednoczesnym zapewnieniu rozliczenia się wobec obywateli z wykorzystania środków publicznych. W tym celu należy zadbać o:

• poprawę wykorzystania danych poprzez lepsze zarządzanie wiedzą. Na przykład stworzenie na szczeblu krajowym dedykowanej strony internetowej www.ewaluacja.gov.pldla jednostek szczebla lokalnego.

Dane OECD wskazują jednak, że absorpcja wiedzy przez decydentów i autorów polityk jest bardziej prawdopodobna, gdy informacje są dla nich łatwo dostępne. Badania pokazują, że w praktyce samo publikowanie danych nie zawsze znacząco poprawia wykorzystywanie wyników ewaluacji w procesie kształtowania polityk. Zebrane dane należy raczej przekładać na zrozumiały język i komunikować w sposób odpowiadający na potrzeby użytkowników. Oznacza to, że informacje pochodzące z monitorowania i ewaluacji powinny być komunikowane w sposób bardziej strategiczny. W szczególności wykorzystanie mediów społecznościowych jest dobrą alternatywą służącą bardziej efektywnej wymianie danych. Samorządy terytorialne mogą być zainteresowane dzieleniem się interesującymi informacjami w mediach społecznościowych, które są efektywnym kosztowo sposobem rozpowszechniania danych z monitorowania strategii rozwoju. W związku z tym władze lokalne mogłyby rozważyć:

• korzystanie z mediów społecznościowych, aby dzielić się informacjami i materiałami dotyczącymi swoich strategii rozwoju.

Instytucjonalizacja korzystania z wyników ewaluacji.

Zgodnie z ankietą OECD, stosunkowo niewiele gmin w Polsce (zwłaszcza leżących poza MOF) posiada ustrukturyzowany lub zinstytucjonalizowany mechanizm systematycznego wykorzystywania wyników ewaluacji do poprawy swoich usług i polityk. Dalsza instytucjonalizacja korzystania z wyników ewaluacji w celu podejmowania decyzji powinna zatem zostać uznana za priorytet. W związku z tym, warto rozważyć:

• wprowadzenie proporcjonalnie dostosowanych wymogów dotyczących przejrzystego i opartego na danych, podejmowania decyzji; np. podawania do wiadomości publicznej uzasadnienia w sytuacjach, gdy odpowiednie wyniki ewaluacji nie są brane pod uwagę;

• ustanowienie jasnych i jednoznacznych powiązań pomiędzy dostępnymi danymi, takimi jak wyniki ewaluacji, a alokacją zasobów. Dotyczy to zarówno decyzji budżetowych o nakładach i wydatkach inwestycyjnych, jak i zachęt i wynagrodzeń dla pracowników. Chociaż zalecenie to ma zastosowanie ogólne, należy traktować je priorytetowo w przypadku samorządów lokalnych, w których takie powiązania są najsłabsze, tzn. w mniejszych jednostkach, często położonych poza MOF.

• promowanie korzystania z wyników ewaluacji przy podejmowaniu decyzji poprzez włączenie ich do kryteriów branych pod uwagę w ocenie pracowniczej.