Anexo B. Metodología
Medir el desempeño regulatorio constituye un reto, empezando porque se debe definir qué se medirá, lidiar con factores confusos, atribuir resultados a las intervenciones y enfrentar la falta de datos e información. En este anexo se describe la metodología desarrollada por la OCDE para ayudar a los organismos reguladores a encarar estos retos por medio de un Marco para la Evaluación del Desempeño de los Reguladores Económicos (PAFER, por sus siglas en inglés), así como la manera en que este se adaptó para realizar una revisión de seguimiento. El Anexo muestra parte del trabajo realizado por la OCDE sobre la medición del desempeño regulatorio. Luego describe las características clave del PAFER y ofrece una tipología de los indicadores de desempeño para medir insumos, procesos, rendimientos y resultados. Por último, ofrece una visión general del enfoque y las medidas prácticas adoptadas para elaborar el presente estudio de seguimiento.
En este Anexo se resume la metodología desarrollada por la OCDE para evaluar los mecanismos de gobernanza de las autoridades regulatorias, los impulsores de su desempeño, así como sus matrices para medirlo. La metodología se preparó a partir de la experiencia de los reguladores que participan en la Red de Reguladores Económicos de la OCDE. El marco se aplicó a 13 organismos reguladores, y el presente informe es la segunda aplicación de un estudio de seguimiento (tras un primer estudio de seguimiento de la Comisión de Servicios Públicos de Letonia en 2021). Los estudios realizados hasta la fecha, que abarcan varios sectores y países, incluyen: la Comisión de Regulación de Comunicaciones de Colombia (OECD, 2015[1]), la Comisión de Servicios Públicos de Letonia (OECD, 2016[2]) (OECD, 2021[3]), los tres reguladores energéticos de México (OECD, 2017[4]); (OECD, 2017[5]); (OECD, 2017[6]); (OECD, 2017[7]), la Comisión de Regulación de los Servicios Públicos de Irlanda (OECD, 2018[8]); el Regulador de Energía y Minas de Perú (OECD, 2019[9]); el Regulador de las Telecomunicaciones de Perú (OECD, 2019[10]), el regulador de Infraestructura de Transporte de Perú (OECD, 2020[11]), la Agencia de Protección del Medio Ambiente de Irlanda (OECD, 2020[12]), la Autoridad Reguladora de los Servicios Energéticos de Portugal (OECD, 2021[13]), la Agencia Reguladora de la Electricidad de Brasil (OECD, 2021[14]) y el Regulador de los Servicios de Agua y Saneamiento de Perú (OECD, 2022[15]). Desde su primera aplicación, la metodología se ha adaptado a lo aprendido a lo largo del proceso de revisión y se ajusta para tomar en cuenta las necesidades concretas y las características contextuales de cada regulador, sector y jurisdicción.
El marco analítico que conforma este estudio se basa en el trabajo realizado por la OCDE al medir el desempeño regulatorio y la gobernanza de los reguladores económicos. Los países miembros de la OCDE y los reguladores han reconocido la necesidad de medir el desempeño regulatorio. La información sobre este desempeño es necesaria para destinar mejor los escasos recursos y optimizar el desempeño general de las normas regulatorias y de los reguladores. Sin embargo, la medición del desempeño regulatorio puede resultar todo un desafío. Algunos de estos retos incluyen:
Qué medir: los sistemas de evaluación requieren un diagnóstico de la manera en que los insumos influyen en el rendimiento y los resultados. En el caso de la política regulatoria, los insumos pueden centrarse en: i) los programas generales diseñados para promover una mejora sistemática de la calidad regulatoria; ii) la aplicación de prácticas específicas tendientes a mejorar la regulación o iii) cambios en el diseño de regulaciones específicas.
Factores confusos: hay infinidad de problemas contingentes que influyen en los resultados en la sociedad a la que se prevé que afecte la regulación. Estos problemas pueden ser tan sencillos como un cambio en el estado del tiempo o tan complicados como la última crisis financiera. Por consiguiente, es difícil establecer una relación causal directa entre la adopción de mejores prácticas regulatorias y mejoras específicas en los resultados de bienestar buscados en la economía.
Falta de datos e información: los países suelen carecer de datos y metodologías para identificar si las prácticas regulatorias se ejecutan correctamente y qué impacto pueden tener en la economía real.
El Marco de la OCDE para la Evaluación de la Política Regulatoria (2014[16]) aborda estos retos con una lógica de insumos-proceso-rendimiento- resultados, la que divide el proceso regulatorio en una secuencia de pasos concretos. Dicha lógica es flexible y puede aplicarse tanto a la evaluación de las prácticas para mejorar la normativa regulatoria en general, como a la evaluación de la normativa regulatoria en sectores específicos, con base en la identificación de objetivos estratégicos pertinentes. Puede adaptarse a los reguladores económicos tomando en cuenta las condiciones que respaldan su desempeño (Recuadro A B.1).
Los Principios de Mejores Prácticas de la OCDE en Materia de Gobernanza de los Reguladores (OECD, 2014[17]) identifican algunas de las condiciones que respaldan el desempeño de los reguladores económicos. Reconocen la importancia de evaluar la manera en que un regulador se dirige, controla, financia y se responsabiliza, con el fin de aumentar la eficacia general de los reguladores y promover el crecimiento y la inversión, incluyendo el apoyo a la competencia. Más aún, confirman el efecto positivo que el propio proceso interno del órgano regulador —cómo gestiona los recursos y qué procesos implanta para regular determinado sector o mercado— tiene en los resultados (Gráfica A B.1).
Paso I. Insumos: los indicadores incluyen, por ejemplo, el presupuesto y el personal del cuerpo de supervisión regulatoria.
Paso II. Proceso: los indicadores evalúan si hay requisitos formales para buenas prácticas regulatorias. Esto incluye los requisitos para establecer objetivos, la consulta, análisis de hechos fehacientes, simplificación administrativa, evaluaciones de riesgos y armonización internacional de cambios regulatorios.
Paso III. Rendimiento: los indicadores proporcionan información que comunica si en realidad se implementaron buenas prácticas regulatorias.
Paso IV. Impacto del diseño en los resultados (también denominados resultados intermedios): los indicadores evalúan si las buenas prácticas regulatorias contribuyeron a mejorar la calidad de las regulaciones. Por ende, intenta crear un vínculo causal entre el diseño de la política regulatoria y los resultados.
Paso V. Resultados estratégicos: los indicadores evalúan si se lograron los resultados deseados con la política regulatoria, tanto en función de la calidad regulatoria como de resultados regulatorios.
Fuente: (OECD, 2014[16]).
Fuente: Adaptado de (OECD, 2014[17]).
Los dos marcos se juntan en un Marco para la Evaluación del Desempeño de los Reguladores Económicos (Performance Assessment Framework for Economic Regulators, PAFER) que estructura los impulsores del desempeño en el marco de insumos-proceso-rendimiento-resultado (Cuadro A B.1).
Para los reguladores, los indicadores de desempeño necesitan ser adecuados para la evaluación del desempeño, la cual es una valoración analítica, sistemática, de las actividades del órgano regulador con el fin de buscar la confiabilidad y funcionalidad de sus actividades. La evaluación del desempeño no es una auditoría que juzga cómo llevan a cabo su misión los empleados y directores, ni un control que haga énfasis en el cumplimiento de las normas (OECD, 2004[18]).
Por consiguiente, los indicadores de desempeño necesitan evaluar el uso eficiente y eficaz de los insumos de un regulador, la calidad de los procesos regulatorios e identificar el rendimiento y algunos resultados directos que puedan atribuirse a las intervenciones del regulador. Los resultados más amplios deberán servir como un “vigía” que proporciona la información que el regulador puede utilizar para identificar las áreas problemáticas, orientar las decisiones e identificar las prioridades (Gráfica A B.2).
Notas: Este marco fue propuesto en la metodología inicial para el Marco para la Evaluación del Desempeño de los Reguladores Económicos (Performance Assessment Framework for Economic Regulators, PAFER) analizado con la Red de Reguladores Económicos (Network of Economic Regulators, NER) de la OCDE. Se afinó para reflejar la retroalimentación de los miembros de la NER y la experiencia de otros reguladores en la evaluación de su propio desempeño.
Fuente: (OECD, 2015[1]), Figura 3.3 (actualizado en 2017).
El marco analítico presentado antes dio cuenta de la recopilación de datos y del análisis presentado en el informe. El presente informe se centró en los mecanismos de gobernanza interna y externa del Organismo Supervisor de la Inversión Privada en Telecomunicaciones (OSIPTEL) de Perú en las siguientes áreas:
Función y objetivos: identificar la existencia de un conjunto de objetivos, metas o fines claramente identificados que armonicen con las funciones y las facultades del regulador y puedan fundamentar el desarrollo de indicadores de desempeño procesables.
Insumos: determinar en qué medida el financiamiento y la dotación de personal del regulador coinciden con los objetivos, metas o fines del regulador, y la capacidad de este para gestionar los recursos financieros y humanos con autonomía y eficacia.
Proceso: evaluar en qué medida los procesos y la gestión organizacional respaldan el desempeño del regulador.
Rendimiento y resultados: identificar la existencia de una evaluación sistemática del desempeño de las entidades reguladas, el impacto de las decisiones y actividades del regulador, y el grado hasta el cual estas mediciones se utilizan adecuadamente.
Los datos que fundamentan el análisis presentado en el informe se recopilaron mediante un estudio teórico y una misión de investigación:
Cuestionario y revisión de documentos: el OSIPTEL respondió un cuestionario minucioso en el que se basó un estudio documental de la Secretaría de la OCDE. La Secretaría examinó la legislación vigente y los documentos del OSIPTEL para actualizar sus conocimientos sobre el funcionamiento de jure del regulador, y para respaldar la misión de investigación. Este cuestionario se adaptó para un proceso de estudio de seguimiento de los avances del OSIPTEL, con base en las conclusiones del informe PAFER 2019 de la OCDE (OECD, 2019[10]), en metodología ya aplicada por la OCDE a otros reguladores desde 2015, y en la participación del OSIPTEL en ejercicios de recopilación de datos realizados por la OCDE, como los Indicadores de Gobernanza de los Reguladores Sectoriales 2018.
Misión de investigación: la misión de investigación se centró en reunirse con equipos internos de OSIPTEL, así como con los actores interesados externos. La misión tuvo lugar del 13 al 16 de junio de 2022 y fue una herramienta clave para recopilar y completar la información de jure obtenida del cuestionario con datos sobre la situación de facto y los avances en las recomendaciones. El trabajo de la misión de investigación incluyó adaptar la metodología PAFER a las funciones del OSIPTEL. La información recopilada se completó y verificó con el OSIPTEL para comprobar su exactitud. La misión se llevó a cabo en Lima, Perú.
Durante la misión de investigación, el equipo se reunió con el equipo directivo del OSIPTEL y con varios miembros del personal de todos los niveles de la institución. Además, el equipo se reunió con instituciones gubernamentales y actores interesados externos, entre ellos los siguientes:
Instituto Nacional de Defensa de la Competencia y de la Propiedad Intelectual (Indecopi)
Instituto para la Defensa Legal del Medio Ambiente y el Desarrollo Sostenible (IDLADS)
Operadores del sector telecomunicaciones: América Móvil, Entel, Bietel y Telefónica del Perú
Augusto Álvarez Rodrich, economista y periodista, antiguo miembro del Consejo Directivo del OSIPTEL
Referencias
[15] OECD (2022), Driving Performance at Peru’s Water and Sanitation Services Regulator, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/89f3ccee-en.
[14] OECD (2021), Driving Performance at Brazil’s Electricity Regulatory Agency, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/11824ef6-en.
[13] OECD (2021), Driving Performance at Portugal’s Energy Services Regulatory Authority, OECD, https://doi.org/10.1787/05fb2fae-en.
[3] OECD (2021), Progress Review of Latvia’s Public Utilities Commission: Driving Performance, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/6c2ee469-en.
[12] OECD (2020), Driving Performance at Ireland’s Environmental Protection Agency, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/009a0785-en.
[11] OECD (2020), Driving Performance at Peru’s Transport Infrastructure Regulator, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/d4ddab52-en.
[9] OECD (2019), Driving Performance at Peru’s Energy and Mining Regulator, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/9789264310865-en.
[10] OECD (2019), Driving Performance at Peru’s Telecommunications Regulator, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/9789264310506-en.
[8] OECD (2018), Driving Performance at Ireland’s Commission for Regulation of Utilities, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/9789264190061-en.
[7] OECD (2017), Driving Performance at Mexico’s Agency for Safety, Energy and Environment, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/9789264280458-en.
[5] OECD (2017), Driving Performance at Mexico’s Energy Regulatory Commission, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/9789264280830-en.
[6] OECD (2017), Driving Performance at Mexico’s National Hydrocarbons Commission, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/9789264280748-en.
[4] OECD (2017), Driving Performance of Mexico’s Energy Regulators, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/9789264267848-en.
[19] OECD (2016), Driving Performance at Latvia’s Public Utilities Commission, OECD, https://doi.org/10.1787/9789264257962-en.
[2] OECD (2016), Driving Performance at Latvia’s Public Utilities Commission, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/9789264257962-en.
[1] OECD (2015), Driving Performance at Colombia’s Communications Regulator, OECD Publishing, Paris, https://doi.org/10.1787/9789264232945-en.
[16] OECD (2014), OECD Framework for Regulatory Policy Evaluation, OECD Publishing, Paris, https://doi.org/10.1787/9789264214453-en.
[17] OECD (2014), The Governance of Regulators, OECD Best Practice Principles for Regulatory Policy, OECD Publishing, Paris, https://doi.org/10.1787/9789264209015-en.
[18] OECD (2004), The choice of tools for enhancing policy impact: Evaluation and review, OECD, Paris, http://www.oecd.org/officialdocuments/publicdisplaydocumentpdf/?cote=gov/pgc(2004)4&doclanguage=en (accessed on 16 November 2018).