Anexo A. Metodologia

Este anexo resume a metodologia desenvolvida pela OCDE para avaliar os arranjos de governança das autoridades reguladoras, os fatores determinantes do desempenho, assim como suas matrizes de medição de desempenho. A metodologia foi preparada com base na experiência dos reguladores que participam da Rede de Reguladores Econômicos da OCDE e o presente relatório constitui sua décima terceira aplicação a um órgão regulador. Outros relatórios que abrangem vários setores e países incluem: Comissão de Regulação de Comunicações da Colômbia (OECD, 2015[1]); Comissão de Serviços Públicos da Letônia (OECD, 2016[2]), Os três reguladores de energia do México (OECD, 2017[3]), (OECD, 2017[4]), (OECD, 2017[5]), (OECD, 2017[6]); Comissão para Regulação dos Serviços Públicos da Irlanda (OECD, 2018[7]); Regulador de Energia e Mineração do Peru (OECD, 2019[8]); Regulador de Telecomunicações do Peru (OECD, 2019[9]), Regulador de Infraestrutura de Transportes do Peru (OECD, 2020[10]) Agência de Proteção Ambiental da a Irlanda (OECD, 2020[11]), e Entidade Reguladora dos Serviços Energéticos de Portugal (OECD, 2021[12]). A metodologia foi adaptada desde sua primeira aplicação aos aprendizados adquiridos ao longo do processo de análise e está adequada para levar em consideração as necessidades específicas e características contextuais de cada regulador, setor e jurisdição.

A estrutura analítica que constitui este relatório se baseia no trabalho realizado pela OCDE para medir o desempenho regulatório e a governança dos reguladores econômicos. Os países membros da OCDE e os reguladores reconheceram a necessidade de medir o desempenho regulatório. As informações sobre o desempenho regulatório são necessárias para melhor direcionar recursos escassos e para melhorar o desempenho geral das políticas regulatórias e dos reguladores. Entretanto, a medição do desempenho regulatório pode ser desafiadora. Alguns desses desafios incluem:

  • O que medir: os sistemas de avaliação exigem uma avaliação de como os insumos influenciaram os produtos e resultados. No caso da política regulatória, os insumos podem se concentrar em: i) programas gerais destinados a promover uma melhoria sistêmica da qualidade regulatória; ii) aplicação de práticas específicas destinadas a melhorar a regulação, ou iii) mudanças na concepção de regulamentações específicas.

  • Fatores de confusão: existe uma infinidade de questões contingentes que têm impacto sobre os resultados na sociedade que a regulação pretende afetar. Essas questões podem ser tão simples quanto uma mudança no clima, ou tão complicadas quanto a última crise financeira. Assim, é difícil estabelecer uma relação causal direta entre a adoção de melhores práticas de regulação e melhorias específicas nos resultados de bem-estar que são buscados na economia.

  • Falta de dados e informações: os países tendem a carecer de dados e metodologias para identificar se as práticas regulatórias estão sendo adotadas corretamente e que impacto essas práticas podem estar tendo sobre a economia real.

O Quadro para a Avaliação das Políticas Regulatórias da OCDE (2014[13]) começa enfrentando esses desafios através de uma lógica insumo-processo-produto-resultado, que divide o processo regulatório numa sequência de etapas discretas. A lógica insumo-processo-produto-resultado é flexível e pode ser aplicada tanto para avaliar práticas para melhorar a política regulatória em geral, como também para avaliar a política regulatória em setores específicos, com base na identificação de objetivos estratégicos relevantes. Ela pode ser adaptada aos reguladores econômicos, levando em consideração as condições que sustentam o desempenho dos reguladores econômicos (Quadro A A.1).

Os Princípios de Melhores Práticas da OCDE para Políticas Regulatórias: a Governança de Reguladores (OECD, 2014[14]) identifica algumas das condições que sustentam o desempenho dos reguladores econômicos. Eles reconhecem a importância de avaliar como um regulador é dirigido, controlado, dotado de recursos e responsabilizado, a fim de melhorar a efetividade geral dos reguladores e promover o crescimento e o investimento, inclusive através do incentivo à concorrência. Além disso, eles reconhecem o impacto positivo do próprio processo interno do regulador sobre os resultados (ou seja, como o regulador administra os recursos e que processos o regulador coloca em prática para regular um determinado setor ou mercado) (Figura A A.1).

Os dois quadros são reunidos num Quadro de Avaliação de Desempenho para Reguladores Econômicos que estrutura os fatores que determinam o desempenho ao longo da matriz insumo-processo-produto-resultado (Tabela A A.1).

Para os reguladores, os indicadores de desempenho precisam estar adequados ao propósito da avaliação de desempenho, que é uma avaliação sistemática e analítica das atividades do regulador, com a finalidade de buscar a confiabilidade e a usabilidade das atividades do regulador. A avaliação de desempenho não é uma auditoria, que julga como colaboradores e gerentes cumprem sua missão, nem um controle, que coloca ênfase no cumprimento de normas (OECD, 2004[15]).

Assim, os indicadores de desempenho precisam avaliar o uso eficiente e efetivo dos insumos do regulador, a qualidade dos processos regulatórios, além de identificar os produtos e alguns resultados diretos que podem ser atribuídos às intervenções do regulador. Resultados mais amplos devem servir como uma “torre de vigilância”, que fornece as informações que o regulador pode usar para identificar áreas problemáticas, orientar decisões e identificar prioridades (Figura A A.2).

A estrutura analítica apresentada acima serviu de base para a coleta de dados e a análise apresentada no relatório. O presente relatório analisa os arranjos internos e externos de governança da Agência Nacional de Energia Elétrica do Brasil (ANEEL) nas seguintes áreas:

  • Papel e objetivos: identificar a existência de um conjunto de objetivos ou metas claramente identificados que estejam alinhados com as funções e poderes do regulador, o que pode servir de base para o desenvolvimento de indicadores de desempenho que possam ser utilizados;

  • Insumo: determinar até que ponto os recursos financeiros e humanos do regulador estão alinhados com os objetivos ou metas do regulador, e a capacidade do regulador de administrar os recursos financeiros e humanos de forma efetiva e autônoma;

  • Processo: avaliar até que ponto os processos e a gestão organizacional contribuem para o desempenho do regulador;

  • Produto e resultado: identificar a existência de uma avaliação sistemática do desempenho das entidades reguladas, o impacto das decisões e atividades do regulador e até que ponto essas medições são utilizadas adequadamente.

Os dados que serviram de base para a análise apresentada no relatório foram coletados através de uma análise documental, duas missões de apuração dos fatos e uma missão de revisão interpares:

  • Questionário e análise documental: a ANEEL respondeu a um questionário detalhado que serviu de base para uma análise documental realizada pelo Secretariado da OCDE. O Secretariado analisou a legislação vigente e os documentos da ANEEL para coletar informações sobre o funcionamento de jure do regulador e servir de base para as missões de apuração dos fatos. Esse questionário foi adaptado à ANEEL, com base na metodologia já aplicada pela OCDE a outros reguladores desde 2015 e na participação da ANEEL em antigos exercícios de coleta de dados da OCDE, tais como os Indicadores sobre Governança dos Reguladores Setoriais de 2018.

  • Missões de apuração dos fatos: a primeira missão de apuração dos fatos se concentrou em se reunir com as equipes internas da ANEEL, realizada pelo Secretariado da OCDE entre 27 de abril e 7 de maio de 2020. A segunda missão de apuração dos fatos foi realizada entre 19 de maio e 5 de junho de 2020 e se concentrou principalmente em se reunir com as partes interessadas externas. Essas missões foram a principal ferramenta para coletar e completar as informações de jure obtidas através do questionário com a situação atual de facto. O trabalho das missões de apuração dos fatos adaptou a metodologia PAFER às características da ANEEL. As informações coletadas foram completadas e sua exatidão foi conferida com a ANEEL. Ambas as missões foram virtuais devido ao contexto da pandemia da COVID-19.

  • Missão de revisão interpares: a missão ocorreu entre 30 de novembro e 4 de dezembro de 2020 e contou com a participação de revisores do Canadá, Alemanha e Suécia, além do Secretariado da OCDE. Essa missão se reuniu com as principais partes interessadas da ANEEL, tanto internas quanto externas. Ao final da missão, a equipe discutiu as descobertas e recomendações preliminares com a alta administração da ANEEL para testar sua viabilidade. Essa missão foi realizada remotamente através de videoconferência.

Durante as missões de apuração dos fatos e de revisão interpares, a equipe se reuniu com a equipe de liderança da ANEEL, bem como com uma série de colaboradores da instituição. Além disso, a equipe se reuniu com instituições governamentais e partes interessadas externas, incluindo:

  • Ministério de Minas e Energia (MME)

  • Ministério da Economia

  • Casa Civil

  • Tribunal de Contas da União (TCU)

  • Conselho Administrativo de Defesa Econômica (CADE)

  • Operador Nacional do Sistema Elétrico (ONS)

  • Energisa

  • EDP Brasil

  • Eletrobras

  • Associação Brasileira de Agências Reguladoras (ABAR)

  • Secretaria Nacional do Consumidor (SENACON)

  • Centro de Estudos em Regulação e Infraestrutura da Fundação Getúlio Vargas (FGV CERI)

  • PSR Energy Consulting and Analytics (PSR).

Referências

[12] OECD (2021), Driving Performance at Portugal’s Energy Services Regulatory Authority, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/05fb2fae-en.

[11] OECD (2020), Driving Performance at Ireland’s Environmental Protection Agency, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/009a0785-en.

[10] OECD (2020), Driving Performance at Peru’s Transport Infrastructure Regulator, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/d4ddab52-en.

[8] OECD (2019), Driving Performance at Peru’s Energy and Mining Regulator, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264310865-en.

[9] OECD (2019), Driving Performance at Peru’s Telecommunications Regulator, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264310506-en.

[7] OECD (2018), Driving Performance at Ireland’s Commission for Regulation of Utilities, The Governance of Regulators, OECD Publishing, Paris, http://dx.doi.org/10.1787/9789264190061-en.

[6] OECD (2017), Driving Performance at Mexico’s Agency for Safety, Energy and Environment, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264280458-en.

[4] OECD (2017), Driving Performance at Mexico’s Energy Regulatory Commission, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264280830-en.

[5] OECD (2017), Driving Performance at Mexico’s National Hydrocarbons Commission, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264280748-en.

[3] OECD (2017), Driving Performance of Mexico’s Energy Regulators, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264267848-en.

[2] OECD (2016), Driving Performance at Latvia’s Public Utilities Commission, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264257962-en.

[16] OECD (2015), Driving Performance at Colombia’s Communications Regulator, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264232945-en.

[1] OECD (2015), Driving Performance at Colombia’s Communications Regulator, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264232945-en.

[13] OECD (2014), OECD Framework for Regulatory Policy Evaluation, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264214453-en.

[14] OECD (2014), The Governance of Regulators, OECD Best Practice Principles for Regulatory Policy, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264209015-en.

[15] OECD (2004), The choice of tools for enhancing policy impact: Evaluation and review, OECD, Paris, http://www.oecd.org/officialdocuments/publicdisplaydocumentpdf/?cote=gov/pgc(2004)4&doclanguage=en (accessed on 16 November 2018).

Metadata, Legal and Rights

Este documento e qualquer mapa aqui incluído foi elaborado sem prejuízo do status ou soberania de qualquer território, da delimitação de limites e fronteiras internacionais e do nome do território, cidade ou área. [missing text]

© OCDE 2021

O uso do conteúdo do presente trabalho, tanto em formato digital quanto impresso, é regido pelos termos e condições seguintes: http://www.oecd.org/termsandconditions.