2. Rumo à seleção de auditorias baseada em evidências em setores de políticas públicas descentralizadas no Brasil

A avaliação de riscos auxilia a aplicação dos recursos nos principais pontos de interesse

O processo de seleção de auditoria é uma forma de restringir o universo auditável de forma estruturada, a fim de selecionar auditorias que terão o maior impacto, dentro da capacidade existente. "Ter impacto" refere-se à capacidade das auditorias de melhorarem significativamente a condução dos programas governamentais, por exemplo, a partir da redução de custos e simplificação da gestão, melhorando a qualidade e o volume dos serviços, ou melhorando sua eficácia ou os benefícios para a sociedade (INTOSAI, 2016[2]).

A seleção de auditoria pode ser implementada por meio de um processo robusto, baseado em risco, que considera questões de interesse fundamentais para a sociedade, bem como sua materialidade (OCDE, 2016[3]). As normas internacionais de seleção de auditorias envolvem, de uma ou outra forma, algum tipo de avaliação de risco ou de problema (ver Quadro 2.1).

A seleção de auditoria baseada em risco permite direcionar a capacidade da auditoria e os esforços para áreas de risco, otimizando assim a alocação de recursos e abordando as principais questões. Para entidades de auditoria com recursos limitados, a abordagem baseada em risco é altamente valiosa para alcançar o maior impacto. Um mapa de risco com riscos identificados e classificações de risco pode fornecer uma boa visão geral dos riscos no universo de auditoria e assim facilitar a seleção de auditorias (OCDE, 2018[5]) (ver Quadro 2.2 para mais definições).

Uma sólida avaliação de risco requer evidências sólidas

As EFSs geralmente aplicam algum tipo de avaliação de risco ou problema para orientar o processo de seleção da auditoria, aproveitando seu conhecimento acumulado. A avaliação é geralmente baseada no conhecimento de campo do auditor e em seu julgamento profissional. Como resultado, haverá certos elementos subjetivos envolvidos na seleção (Put and Turksema, 2011[8]). A objetividade é um dos valores éticos centrais das EFSs e um dos princípios fundamentais da auditoria profissional (INTOSAI, 2016[9]). As EFSs devem reduzir a subjetividade do processo de seleção da auditoria a fim de selecionar os tópicos que maximizem seu impacto para os cidadãos e mantenham a confiança da sociedade.

Ao explicar às partes interessadas porquê e como os tópicos de auditoria foram selecionados, as EFS emitem sinais de accountability e responsabilidade. Para tanto, um processo de identificação de risco bem documentado e repetível, cuja interpretação tenha sido validada e que não seja dependente do auditor individual, pode ser especialmente útil. As EFSs também poderiam tentar aumentar a objetividade da análise de risco realizada para a seleção da auditoria ao tornar sua seleção baseada em evidências. Tal processo pode incluir o uso de informações quantitativas e qualitativas para auxiliar a identificação de quais programas ou entidades auditáveis representam o maior risco para a realização dos objetivos (ver Quadro 2.3 para as abordagens de seleção de auditoria no Canadá).

No GUID 3920 da ISSAI encontram-se orientações, incluindo a previsão de que "Na auditoria de desempenho, os riscos podem envolver áreas de potencial mau desempenho que preocupam os cidadãos ou tenham um grande impacto sobre grupos específicos de cidadãos". Ao considerar as áreas que poderiam ter um baixo desempenho, o escopo dos riscos é substancialmente reduzido e o direcionamento de áreas de alto risco para auditoria se torna gerenciável. Dados que podem fornecer evidências para a identificação desses riscos de desempenho são frequentemente coletados pelo governo e disponibilizados como indicadores a serem usados para monitorar o progresso em direção aos objetivos da política. O processo de seleção de auditoria baseado em evidências produziria, em última instância, um quadro consolidado e objetivo dos principais resultados de riscos para políticas descentralizadas, orientando os auditores externos na seleção e alinhamento de auditorias.

Seleção de auditoria baseada em risco é uma prática crescente no Brasil

A OCDE realizou uma pesquisa com os tribunais de contas brasileiros (TCs) a fim de coletar informações sobre os processos de seleção de auditoria e 28 respostas foram recebidos. Os insumos mais comuns relatados por parte dos TCs para informar seu processo de seleção de auditorias são leis e regulamentos que especificam o que os TCs devem auditar e a frequência dessas auditorias. O segundo fator mais comum considerado é o orçamento interno, bem como os recursos dos auditados, o que pode refletir a adoção de processos de seleção de auditoria baseados em risco, focado em insumos, em vez de em produtos ou resultados.

Como "indicadores de materialidade”, alguns TCs também consideram em seus processos as informações sobre a porcentagem das despesas de um auditado em relação ao orçamento do município ou do estado, ou em relação às maiores despesas do município ou do estado. ". Apenas 10 dos 28 TCs respondentes relatam utilizarem relatórios de auditoria ou resultados de outros TCs para informar a seleção da auditoria, indicando um nível limitado de colaboração ou compartilhamento de conhecimentos entre os TCs ao selecionarem auditorias.

Figura 2.1. Principais insumos utilizados para informar a seleção de auditorias dos Tribunais de Contas brasileiros

Qual dos seguintes insumos sua instituição utiliza para informar o planejamento de auditorias?

Nota: N=28. Mais de uma escolha permitida por respondente; nesta pergunta, "planejamento de auditorias" refere-se ao processo de seleção de auditoria, diferenciando-se do planejamento de auditorias individuais.

Fonte: Pesquisa da OCDE (2020).

Diversos TCs aplicam indicadores externos ao longo do ciclo de auditoria (inclusive para a seleção da auditoria), tais como o Índice de Efetividade da Gestão Municipal, o Índice de Desenvolvimento Humano e informações demográficas. Alguns TCs também consideram informações como o número de irregularidades encontradas em relatórios de auditoria anteriores, e a avaliação do controle interno dos auditados.

A maioria dos TCs no Brasil tem uma política escrita para priorizar e selecionar auditorias com base na avaliação de riscos (ver Figura 2.2), mas alguns TCs não aplicam essa política regularmente. Alguns dos fatores que os impedem de aplicar regularmente a política incluem:

• obstáculos institucionais e internos (por exemplo, organização interna que impede a aplicação da política nos níveis estadual e municipal; falta de um sistema de avaliação de risco, recursos limitados)

• pressão externa (como mídia, população, legislatura, outros órgãos de controle), que pode prevalecer sobre a política

• questões relacionadas à política em si (por exemplo, política defasada, aplicabilidade limitada, qualidade da política).

Figura 2.2. Política de seleção de auditoria baseada em risco no Brasil

Sua instituição tem uma política ou estratégia escrita para priorizar e selecionar auditorias com base em uma avaliação de riscos?

Nota: N=29.

Fonte: Pesquisa da OCDE (2020).

Alguns TCs também mantêm um registro de riscos para rastrear os riscos relacionados a auditorias ou outros riscos relacionados a políticas em setores específicos. Por exemplo, o TCE-Rio Grande do Norte utiliza software desenvolvido pelo Ministério do Planejamento para apoiar o monitoramento de riscos: o Sistema Ágatha -- Sistema de Gerenciamento de Integridade, Risco e Controles. As unidades de controle interno dos auditados são responsáveis por atualizar esta ferramenta com informações sobre os auditados, e o TC utiliza relatórios gerados pelo sistema para a programação de suas auditorias.

As abordagens dos TCs para a aplicação da análise de risco na seleção de auditorias variam consideravelmente. O uso de indicadores não é universal entre os TCs. Alguns aplicam métodos avançados, tais como análise de dados orçamentários, como descrito acima, e outros não fazem qualquer uso de indicadores. A coordenação e colaboração na seleção de auditorias ocorre de forma ad-hoc, quando ocorre, e são apenas prática dos TCs com capacidade para isso. O desenvolvimento de uma abordagem comum e compartilhada para a seleção de auditorias baseada em risco oferece uma oportunidade para os TCs, particularmente aqueles com pouca ou nenhuma experiência em coordenação ou avaliações de risco, para modernizarem suas práticas no sentido de um maior alinhamento com os padrões internacionais. Uma abordagem harmonizada da seleção de auditoria baseada em risco, com base em um melhor intercâmbio de ideias e evidências, pode levar a uma auditoria mais coerente e orientada para resultados das políticas públicas descentralizadas. Cada setor de política governamental tem seu próprio contexto e conjunto de desafios. Para estreitar o escopo, os TCs decidiram experimentar novas abordagens para a seleção e coordenação de auditorias baseadas em risco no campo da educação.

A educação é um setor de políticas públicas complexo para os TCs monitorarem e auditarem

Apesar da realização de auditorias de desempenho para avaliar os produtos e os resultados de políticas públicas ser um desafio, independentemente do setor auditado, o desafio é ainda maior com a educação. A multiplicidade e diversidade de atores governamentais envolvidos na prestação de serviços educacionais aos cidadãos no Brasil exacerbam este desafio para os TCs. Como mostrado na Tabela 2.1, os 5.570 municípios no Brasil são responsáveis por fornecer serviços de creche, educação pré-escolar e ensino fundamental 1 (anos iniciais de educação fundamental) à maioria das crianças matriculadas nestes níveis de educação. Ao mesmo tempo, os municípios variam drasticamente em tamanho, organização interna, recursos e capacidade administrativa. No ensino fundamental 2 (últimos anos do ensino fundamental), a matrícula nas escolas públicas é distribuída igualmente entre as redes escolares municipais e estaduais, que operam com coordenação limitada entre elas – acrescentando outra dimensão de complexidade.

Neste cenário, a responsabilidade por auditar o uso dos recursos públicos na educação – e por avaliação o grau de realização dos objetivos das políticas públicas – é compartilhada entre o TCU e os Tribunais de Contas Estaduais e Municipais em cada entidade federal. O grau em que os diferentes TCs realizam ativamente auditorias no campo da educação depende, em parte, de suas prioridades e capacidades internas. A multiplicidade de atores envolvidos na tomada de decisões, na entrega de políticas e na supervisão pode dificultar ainda mais a identificação dos riscos e da raiz de suas causas.

Em relação às políticas de saúde, a mensuração dos resultados de pacientes é, em geral, atividade de baixa controvérsia, e muitos aspectos da prática médica têm padrões internacionalmente reconhecidos de melhores práticas. O mesmo não pode ser dito da medição dos resultados de aprendizagem de estudantes. Não há um conjunto rígido de padrões de prática de ensino e aprendizagem. Por esta razão, muitos modelos de garantia de qualidade na educação dependem principalmente de avaliações qualitativas das atividades e do desempenho escolar. No entanto, os formuladores de políticas no Brasil e no mundo utilizam rotineiramente uma série de indicadores quantitativos para avaliar o desempenho dos sistemas escolares pelos quais são responsáveis.

O Brasil tem dados de alta qualidade sobre educação

O Brasil possui um sistema nacional bem estabelecido para coletar dados harmonizados sobre aspectos-chave do sistema educacional. O Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), órgão sob a responsabilidade do Ministério da Educação (MEC), coleta dados sobre matrículas de estudantes, docentes e sobre outras variáveis escolares em seu "censo escolar" (INEP, 2019[17]). Os dados estão disponíveis de forma agregadas para as redes de escolas municipais e estaduais de cada município, e há ainda microdados de cada escola pública.

Além disso, o Brasil possui um sistema altamente desenvolvido para avaliar os resultados de aprendizagem dos alunos das escolas através do Sistema de Avaliação da Educação Básica, SAEB, também coordenado pelo INEP. Como parte do SAEB, o INEP projeta e supervisiona a implementação de testes nacionais padronizados dos alunos em três pontos de seu percurso educacional: nos últimos anos do ensino fundamental 1, ensino fundamental 2 e ensino médio4. As avaliações do SAEB (conhecidas como Prova Brasil) em cada nível avaliam a competência dos alunos em português e matemática. Além dos resultados dos testes de aprendizagem, as avaliações SAEB também geram informações contextuais sobre alunos e escolas, coletadas através de questionários realizados ao mesmo tempo que os próprios testes. Os dados para os resultados do SAEB são publicados para cada município e microdados são utilizados pelo INEP e pesquisadores externos para analisar os resultados educacionais.

Devido, em grande parte, ao seu papel de agência de estatística e avaliação para a educação, o INEP também foi encarregado de desenvolver indicadores para monitorar o progresso em direção ao cumprimento das metas do Plano Nacional de Educação (PNE) do país e de realizar exercícios regulares de monitoramento do progresso (INEP, 2018[18]). Os indicadores utilizados pelo INEP para monitorar o PNE são o conjunto mais completo de indicadores nacionais de desempenho educacional no Brasil.

Os TCs podem usar esses dados para desenvolver uma metodologia de seleção de auditoria baseada em risco compartilhado

Esta riqueza de dados estatísticos sobre educação no Brasil fornece uma base sólida para obter uma ampla visão das características gerais e de certos aspectos do desempenho da educação básica no Brasil. Os dados nacionais existentes sobre o sistema educacional poderiam ser explorados para identificar pontos fortes e fracos no desempenho da política educacional no Brasil e para informar o planejamento, seleção e implementação de auditorias na área. Atualmente, no entanto, os dados disponíveis não são utilizados sistematicamente para este fim na comunidade de auditoria externa do país.

Como recomendado no Capítulo 1, os TCs estão em posição de alavancar a capacidade de auditoria de cada órgão de auditoria externa individual e coletivamente, compartilhando insights e analisando indicadores para adotar uma abordagem mais estratégica e sistemática na seleção de auditorias. Para isso, os TCs podem desenvolver uma metodologia comum de avaliação de risco estruturada em torno das ricas fontes de dados no Brasil e um modelo lógico que considera os resultados das políticas, conforme descrito abaixo. Esta avaliação pode ajudar os TCs a desenvolverem uma linguagem harmonizada e a mapear os riscos relacionados às metas políticas compartilhadas e às prioridades nacionais no campo da educação (ou seja, o PNE), ao mesmo tempo considerando o contexto e o mandato de cada tribunal de contas. À medida que o processo se desenvolve, os TCs poderiam também considerar a aplicação da metodologia a outros setores de políticas públicas que apresentem desafios similares de contexto descentralizado, como saúde e infraestrutura.

Um modelo lógico de educação

A OCDE desenvolveu um modelo lógico básico para as atividades educacionais que a política educacional procura conduzir. O objetivo é identificar os elementos-chave (insumos, processos, produtos e resultados) no processo educacional e ilustrar suposições básicas sobre as relações entre esses elementos, com base em uma ampla revisão da teoria educacional e da literatura de pesquisa relevante.

Figura 2.4. Um modelo lógico para o setor da educação

O modelo lógico mostrado na Figura 2.4 pode, em princípio, ser aplicado a qualquer nível de educação básica. Ele adota uma abordagem orientada para resultados e assume que o objetivo final da educação é equipar a população-alvo, estudantes, com um nível satisfatório de conhecimento, habilidades e atitudes (resultados da aprendizagem). Os produtos estão implícitos nos resultados do modelo lógico. Os insumos e processos levam estudantes a receber a educação (produto), a partir da qual adquiriram conhecimento e habilidades (resultados da aprendizagem), que são relevantes na vida cotidiana/trabalho (resultado). Esta abordagem está alinhada com a abordagem de políticas públicas e práticas educacionais centradas no estudante, utilizada nas avaliações internacionais de aprendizagem como o PISA (ETS/OCDE, 2019[21]) e nos sistemas nacionais de avaliação educacional, incluindo o sistema no Brasil (INEP, 2019[23]). Estes sistemas de avaliação buscam medir os resultados de aprendizagem dos estudantes de forma objetiva. Embora a avaliação de crianças pequenas na pré-escola e no ensino básico seja teoricamente possível, tais avaliações em tal idade são raras nos países da OCDE. Como resultado, medidas mais indiretas de "resultados" precisam ser usadas para medir a eficácia das políticas educacionais neste nível.

Para a educação e cuidados na primeira infância e educação básica, a "população alvo" de estudantes engloba todas as crianças das coortes etárias relevantes na jurisdição em questão. O resultado pretendido da política educacional para esses níveis de educação é, portanto, que todas as crianças adquiram um nível satisfatório de resultados de aprendizagem. O acesso ao ensino fundamental 1 e 2 tem sido universal na maioria dos países da OCDE há várias décadas, embora avaliações internacionais como o PISA mostrem uma variação considerável nos resultados de aprendizado alcançados pelos estudantes. Os governos de muitos países da OCDE também têm como objetivo "universalizar" a educação e os cuidados na primeira infância e no ensino fundamental 2, embora as taxas de participação continuem a variar entre os países membros e parceiros da OCDE. A medição dos resultados educacionais em diferentes níveis de educação e em diferentes jurisdições deve levar em conta a proporção da população alvo que é realmente alcançada pelo sistema educacional (a "cobertura" do sistema). Informações sobre os "produtos" educacionais, tais como taxas de matrícula e conclusão para as coortes de idade alvo, devem ser consideradas juntamente com quaisquer medidas disponíveis de resultados de aprendizagem dos estudantes.

O modelo lógico pressupõe que os resultados alcançados pelo sistema educacional (tanto em termos de cobertura quanto de aprendizagem) são alcançados através da interação entre alunos e professores no ambiente escolar. As escolas (e, notadamente, seus professores) e os alunos estão no centro do processo educacional. Uma ampla gama de fatores contextuais influencia as características e o comportamento de todos os três grupos. Estes fatores são moldados por uma combinação de insumos (por exemplo, características e condições dos alunos e professores, ou da infraestrutura escolar) e processos de nível escolar (por exemplo, currículo e metodologias de ensino, serviços de apoio e orientação).

A capacidade dos estudantes de adquirir os resultados de aprendizagem pretendidos é particularmente afetada pela própria formação e habilidades dos estudantes e pela capacidade de seus professores de apoiar eficazmente sua aprendizagem. familiares condição familiar dos estudantes demonstra ter uma grande influência em seu desenvolvimento cognitivo e socioemocional inicial (OCDE, 2015[24]) e em seu desempenho posterior na escola. O treinamento inicial e contínuo que os professores recebem, juntamente com sua própria aptidão para o trabalho, desempenha um papel fundamental em sua capacidade de dar suporte à aprendizagem de estudantes de diferentes origens (OCDE, 2018[25]).

O ambiente mais amplo no qual ocorre o processo de ensino-aprendizagem condiciona ainda mais a capacidade de professores trabalharem de forma eficaz e a capacidade de os alunos aprenderem e se desenvolverem. Dentro de cada escola, este ambiente inclui a qualidade e relevância do conteúdo educacional (currículo) especificado para alunos de diferentes níveis, a eficácia da liderança escolar e a qualidade da infraestrutura física e dos recursos disponíveis para o ensino e atividades relacionadas. Serviços auxiliares não diretamente relacionados ao processo educacional, tais como serviços sociais e de suporte e transporte escolar, também têm impacto sobre os alunos e sua capacidade de aprender.

Muitos dos insumos e processos que envolvem as escolas e os alunos identificados no modelo lógico exigem recursos financeiros. Os professores precisam de salários, a infraestrutura escolar e equipamentos precisam ser pagos, são necessários recursos para garantir o treinamento de professores, programas de apoio financeiro para estudantes e suas famílias, e para serviços de suporte e orientação. Quando estes recursos financeiros provêm de fontes públicas, eles precisam ser mobilizados e alocados através de decisões políticas e desenho de políticas. Como ilustrado na Figura 2.4, a governança e a política pública afetam a educação não apenas fornecendo recursos através de transferências financeiras diretas e programas de financiamento público, mas também por meio de regulamentação, diretrizes e estabelecimento de metas, todas as quais podem influenciar o desempenho das escolas (e, até certo ponto, dos alunos). Para os TCs, os elementos-chave ao analisar o ambiente governamental e de governança para a educação incluem:

1. 1. Acordos de governança: a arquitetura geral de governança, incluindo as entidades responsáveis pela elaboração e implementação da política educacional e a distribuição de responsabilidades entre elas. Esta dimensão abrange o grau de controle centralizado ou a autonomia em nível escolar dentro de um sistema.

2. 2. Política e programas educacionais: a formulação e implementação de políticas específicas que orientam e afetam a forma como as escolas fazem seu trabalho, o que pode incluir políticas sobre treinamento de professores, pessoal escolar, diretrizes curriculares, regras de admissão para alunos e testes e exames externos, bem como políticas que determinam o nível de recursos que as escolas (e professores) recebem. Alguns serviços auxiliares, tais como transporte escolar, podem se enquadrar na categoria de políticas e programas educacionais.

3. 3. Outras políticas e programas relevantes: a formulação e implementação de políticas e programas não diretamente relacionados ao fornecimento de educação, mas que dão suporte diretamente aos objetivos do sistema educacional.

4. 4. Metas, avaliação e monitoramento: a definição de metas e um conjunto mais amplo de exercícios de avaliação e monitoramento – incluindo revisões por órgãos de auditoria – que informam a formulação e a implementação da educação e outras políticas e programas relevantes. É útil destacar estas atividades ao analisar a governança e as políticas, uma vez que elas normalmente ocorrem de forma independente da formulação e implementação de políticas detalhadas – seja no nível político estratégico (como no estabelecimento de metas) quer através de órgãos independentes ou semi-independentes (como no monitoramento e avaliação).

Aplicação do modelo lógico na educação no Brasil

O modelo lógico para educação discutido acima é elaborado para ser suficientemente genérico para permitir a aplicação a qualquer nível de educação básica em qualquer jurisdição. Entretanto, quando o modelo é aplicado no Brasil para mapear a relação entre a política pública e o contexto de governança, os insumos financeiros, as características das escolas e dos estudantes, e os resultados, as seguintes considerações são particularmente importantes:

1. 1. Alguns dos elementos mapeados no modelo genérico serão mais importantes em alguns países do que em outros. Por exemplo, as taxas de matrícula e conclusão do ensino médio serão mais preocupantes no Brasil, onde o acesso a este nível de educação ainda não é universal, do que em países onde o acesso e a participação universais são considerados como garantidos.

2. 2. O papel dos programas sociais na promoção da frequência escolar, ou do transporte escolar organizado, será mais importante no Brasil, onde a baixa renda familiar e as opções limitadas de transporte são barreiras frequentes à frequência escolar. Por exemplo, o programa Bolsa Família, que condiciona o pagamento de assistência social à frequentação das crianças à escola, tem sido fundamental para aumentar as taxas de matrícula na educação – um pré-requisito para alcançar bons resultados de aprendizagem. Da mesma forma, o fornecimento de transporte escolar para estudantes em regiões rurais e remotas para aumentar a frequência escolar tem sido uma política prioritária para o governo federal.

3. 3. Como discutido mais adiante, a disponibilidade de informações e dados relevantes relacionados aos diferentes componentes do modelo lógico afetará a extensão na qual o modelo pode ser aplicado na prática. Embora o modelo descreva quais elementos seriam relevantes para a análise da política educacional, alguns desses elementos são de difícil aferição – e, mesmo aqueles que seriam mensuráveis podem não ser medidos de forma alguma. Particularmente no Brasil, dada a significativa variação social e regional nos níveis de renda e resultados educacionais, informações e dados desagregados por localidade e grupo social são importantes para obter um quadro variado do desempenho da política educacional em diferentes partes do país e para diferentes populações.

Como mencionado, o Brasil possui um sistema nacional bem desenvolvido de avaliação de resultados de aprendizagem no setor escolar – o Sistema de Avaliação do Ensino Básico SAEB) (INEP, 2019[23]) – o que significa que dados comparáveis estão disponíveis sobre os principais resultados alcançados pelas escolas públicas e redes escolares em todo o país. Isto facilita muito a aplicação prática do modelo lógico. Por outro lado, os dados sobre outros fatores, alguns dos quais podem ser relevantes no Brasil, tais como taxas de matrícula para coortes de idade específicas e acesso a serviços de transporte escolar, não são prontamente disponibilizados.

Principais considerações para a seleção de indicadores

O modelo lógico serve como uma ferramenta para que os TCs possam identificar as principais variáveis que influenciam os resultados de uma determinada política. Este modelo fornece, então, uma base sobre a qual os TCs podem identificar os indicadores mais relevantes para o monitoramento de políticas e seleção de auditorias no contexto brasileiro. Uma vez que o modelo conceitual esteja em vigor, o próximo passo será a identificação de quais variáveis do modelo podem ser medidas de forma confiável usando indicadores, levando em conta as evidências sobre os pontos fortes e limitações desses indicadores.

O Anexo 2.A deste capítulo contém uma análise da relevância teórica de cada variável no modelo lógico para o setor educacional apresentado acima, bem como uma breve avaliação dos principais pontos fortes e limitações dos indicadores comumente utilizados nos países da OCDE. Com base em uma lista de indicadores potenciais, os TCs devem reduzir o conjunto de indicadores utilizáveis para evitar a criação de um processo que se torne oneroso na tentativa de medir em excesso.

Ao selecionar indicadores que podem ser utilizados para o monitoramento de políticas e seleção de auditorias, os seguintes critérios-chave podem ser considerados (Schumann, 2016[26]):

1. 1. Relevância: os dados disponíveis (e indicadores que os definem) fornecem informações que ajudam a medir o desempenho dos sistemas de políticas e a identificar problemas nas políticas?

2. 2. Disponibilidade e atualização: os dados estão disponíveis para as unidades de análise relevantes (por exemplo, na educação, em relação às redes escolares, municípios, estados) para todo o país (ou uma grande parte dele)? Com que frequência os dados são coletados e atualizados? Esta frequência é adequada em relação à finalidade?

3. 3. Confiabilidade: os dados disponíveis são de fonte confiável que usa métodos robustos de coleta e gerenciamento de dados?

Além destes, existem outros fatores que os TCs podem levar em consideração ao definir indicadores. Algumas questões são comuns, independentemente do contexto, e são típicas das avaliações baseadas em indicadores. Por exemplo, em geral, é mais provável que os dados sobre os produtos estejam disponíveis do que os dados sobre os resultados. O monitoramento da conformidade básica pode ser feito com indicadores de produto (por exemplo, "O número de escolas construídas estava de acordo com os planos acordados?"), enquanto o monitoramento do desempenho ou da eficácia requer indicadores de resultados, mesmo que sejam imperfeitos (por exemplo, "Que proporção de alunos não teria concluído o ensino médio se as novas escolas não tivessem sido construídas?").

Quando se trata de auditar a seleção de políticas descentralizadas, os TCs também devem levar em conta indicadores que representam a realidade dos níveis nacional e subnacional. Dependendo das condições existentes, as mesmas políticas podem causar resultados diferentes em regiões diferentes e, nestes casos, os indicadores nacionais podem ser de valor limitado. A escolha do nível subnacional deve ser determinada pelo grau de variação regional sobre os efeitos de uma política. Se, por exemplo, houver grandes diferenças nos resultados entre municípios ou mesmo entre redes escolares, um indicador que mostre os dados a tal nível deve ser considerado antes de um indicador nacional. Por outro lado, se a variação local for pequena, um indicador nacional pode ser suficiente, mas não terá muito valor agregado como instrumento para avaliar a variação regional nos resultados. As lacunas de coordenação que ocorrem em níveis subnacionais – uma fraqueza da governança multinível comum no Brasil e em outros lugares – poderiam ser capturadas por indicadores de resultados que medem objetivos em níveis intermediários, e não em níveis locais ou nacionais.

Os TCs também podem considerar indicadores de painel de avaliação para monitorar os resultados em níveis subnacionais, já que estes têm a vantagem de não generalizar os resultados. Os indicadores de painel de avaliação são o nível mais alto de indicadores de resultados, usados principalmente para dar uma visão geral de toda uma área de políticas. Quanto menor a unidade subnacional à qual um indicador se refere – por exemplo, um indicador em nível escolar – mais forte ele é afetado por flutuações aleatórias. Cada unidade subnacional deve ser suficientemente grande para ser representativa de todo o país no que diz respeito ao resultado em questão. (Schumann, 2016[26])

Finalmente, ao interpretar as informações quantitativas em qualquer campo de políticas, dois fatores são vitais para a consideração dos TCs:

1. 1. Muitos fatores importantes não podem ser – ou não são – medidas. Por definição, os indicadores quantitativos não podem capturar variáveis e fatores que não podem ser quantificados – ou para os quais os dados quantitativos não são coletados e computados porque seria muito oneroso ou metodologicamente complexo fazê-lo.

2. 2. O exame apenas dos dados quantitativos não explicará a razão pela qual os valores observados são como são. Embora a análise de regressão e outras técnicas estatísticas possam ser utilizadas para identificar relações entre os valores de diferentes variáveis e apontar linhas de causalidade, a avaliação de políticas e a auditoria de desempenho sempre precisam complementar a análise dos indicadores quantitativos com a investigação qualitativa dos fatores explicativos.

Uma abordagem em dois níveis de seleção de indicadores para o planejamento de auditorias no Brasil

O modelo lógico e as considerações para a seleção de indicadores descritos acima fornecem um roteiro para que os TCs selecionem indicadores educacionais para a seleção de auditorias. Há essencialmente dois níveis de indicadores que os TCs podem considerar. O primeiro são indicadores que medem os resultados desejados para diferentes níveis de educação. Estes indicadores podem ser capturados da política educacional adotada nacionalmente (PNE); incluem fatores de "cobertura" (a proporção da população alvo na educação) e de resultados de aprendizagem (as habilidades e competências adquiridas).

Os principais indicadores de primeiro nível incluem taxas de matrícula por coortes de idade e, para níveis educacionais onde estes existem, dados sobre os resultados de aprendizagem dos estudantes obtidos do sistema de avaliações nacionais padronizadas (SAEB). O exame dos dados para estes indicadores em conjunto com valores de referência estabelecidos torna possível identificar escolas, redes escolares, municípios ou grupos de municípios em cada estado onde os resultados estão abaixo dos padrões esperados. Dada a ampla gama de desempenho educacional existente no Brasil, os valores de referência utilizados podem precisar ser adaptados às circunstâncias de cada estado.

Os indicadores de segundo nível representam dados sobre insumos e processos selecionados que provavelmente afetam os resultados observados. Os TCs podem utilizar estes indicadores para identificar padrões que podem ajudar a explicar os maus resultados observados e potencialmente identificar questões mais específicas que poderiam justificar auditoria. Se, por exemplo, os dados sobre o nível de qualificação dos professores em um determinado estado forem inferiores aos de outros estados no Brasil – e os resultados de aprendizagem também forem inferiores aos padrões de referência relevantes – pode haver um caso prima facie para examinar o sistema de treinamento inicial de professores desse estado ou da educação continuada para professores. Se o nível de qualificação dos professores for baixo e combinado com maus resultados de aprendizagem somente em municípios selecionados, pode ser relevante investigar porque isto ocorre e se há ligação com as práticas de recrutamento ou as condições dos que trabalham nas redes escolares em questão.

Para garantir cobertura nacional, comparabilidade e confiabilidade, os TCs podem selecionar indicadores de fontes de dados oficiais nacionais, incluindo a agência nacional de avaliação da educação INEP e o escritório nacional de estatísticas (IBGE). Em colaboração com os TCs, a OCDE desenvolveu um painel inicial de indicadores que inclui:

• Para resultados de aprendizagem – Dados desagregados do SAEB dos resultados de aprendizagem em português e matemática disponíveis para alunos do 5º e 9º ano e para o último ano do ensino médio.

• Para cobertura – Os dados sobre o número e as características e condições básicas de crianças e estudantes matriculados no Censo Escolar do INEP, combinados com a estimativa das populações por coorte de idade. É necessário utilizar estimativas de população baseadas em uma metodologia de projeção estabelecida, pois o Brasil carece de registros populacionais confiáveis e depende de censos decenais, que rapidamente se tornam defasados.

• Para insumos e processos selecionados – Dados básicos sobre as redes escolares municipais e estaduais; sobre o número de aulas; e sobre a quantidade, idade, nível de qualificação e tipo de contrato dos professores, extraídos do Censo Escolar do INEP. Alguns dados mais qualitativos sobre as percepções dos dirigentes escolares, professores e alunos são coletados através dos questionários que são preenchidos ao mesmo tempo que os testes SAEB, enquanto dados limitados sobre insumos financeiros em nível de escola e rede escolar são obtidos do SIOPE (Sistema de Informações sobre Orçamentos Públicos em Educação) e do FNDE (Fundo Nacional de Desenvolvimento da Educação) do Ministério da Educação.

Estes indicadores não são estáticos. Como os objetivos das políticas, os desafios e a disponibilidade ou qualidade dos dados mudam, assim também mudam as oportunidades, limitações ou fundamentos para o uso de um conjunto específico de indicadores. Esses indicadores oferecem um ponto de partida para que os TCs possam basear análises e avaliações de risco futuras no modelo lógico e nos critérios discutidos acima.

A aplicação de cenários de risco na seleção de auditoria

Os cenários de risco ajudam a organização e a priorização do universo de risco de uma forma analítica para orientar a identificação e a análise de risco. Tais cenários servem como hipóteses que podem ser verificadas e analisadas usando dados de indicadores e o conhecimento de campo dos auditores, identificando assim os cenários com maior probabilidade e impacto negativo nos resultados das políticas. Isto é o que acontece na fase de análise de risco e seleção de auditoria.

Seis etapas analíticas consecutivas conectam todas as recomendações anteriores deste capítulo em um processo de seleção de auditoria baseada em risco (Figura 2.9). Cada etapa é guiada por uma questão-chave. A suposição é que todos os indicadores de resultados do modelo lógico têm cenários de risco subjacentes que hipoteticamente podem explicar possíveis baixos resultados, mas as etapas também podem ser aplicadas para um único indicador de resultados.

Figura 2.9. Etapas da seleção de auditoria baseada em risco

A tecnologia da informação pode facilitar a avaliação de risco

Para que os auditores possam basear a seleção de auditoria em risco (conforme descrito na seção anterior), é necessário que tenham acesso aos dados dos indicadores relevantes e aos cenários de risco que foram desenvolvidos. Para que haja colaboração entre TCs para estes fins, seria útil que os auditores pudessem documentar e compartilhar os resultados de sua própria avaliação de risco com outros TCs para criarem uma base de conhecimento comum, tal como um mapa de risco compartilhado.

O objetivo principal de tal ferramenta de TI seria facilitar a coleta e intercâmbio de dados e a execução das etapas analíticas ligadas à avaliação dos indicadores. Ao combinar os cenários de risco, a ferramenta pode permitir que os TCs realizem avaliações de risco tanto individualmente quanto coletivamente.

Através de um Sistema de Informação Geográfica (SIG) que permita visualização ao usuário, os auditores poderiam aplicar a ferramenta para identificar os principais desafios de desempenho e cenários de risco por setor de política pública e por área geográfica.

Ademais, tal ferramenta pode ser um instrumento valioso na harmonização dos procedimentos de avaliação e garantir a qualidade e a comparabilidade entre os diferentes TCs colaboradores. A ferramenta também pode apoiar o compartilhamento de relatórios de auditoria e facilitar o mapeamento da cobertura e dos resultados da auditoria, contribuindo, assim, ainda mais para promover a colaboração entre tribunais (veja Quadro 2.9 para exemplos de ferramentas de avaliação de risco baseadas em TI).

Com relação à avaliação de indicadores para facilitar a seleção de auditorias, a funcionalidade básica da ferramenta seria permitir a análise dos resultados da Etapa 1 e, posteriormente, a análise dos fatores que constituem os cenários de risco da Etapa 2. A ferramenta também poderia ter funcionalidades adicionais, tais como acesso a dados sobre a cobertura de auditoria, acesso a informações analíticas qualitativas associadas aos cenários de risco, possibilitar a análise de relatórios de auditoria e documentação, uma interface de mapa de risco, etc.

Esta abordagem baseada em indicadores e orientada por cenários para a seleção de auditoria requer uma forte liderança para a implementação, não só porque é inovadora, mas também porque requer vários TCs colaborando intensamente. A governança, organização e métodos de trabalho necessários compõem o mecanismo de colaboração proposto no Capítulo 4. Dentro deste mecanismo, os TCs devem estabelecer um grupo de trabalho permanente que prepare, supervisione e execute as etapas da avaliação de risco, conforme descrito na seção anterior. Este grupo deve trabalhar de forma interativa, desenvolvendo as etapas práticas do procedimento e fazendo avaliações continuamente.

O grupo de trabalho também deve considerar o desenvolvimento de uma solução de tecnologia da informação que dê suporte à análise e o compartilhamento de informações, como descrito acima. O Quadro 2.10 sugere a funcionalidade básica desta ferramenta. Uma ferramenta de TI pode não fornecer aos TCs resultados automatizados (ou seja, a definição exata do ente a ser auditado, ou as questões específicas de uma política pública que deva ser auditada), mas prover uma base inicial para a identificação de possíveis riscos por tópico, setor e localização geográfica.

Quadro 2.10. Funcionalidade básica necessária de uma ferramenta de TI para apoiar a seleção de auditoria no Brasil

Etapa 1 - Onde se observam resultados divergentes dos objetivos e metas das políticas?

Para responder a esta pergunta, a ferramenta poderia fornecer uma avaliação automática de todos os indicadores de resultados no menor nível possível, utilizando uma simples árvore de decisão; seriam necessárias mais árvores de decisão para calcular o resultado agregado. A interface de Sistema de Informação Geográfica então permitiria aos auditores contemplar combinações geográficas e os objetivos das políticas públicas, estabelecendo não apenas os principais fatores em risco, mas também variações geográficas. Será possível, então, concentrar a próxima etapa analítica não apenas nos indicadores de resultados mais críticos, mas também naqueles municípios com as pontuações mais baixas nos indicadores, diminuindo o universo da auditoria.

Figura 2.10. Exemplo de uma árvore de decisão simples na educação

Etapa 2 – Os indicadores de insumos e de processo associados ao cenário divergem das metas estabelecidas ou destacam problemas específicos que podem levar a baixos resultados?

Para responder a esta pergunta, a ferramenta poderia fornecer uma avaliação automatizada de todos os indicadores pertencentes aos cenários de risco associados ao objetivo da política selecionada, fornecendo aos auditores uma visão dos elementos do cenário a partir de indicadores críticos. Além disso, os auditores poderiam avaliar a variação geográfica, estabelecendo assim se este é um problema local ou generalizado.

A seleção da auditoria em si não faz parte da avaliação de risco, pois esta requer critérios diferentes, tais como critérios estratégicos, técnicos ou mesmo a análise de recursos e capacidade disponíveis. A seleção de auditoria em colaboração com outras entidades de auditoria será discutida no Capítulo 4.