O Brasil possui um dos mais completos sistemas de produção de estatísticas educacionais do mundo. Sabemos que há 48,8 milhões de estudantes matriculados em 186,1 mil escolas de educação básica. Também sabemos que a proficiência em língua portuguesa nos anos iniciais do ensino fundamental está melhorando desde 2001 e realizamos, todos os anos, uma prova, o Exame Nacional do Ensino Médio (Enem), que assumiu contornos de “vestibular nacional” e só é menor do que o realizado na China.

Esses são apenas alguns exemplos dos levantamentos e avaliações produzidos pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, o Inep, que em janeiro completou 80 anos de existência. Criado em 1937, durante o governo de Getúlio Vargas, para “organizar a documentação relativa à história e ao estado atual das doutrinas e técnicas pedagógicas” e “promover inquéritos e pesquisas”, entre outras atribuições, o Inep tornou-se uma instituição-chave para as políticas educacionais brasileiras especialmente a partir de 1997, quando passou a ser uma autarquia ligada ao Ministério da Educação (MEC).

Atualmente, o Inep é o órgão oficial responsável por levantamentos estatísticos educacionais e por avaliações de larga escala na educação básica e superior. “O sistema de informações educacionais brasileiro é comparável aos melhores do mundo”, comenta o coordenador do Laboratório de Estudos sobre Educação Superior da Universidade Estadual de Campinas (LEES/Unicamp), Renato Pedrosa. “Países como a Índia sequer sabem exatamente o número de alunos matriculados nas escolas.”

As informações geradas pelo Inep subsidiam as mais diversificadas ações e políticas públicas: a criação de indicadores de qualidade como o Índice de Desenvolvimento da Educação Básica (Ideb), o credenciamento de instituições de ensino superior que usa como insumo o Exame Nacional de Desempenho de Estudantes (Enade) ou até a distribuição de bolsas do Programa Universidade para Todos (ProUni), que adota como parâmetro o desempenho dos estudantes no Enem.

Apesar disso, à medida que aumenta a relevância do instituto, intensifica-se o debate em torno da utilização das informações produzidas pelo órgão. Nesse sentido, Renato Pedrosa pontua, por exemplo, que embora os dados produzidos pelo Inep sejam de qualidade, a maneira como os resultados são usados em programas governamentais merece atenção. “É preciso avançar na discussão sobre o uso das avaliações para qualificar as políticas”, afirma.

Para o economista Sergio Firpo, professor e pesquisador do Insper, o desafio que se apresenta é aprimorar o uso dos dados para a avaliação das políticas educacionais. “Coletar e divulgar informações para a sociedade é o grande mérito do Inep. Mas a transparência sobre como os dados são produzidos e seu uso para accountability precisam ser reforçados.”

Já o coordenador da Campanha Nacional pelo Direito à Educação, Daniel Cara, defende o papel do Inep como “órgão inteligente capaz de subsidiar a tomada de decisão” através de análises e pesquisas. “O Inep poderia trazer para o debate público temas relevantes para pensar a educação. Seria uma maneira de qualificar a discussão.”

A pergunta que surge, então, é: a massa de dados e informações produzidos pelo Inep está servindo plenamente à implementação de políticas capazes de diagnosticar e incidir sobre os problemas da educação brasileira?

A resposta para essa questão não é simples, pois envolve uma diversidade de aspectos – da metodologia adotada para a produção das estatísticas à apropriação das informações por gestores, professores e a sociedade em geral, passando pelo acesso aos dados das bases geradas pelos levantamentos e avaliações.

Identidade e missão

Nesse cenário, uma questão que surge é o aumento do espectro de atuação do Inep, especialmente a partir de 2009, quando o Enem se consagrou como o principal instrumento de seleção de estudantes para a educação superior.

“O Inep assumiu novas atribuições que não tinha e que envolvem um enorme grau de complexidade”, destaca a secretária executiva do Ministério da Educação, Maria Helena Guimarães de Castro, que foi presidente do órgão entre 1995 e 2002.

A trajetória do Inep nos últimos 20 anos ilustra esse processo. Na segunda metade da década de 1990, quando foi reestruturado, o instituto se concentrava na realização do Censo Escolar, do Censo da Educação Superior e na aplicação das provas do Sistema de Avaliação da Educação Básica (Saeb).

Hoje, operacionaliza um exame como o Enem que teve 8,6 milhões de inscrições e envolveu 660 mil pessoas na realização da prova em 2016 – realiza, também, periodicamente, censos e avaliações da educação básica e superior, além de produzir indicadores de qualidade.

Nesse contexto, o desafio é equacionar as ações e atividades do instituto de modo a não perder o foco. Uma medida nessa direção, defende a secretária executiva do MEC, é a reformulação do Enem anunciada em março.

A partir de 2017, o exame deixará de oferecer certificação de conclusão do ensino médio, o que deverá reduzir o número de inscritos em pelo menos 1 milhão de estudantes, calcula a gestora. Esses estudantes poderão obter a certificação por meio do Exame Nacional para Certificação de Competências de Jovens e Adultos (Encceja), também realizado pelo Inep.

Além disso, o desempenho dos estudantes no Enem não será mais utilizado para calcular o Enem por Escola. O uso como insumo de um indicador de qualidade de escolas é alvo de polêmica, dividindo opiniões entre aqueles que o consideram inadequado para essa medição (pois a participação dos estudantes no exame é voluntária) e aqueles que defendem sua validade enquanto sinalizador do ensino e da aprendizagem no secundário.

Essas medidas, ao lado do debate sobre a revisão dos indicadores da educação superior ao longo de 2017, têm como objetivo consolidar o sistema de avaliações educacionais brasileiro, defende a atual presidente do Inep, Maria Inês Fini “As mudanças no Enem e no Saeb visam fortalecer um sistema que está atingindo sua maturidade”, afirma.

Pensar a avaliação

Na medida em que a operacionalização de avaliações complexas como o Enem e o Saeb assumem relevância no espectro de atuação do Inep, isso afeta sua atuação no campo das políticas públicas.

“Um exame como o Enem envolve processos administrativos complexos e possui uma finalidade distinta das atribuições que caracterizam o Inep desde a década de 1990: a produção de estatísticas educacionais e as avaliações em larga escala”, diz o sociólogo Simon Schwartzman, presidente do Instituto de Estudos do Trabalho e Sociedade (Iets). “Com isso, deixa de haver clareza sobre a missão do Inep.”

Outro efeito colateral é o enfraquecimento do papel do Inep na realização de pesquisas instrumentais para subsidiar a tomada de decisões mais sustentadas no campo das políticas educacionais, assinala Romualdo Portela, da Faculdade de Educação da USP.

“É importante o que o Inep faz na produção de estatísticas educacionais e no acesso público aos bancos de dados. Já a outra faceta do Inep, a operacionalização de testes em larga escala, remete a um debate que vamos ter de fazer em algum momento: essa função não caberia a uma agência independente?”, questiona Portela.

Na mesma direção, o historiador Roberto Catelli Junior, coordenador do programa Educação de Jovens e Adultos da ONG Ação Educativa, crê que, ao se transformar num “instituto que realiza exames”, o Inep perde a capacidade de produzir pesquisas, prejudicando o diagnóstico de problemas e a análise dos impactos das políticas educacionais. “Não existem sequer relatórios sobre a aplicação do Enem ou Encceja, então não é possível avaliar seu impacto”, argumenta Catelli Junior.

O risco, na visão desses pesquisadores, é que as decisões relativas às políticas sejam fundamentadas em critérios subjetivos ou em percepções e crenças que não traduzem as reais necessidades.

“Existe uma overdose de avaliações desde a década de 1990, muitas delas censitárias, o que leva a pensar: por que fazer avaliações como a Prova Brasil? Não é necessário fazer uma avaliação censitária para realizar um diagnóstico. Esse tipo de exame só faz sentido se os resultados forem usados para gerenciar os sistemas, o que revela uma determinada orientação da política educacional”, analisa Romualdo Portela, da Feusp.

Em contrapartida, constata-se um baixo nível de aproveitamento desses resultados por aqueles que estão na linha de frente do processo educacional, ou seja, professores, coordenadores e diretores de escola, o que torna relativo o impacto dessas avaliações enquanto instrumentos para orientar ações voltadas, por exemplo, a melhorar a qualidade da aprendizagem.

A ausência de conexão dos resultados e indicadores aferidos nas avaliações de larga escala com as características locais ou com expectativas de aprendizagem é um dos fatores que explicariam isso. “Toda avaliação é qualitativa e envolve uma interpretação, o que exige o estabelecimento de critérios para definir se um resultado é ou não adequado”, defende Ocimar Alavarse, também professor da Feusp.

“Sem a interpretação a avaliação fica restrita a uma medição, especialmente num cenário em que as escolas não têm uma cultura de dados e pouco sabem o que fazer com esse resultado”, complementa. Por isso, defende Alavarse, as avaliações só fazem sentido se gerarem outras políticas que não sejam as próprias avaliações.

O uso dos dados

O consenso quanto à relevância do papel do Inep na produção de estatísticas e dados educacionais convive com o debate sobre a maneira como eles são usados. Um exemplo é o Enem por Escola, cujo uso como indicador de qualidade era considerado inadequado. Outro caso é o dos indicadores de qualidade da educação superior, fortemente baseados no Exame Nacional de Desempenho de Estudantes (Enade), adotados para credenciar instituições e autorizar cursos. “Em muitos casos, os indicadores produzidos são usados de maneiras que distorcem eles próprios, fazendo com que percam validade”, afirma Pedrosa.

Consequentemente, o propósito da avaliação acaba sendo distorcido, o que pode se agravar quando esse tipo de prática é adotado para estruturar políticas educacionais. “O ProUni trabalha com uma faixa de corte de 450 pontos. Mas por que 450 pontos?”, questiona ele.

Nesse sentido, o economista Reynaldo Fernandes, professor da USP e ex-diretor do Inep, defende que os resultados das avaliações devem ser usados para mobilizar a sociedade e para prestação de contas. A divulgação do Enem por Escola, por exemplo, abre espaço para que se use a informação da maneira que for mais conveniente. “Se as pes­soas têm a informação, podem avaliar da melhor maneira. A interpretação dos dados é aberta”, defende.

Afinar as avaliações e os indicadores de qualidade é, então, o desafio que se apresenta ao Inep – não apenas em função da necessidade de aprimorá-los e de mantê-los em sincronia com parâmetros internacionais, mas, também, no caso da educação básica, em decorrência das mudanças que serão implementadas com a nova Base Nacional Curricular Comum (BNCC). “A Base vai impactar as diretrizes curriculares, o Enem e o ordenamento jurídico das avaliações”, prevê Maria Inês Fini.

Na outra ponta, o acesso aos dados, especialmente para o público não especializado, merece mais atenção, enfatiza Gabriela Moriconi, pesquisadora da Fundação Carlos Chagas (FCC). “As estatísticas têm qualidade, a difusão das bases de dados tem ocorrido com relativa rapidez, mas há defasagem na divulgação para o usuário leigo.”

O efeito desse processo com diferentes sincronias é o enfraquecimento da capacidade de compreensão dos desafios da educação pela sociedade em geral, assim como por atores-chaves do setor (como diretores e professores), cuja adesão é fundamental para o sucesso de qualquer política educacional.