O novo instrumento de avaliação externa, está em fase final de ajustes para sua divulgação e regulação oficial. Todas as IES estão a espera e contribuindo para seu aperfeiçoamento.Eu estive presente em Brasilia, em todas as etapas desse processo ou no IPEA, no setor de educação ou no CFE.

 

A experiência brasileira na avaliação

A experiência brasileira na avaliação institucional externa do ensino superior, é uma das mais abrangentes da América Latina. Ao longo de cerca de três décadas, o país passou por diferentes modelos de avaliação, culminando na criação do Sistema Nacional de Avaliação da Educação Superior (SINAES), instituído pela Lei nº 10.861/2004. O objetivo foi integrar avaliação, regulação e supervisão  da  qualidade  do  ensino  superior, substituindo modelos fragmentados por um sistema mais amplo e multidimensional.

 

Evolução histórica

A experiência brasileira pode ser dividida em quatro grandes momentos:

1.Período experimental (anos 1980 e início dos anos 1990)

As avaliações eram voluntárias, conduzidas principalmente pelas universidades públicas. Predominava uma concepção formativa, baseada na reflexão institucional e no aperfeiçoamento da gestão.

2.PAIUB (1993–1995)

O Programa de Avaliação Institucional das Universidades Brasileiras introduziu a cultura da autoavaliação institucional, enfatizando participação da comunidade acadêmica, autonomia universitária e melhoria contínua. Embora inovador, possuía baixa capacidade de induzir mudanças nacionais, por não estar vinculado aos processos regulatórios.

O Exame Nacional de Cursos concentrou-se principalmente no desempenho dos concluintes. O sistema produzia rankings das instituições, o que aumentou sua visibilidade pública, mas recebeu críticas por reduzir a qualidade institucional ao resultado de uma única prova aplicada aos estudantes.

4.SINAES (a partir de 2004) Lei nº 10.861/2004

O SINAES buscou superar essa limitação ao integrar três componentes:

1. avaliação institucional;

2. avaliação dos cursos;

3. avaliação do desempenho dos estudantes (ENADE).

Além disso, incorporou visitas in loco realizadas por comissões externas de avaliadores do Inep, fortalecendo a avaliação institucional externa.

 

Como funciona a avaliação institucional externa

A avaliação externa é conduzida por comissões de especialistas designadas pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep).

• Plano de Desenvolvimento Institucional (PDI) do qual tive no CFE, como um dos propositores desse instrumento no processo de criação e reconhecimento de universidades.

• Gestão institucional;

• Políticas acadêmicas;

• Pesquisa;

• Extensão;

• Inovação;

• Responsabilidade social;

• Infraestrutura;

• Políticas de pessoal;

• Sustentabilidade financeira;

• Resultados da autoavaliação.

Após análise documental e visita in loco, a instituição recebe um conceito de 1 a 5.

Esse resultado subsidia decisões de credenciamento, recredenciamento e supervisão pelo MEC.

 

Principais avanços

A experiência brasileira apresenta diversos aspectos positivos.

1. Avaliação multidimensional

Não se restringe ao desempenho dos estudantes. Considera:

• Gestão;

• Ensino;

• Pesquisa;

• Extensão;

• Infraestrutura;

• Responsabilidade social.

 

2. Cultura de autoavaliação

A criação das Comissões Próprias de Avaliação (CPA) consolidou práticas permanentes de reflexão institucional. A avaliação interna criou, ao longo dos anos ,a cultura dos próprios agentes do processo se convencerem que eles mesmos deveriam se autoavaliar e a CPA foi o coroamento disso tudo e de suma importância, quando conduzida com critérios e isenção.

3. Formação de banco nacional de avaliadores

O MEC , através do INEP, criou o Banco de Avaliadores e dispõe hoje de milhares de especialistas capacitados para realizar avaliações externas e, todos os anos, há um aperfeiçoamento desse banco com a inclusão de novos avaliadores e também a exclusão de outros.

 

4. Transparência

Indicadores como Conceito Institucional (CI), Conceito Preliminar de Curso (CPC) e Índice Geral de Cursos (IGC) tornaram públicas informações antes restritas ao MEC.

 

5. Integração entre avaliação e regulação

A avaliação passou a orientar processos regulatórios e de supervisão.

 

LIMITAÇÕES E CRÍTICAS

- Excessiva burocratização

Grande parte do esforço institucional concentra-se na produção de documentos para atender aos instrumentos avaliativos. Em muitos casos, prepara-se a visita e não necessariamente melhora-se a qualidade.

- Padronização excessiva

O mesmo instrumento é aplicado a instituições extremamente distintas:

• Universidades de pesquisa;

• Centros universitários;

• Faculdades isoladas;

• Instituições confessionais;

• Instituições comunitárias;

• Instituições privadas com fins lucrativos.

Essa uniformização, reduz a capacidade de captar missões institucionais específicas. Cada IES está localizada numa região que tem sua própria vocação econômica, social e cultural e isso precisa ser levado em conta na hora de aplicar um instrumento de avaliação o que , lamentavelmente, não ocorria e isso criava distorções, muitas vezes incompreendidas e com justa razão.

 

Predomínio do cumprimento formal

Diversos indicadores medem existência de políticas, regulamentos e documentos, mas avaliam menos sua efetividade. Levar um Pen Drive contendo os indicadores já definidos, com critério único não permitira muitos avanços nas Comissões Externas. Aperta a botão e lá vai o conceito.

Há instituições excelentes na documentação, porém frágeis na formação dos estudantes.

 

Pouca centralidade dos resultados educacionais

O sistema observa muito os processos institucionais e relativamente pouco aquilo que realmente importa:

• Aprendizagem;

• Competências desenvolvidas;

• Inserção profissional;

• Impacto social dos egressos.

Influência regulatória

Como os resultados afetam autorização e recredenciamento, muitas instituições passam a organizar suas ações visando obter boa avaliação, e não necessariamente melhorar a formação acadêmica.

 

UM DESAFIO PERMANENTE

Após mais de vinte anos de SINAES, muitos pesquisadores apontam uma tensão entre dois modelos de avaliação:

• Avaliação para melhoria institucional, de caráter formativo;

• Avaliação para controle estatal, de caráter regulatório.

Na prática, o segundo tende a prevalecer, o que pode reduzir o potencial transformador da avaliação institucional.

 

UMA ANÁLISE CRÍTICA DA NOVA PROPOSTA

A experiência brasileira representa um avanço importante em relação aos modelos anteriores, especialmente por abandonar a lógica exclusivamente baseada em exames e adotar uma visão mais abrangente da qualidade institucional. Entretanto, permanece marcada por uma contradição: busca avaliar a qualidade da educação superior, mas dedica grande parte de seus esforços à verificação da conformidade documental e do atendimento a requisitos regulatórios.

Além disso, a utilização de instrumentos praticamente padronizados para instituições com missões, perfis e contextos muito distintos limita a capacidade do sistema de reconhecer diferentes formas de excelência acadêmica. Um modelo mais eficaz combinaria um núcleo comum de indicadores nacionais com critérios específicos por tipo de instituição e por área do conhecimento, incorporando evidências mais robustas sobre aprendizagem, inovação, impacto social, produção científica, empregabilidade e desenvolvimento regional. Dessa forma, a avaliação deixaria de ser predominantemente um mecanismo de controle para tornar-se, de fato, um instrumento de melhoria contínua da qualidade do ensino superior sei que adotar uma nova forma de avaliar, no atual cenário, é mais cara, mas difícil de encontrar avaliadores e mais difícil de implantação, mas seria mais eficaz.

Estrutura

O novo modelo repaginado, continua mantendo três dimensões clássicas:

1. Organização didático-pedagógica

Analisa PPC, currículo, metodologias, avaliação da aprendizagem, estágio, extensão, integração teoria-prática, inclusão, inovação pedagógica.

2. Corpo docente

Examina titulação, regime de trabalho, experiência, produção, aderência ao curso, formação continuada, atuação acadêmica e vínculo com o projeto pedagógico.

3. Infraestrutura

Verifica bibliotecas, laboratórios, salas, acessibilidade, ambientes virtuais, tecnologia, polos EaD, equipamentos e condições reais de funcionamento.

4. Dimensão específica por área

É a novidade mais relevante. A consulta pública do Inep aponta critérios próprios para áreas como Educação, Saúde, Engenharia, Computação, Ciências Sociais, Negócios, Artes, Serviços e outras.

 

Funcionalidades

O instrumento serve para orientar visitas in loco, subsidiar autorização, reconhecimento, renovação de reconhecimento, credenciamento e recredenciamento. O próprio Inep diz que a avaliação in loco é um dos pilares do Sinaes e fornece base para regulação, supervisão, políticas públicas e informação à sociedade.

Portanto, ele não é “apenas mais um” se for bem aplicado. Mas pode virar apenas mais um se for reduzido a checklist burocrático como vinha ocorrendo e a instituição já estava preparada para responder.

 

PONTOS FORTES

O primeiro avanço é reconhecer a diversidade das áreas. Um curso de Medicina exige hospital, prática clínica, simulação, preceptoria e cenários de atenção à saúde. Um curso de Computação exige laboratórios atualizados, projetos, dados, IA, segurança, programação e vínculo com inovação. Um curso de Pedagogia exige prática escolar, alfabetização, didática, estágio real e formação docente. A régua única empobrece a avaliação.

O segundo avanço é a tentativa de tornar a avaliação mais formativa, não apenas punitiva. A proposta fala em avaliação dialógica, crítica, capaz de induzir melhoria contínua.

O terceiro ponto positivo é a abertura à consulta pública. Isso dá legitimidade, ainda que a participação social só seja útil se as contribuições realmente mudarem o instrumento.

 

PONTOS FRACOS

O maior risco é a burocratização sofisticada: trocar indicadores antigos por novos nomes objetos, atributos, qualificadores sem alterar a cultura avaliativa. Se a visita continuar baseada em documentos montados para “receber comissão”, o instrumento produzirá aparência de qualidade, não qualidade real.

 

É IMPORTANTE OU É SÓ MAIS UM?

É importante como peça de um sistema, não como solução isolada. O Sinaes nasceu para avaliar instituições, cursos e desempenho dos estudantes, buscando melhoria da qualidade, orientação da expansão e responsabilidade social.

 

DEVE SER PADRÃO OU POR ÁREA?

A resposta correta é: núcleo comum + parte específica por área.

Deve haver um padrão nacional mínimo para garantir comparabilidade: ética, infraestrutura básica, acessibilidade, docentes qualificados, PPC coerente, avaliação da aprendizagem, extensão, gestão acadêmica e compromisso social.

Mas a avaliação decisiva deve ser por área. Não se avalia Engenharia como se avalia Pedagogia. Não se avalia Medicina como se avalia Administração. Não se avalia Computação com critérios genéricos de sala, biblioteca e currículo. A Dimensão 4 é, portanto, o caminho certo — mas precisa ter peso real, não ser enfeite.

COMO SERIA MELHOR A MEU JUÍZO

Para mim o melhor modelo teria cinco camadas:

1. Base comum nacional, com critérios obrigatórios para todos os cursos.

2. Dimensão específica por área, construída por especialistas, conselhos profissionais, universidades públicas e privadas sérias, setor produtivo e entidades científicas.

3. Indicadores de resultado, incluindo aprendizagem, Enade, IDD, evasão, conclusão, empregabilidade, produção acadêmica, inovação, impacto social e continuidade dos egressos.

4. Avaliação qualitativa forte, com visita real, entrevistas com alunos, docentes, egressos, empregadores e análise de trabalhos produzidos pelos estudantes.

5. Consequências regulatórias proporcionais, premiando cursos excelentes, exigindo plano de recuperação dos medianos e fechando cursos fraudulentos ou estruturalmente ruins.

 

MINHA CONCLUSÃO CRÍTICA: o novo instrumento é um avanço, especialmente por introduzir critérios por área. Mas ainda corre o risco de permanecer preso à lógica cartorial. Para avaliar de verdade, o Brasil precisa sair da pergunta “o curso tem documentos?” e entrar na pergunta decisiva: que profissional, pesquisador e cidadão esse curso está formando?

É mais um ponto que considero uma das maiores fragilidades da avaliação da educação superior brasileira: o instrumento avalia muito mais o que a instituição declara oferecer do que aquilo que o estudante efetivamente recebeu.

 

Se a pergunta central da avaliação fosse “o aluno recebeu a formação que lhe foi prometida?”, o desenho do instrumento seria bastante diferente.

Hoje, a avaliação concentra-se em aspectos como:

• Coerência do projeto pedagógico;

• Qualificação do corpo docente;

• Infraestrutura;

• Organização acadêmica;

• Processos de gestão.

Tudo isso é importante, mas são indicadores de meios, não necessariamente de resultados.

A pergunta que deveria orientar toda avaliação é: o estudante concluiu o curso com as competências, conhecimentos,  habilidades para resolver problemas e se enquadra melhor no mercado onde vai desenvolver seu projeto de vida.?

E mais.

O principal problema na construção de um instrumento de avaliação do ensino superior é um paradoxo: como criar um instrumento que seja, ao mesmo tempo, comparável entre instituições diferentes e sensível às especificidades de cada área do conhecimento e do contexto institucional.

Essa dificuldade gera uma série de desafios.

1. Equilibrar padronização e diversidade. Um curso de Medicina, um de Engenharia, um de Filosofia e um de Música têm objetivos, metodologias e formas de aprendizagem muito diferentes. Um instrumento excessivamente padronizado tende a medir apenas aspectos genéricos e deixa de captar a qualidade específica de cada formação. Por outro lado, um instrumento totalmente específico dificulta comparações nacionais.

2. Medir processos ou resultados? É mais importante avaliar infraestrutura, titulação docente e currículo (insumos e processos) ou aquilo que o estudante efetivamente aprende e consegue fazer (resultados)? Um bom sistema precisa integrar ambos, mas isso é metodologicamente complexo.

3. Evitar burocratização. Muitas avaliações acabam verificando se documentos existem e se procedimentos foram cumpridos, sem demonstrar que esses elementos produziram melhor formação. O risco é transformar a avaliação em uma auditoria documental, em vez de uma análise da qualidade acadêmica.

4. Considerar o perfil dos estudantes. Instituições atendem públicos muito diferentes. Uma universidade que recebe alunos altamente preparados terá resultados distintos daquela que promove forte inclusão social. Avaliar apenas os resultados finais pode ser injusto; avaliar apenas o esforço institucional também pode mascarar deficiências. O ideal é medir o chamado “valor agregado” pela instituição.

5. Captar a qualidade da aprendizagem. Competências como pensamento crítico, criatividade,  capacidade  de  pesquisa,  ética  e resolução de problemas são essenciais, mas difíceis de mensurar por indicadores simples.

6. Evitar comportamentos oportunistas. Quando um indicador passa a determinar prestígio ou financiamento, instituições podem concentrar esforços em melhorar a nota, e não necessariamente a qualidade. Esse fenômeno é conhecido na literatura de avaliação como um efeito relacionado à Lei de Goodhart: quando uma medida se torna uma meta, ela tende a perder parte de sua capacidade de medir o fenômeno original.

 

O PONTO MAIS NEGLIGENCIADO

Na prática, um dos maiores problemas é que muitos instrumentos avaliam o que a instituição promete, mas não verificam suficientemente o que o estudante efetivamente recebeu.

Há uma diferença importante entre avaliar:

• O projeto pedagógico;

• As condições de oferta;

• A execução real do curso;

• Os resultados obtidos pelos estudantes.