As mudanças no Pisa

A próxima edição do Programa Internacional de Avaliação de Alunos (Pisa), que será realizada em 2012, acontecerá sob novos moldes. Isso porque está prevista a aplicação de uma prova eletrônica, diferente daquela em papel, para uma subamostra de 256 escolas brasileiras (a amostragem total da avaliação é de 25 mil alunos, o que envolve 902 escolas). A notícia foi anunciada em setembro pelo gerente nacional do Pisa, João Galvão Bacchetto, em palestra para alunos do Programa de Pós-Graduação da Faculdade de Educação da Universidade de São Paulo (Feusp). Em entrevista a seguir, o funcionário do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) aponta, entre outros assuntos, as dificuldades na aplicação da prova eletrônica, como a incompatibilidade de sistemas - o Pisa foi concebido para Windows, enquanto muitas escolas usam o Linux.

Pelo que o senhor apurou, quais serão as principais dificuldades na aplicação da prova eletrônica?
O Pisa tem algumas necessidades de equipamento e software que nem sempre são atendidas pelos laboratórios da escola. Claro, ainda há escolas sem laboratórios, mas a grande maioria já está equipada. Mesmo essas não estão com equipamentos de que o Pisa necessita para aplicar prova. Na verdade, nesse caso, é o Pisa que tem de se adaptar à escola brasileira. Então, já acionamos  a Organização para a Cooperação e Desenvolvimento Econômico (OCDE) para que os itens da prova eletrônica sejam feitos em Linux, que é o sistema mais utilizado no Brasil, enquanto nos outros países quase todos usam sistema Windows. Esperamos que na edição de 2015 tenhamos uma prova que "rode" nas necessidades das escolas.

As escolas usam mais Linux?Existem escolas que usam Linux e escolas que usam Windows no Brasil. Só que a política nacional de distribuição de computadores é baseada em Linux, que é um sistema mais barato em termos de garantir que se expanda mais rapidamente a nossa rede de computadores. Muitas vezes esse computador é doado à escola e ela não pode remover o sistema, que é bom. A questão é que não faz sentido um país enorme como o Brasil ter de se desdobrar para aplicar uma prova porque o sistema eletrônico não é o adequado.

O que muda para o aluno com a prova eletrônica?
Ainda não coletamos o pré-teste da prova, mas há questões, por exemplo, que são de leitura de e-mail. Ele tem de procurar uma informação, voltar com essa informação e responder o e-mail. Não é nada que um aluno de 15 anos não faça às vezes, nem que não seja na escola, mas na lan-house. Acredito que muitos recursos de letramento digital já estão nos alunos de 15 anos, mesmo em pequenas cidades do Brasil.

Haverá mudanças na matriz de avaliação do Pisa? Quando você vai compor uma prova, tem de escolher quais tipos de itens você vai usar. Um item de uma prova eletrônica pode usar, por exemplo, uma tabela, um texto e mais um e-mail. Isso causa uma alteração na composição do exame e você tem de mudar a matriz. Se o aluno acerta a questão do e-mail, na hora em que você for fazer a interpretação pedagógica com a escala, você vai precisar ter um item dizendo que ele é capaz de dominar tal e tal habilidade do letramento digital. Como ainda não aplicamos a prova eletrônica, não sei dizer como as escalas (da prova em papel e da eletrônica) vão conversar. Que eu saiba, a escala eletrônica é independente da escala de papel.

Os aplicadores externos passarão por treinamento para aplicar a prova eletrônica?Sim. A prova é um pen-drive que vem criptografado e só roda em determinadas condições. O aplicador precisa ter a senha de administrador, e o computador não pode ter vírus. Ele precisa passar um antivírus que vai no pen-drive junto com a prova. Só depois dessa verificação é que ele chama os alunos.

A intenção dos senhores é aplicar a prova eletrônica em toda a amostra de escolas em 2015?Vamos aplicá-la em uma sub-amostra de 256 escolas justamente por conta da condição dos laboratórios. Não teria sentido aplicar a prova em todas as escolas neste momento. Vamos aprender muito para, eventualmente, se a OCDE mudar o sistema de prova para ser compatível com o Linux, em 2015, aplicarmos em todas as escolas da amostra.

Como a amostra de escolas é definida? A primeira coisa que definimos são os estratos pelos quais queremos resultados. No nosso caso, definimos 'por estado' e 'por dependência administrativa'. Outro aspecto são os estratos implícitos, aqueles que você não precisa ter resultado, mas precisa que sejam considerados. Exemplos: o Índice de Desenvolvimento Humano (IDH), o tamanho das escolas (variável que a OCDE solicita), o nível ofertado pelas escolas (médio, fundamental,
ou os dois).

Como os senhores garantem que a amostra não contempla mais escolas particulares do que públicas? É possível ter uma amostra dessa maneira, sim. Mas você põe um peso na nota final de cada aluno, ou seja, equaliza-se o resultado pelo peso que você dá à nota daquele aluno. Você abaixa ou aumenta o peso da nota. A nota do aluno será equivalente à participação dele na população.

Desde que o país começou a aplicar o Pisa, o que se conseguiu de informações sobre nossos alunos?Os alunos estão progredindo dentro das séries. Na faixa etária avaliada pelo Pisa (15 anos), o aluno pode estar da 7ª série até o 3º colegial. O que você observa ao longo dos anos é que houve uma progressão desses estudantes para os níveis mais altos: 1º, 2º e 3ºos anos do ensino médio. Observamos que houve crescimento significativo não só do resultado, mas também dos indicadores de fluxo dos estudantes.

O que não significa que estamos em um patamar considerado adequado, apesar de o país ter sido um dos que mais cresceram na última edição da prova. Há países que regrediram, pioraram seu desempenho. Acredito que obtivemos uma melhora. O ideal é continuar assim, porque temos uma dívida educacional muito grande.

entrevista - 

João Galvão Bacchetto, gerente nacional do Pisa no Brasil, fala sobre a introdução da prova eletrônica na avaliação internacional em 2012.

FONTE: Revista Educação-UOL