Ideb, inteligência artificial e a pergunta que realmente importa: os alunos estão aprendendo?

Duas discussões aparentemente distintas deveriam estar ocupando a mesma mesa dos gestores educacionais brasileiros: o Ideb e a inteligência artificial.

Em artigo publicado no Valor Econômico, o economista Naercio Menezes Filho aproxima justamente esses dois temas. Ao analisar os resultados recentes do Ideb, chama atenção para uma questão que não pode ser ignorada: depois de avanços importantes nas primeiras décadas deste século, a evolução da aprendizagem brasileira perdeu força. Ao mesmo tempo, uma nova tecnologia entra rapidamente nas escolas e promete personalização, tutoria individual, produção de materiais, correção de atividades e apoio ao professor.

A pergunta parece inevitável: a inteligência artificial poderá finalmente nos ajudar a fazer os alunos aprenderem mais?

Talvez.

Mas há uma pergunta anterior, mais importante: o que estamos chamando de aprendizagem?

Essa questão é decisiva porque podemos cometer com a inteligência artificial o mesmo equívoco que algumas vezes cometemos com os indicadores educacionais: confundir o instrumento com o resultado.

O Ideb é indispensável. Criou uma linguagem nacional para discutir desempenho educacional e tornou mais visíveis problemas que antes ficavam escondidos nas médias de aprovação. Ao combinar fluxo escolar e proficiência em Língua Portuguesa e Matemática, permitiu acompanhar redes e escolas ao longo do tempo.

Mas o indicador não é a aprendizagem. Ele é uma medida dela — e uma medida necessariamente parcial.

Esse cuidado encontra respaldo na literatura sobre avaliação educacional. Estudos sobre modelos de valor agregado mostram que indicadores como o Ideb oferecem informações importantes, mas não conseguem, isoladamente, determinar quanto da aprendizagem observada foi efetivamente produzido pela escola. Características socioeconômicas, conhecimentos prévios e diferentes trajetórias dos estudantes interferem nos resultados. Modelos longitudinais, justamente por considerarem a proficiência anterior, procuram aproximar-se do ganho de aprendizagem produzido durante determinado período. 

4hPSPhzsDvHsLk5y7MMXLJB.pdf

Essa distinção deveria modificar nossa pergunta.

Em vez de perguntarmos apenas qual escola alcançou determinado Ideb, deveríamos perguntar: quanto cada estudante sabia quando entrou, quanto sabe agora e quais experiências de ensino contribuíram para essa mudança?

É exatamente nesse ponto que a inteligência artificial se torna particularmente interessante.

A IA pode diminuir a distância entre ensinar e saber se o aluno aprendeu

Na sala de aula convencional existe uma limitação estrutural conhecida por qualquer professor.

Um docente ensina simultaneamente 25, 30 ou 40 estudantes que chegam à aula com repertórios diferentes, ritmos diferentes, dificuldades diferentes e histórias diferentes de aprendizagem.

O professor explica.

Propõe uma atividade.

Alguns aprendem imediatamente. Outros precisam de novos exemplos. Alguns necessitam de mais exercícios. Outros já poderiam avançar. Há ainda aqueles que não compreenderam um pré-requisito ensinado meses ou anos antes.

O problema é que todos continuam submetidos, em grande medida, ao mesmo relógio.

É nesse ponto que a discussão apresentada por Menezes Filho ganha força. Ele menciona estudos recentes sobre sistemas de tutoria apoiados por inteligência artificial e chama atenção para resultados promissores quando a tecnologia é estruturada pedagogicamente.

Isso é muito diferente de simplesmente permitir que o estudante abra um chatbot e pergunte a resposta.

Uma IA educacional bem desenhada pode identificar a resposta do aluno, apresentar uma nova tarefa, analisar o desempenho, fornecer uma dica, alterar o grau de dificuldade, solicitar outra tentativa e oferecer feedback praticamente imediato.

Do ponto de vista da aprendizagem, isso é extraordinariamente relevante.

Porque aprendizagem não depende simplesmente da exposição à informação.

Depende das condições nas quais o estudante age sobre determinado conhecimento e das consequências que recebe diante de suas respostas.

É justamente aí que uma leitura da Análise do Comportamento pode contribuir para o debate.

B. F. Skinner já alertava para a necessidade de explicar o comportamento a partir das relações entre respostas e condições ambientais, em vez de recorrer apenas a características abstratas atribuídas ao indivíduo. 

cic3aancia-e-comportamento-humano-b-f-skinner.pdf

Transportado para a educação, isso produz uma mudança importante de perspectiva.

Quando um estudante não aprende, nossa primeira pergunta não deveria ser “o que há de errado com esse aluno?”, mas “o que precisamos modificar nas condições de ensino para aumentar a probabilidade de ele aprender?”

Essa é uma diferença enorme.

Talvez a IA seja menos importante por aquilo que sabe do que pela velocidade com que pode responder ao aluno

Durante décadas, um dos grandes problemas da escola foi o intervalo entre o desempenho do estudante e o feedback sobre esse desempenho.

O aluno faz uma atividade hoje.

O professor corrige depois.

A devolutiva ocorre dias mais tarde.

Quando finalmente recebe o resultado, muitas vezes o contexto de aprendizagem já mudou.

A IA pode reduzir radicalmente esse intervalo.

E isso talvez seja pedagogicamente mais revolucionário do que sua capacidade de produzir textos.

Imagine um estudante resolvendo uma sequência matemática.

Ele responde incorretamente.

O sistema não simplesmente apresenta a resposta correta. Identifica o tipo de erro, reduz temporariamente a complexidade da tarefa, oferece uma pista, apresenta um exemplo semelhante e solicita nova resposta.

Se houver acerto, aumenta gradualmente a dificuldade.

Se houver novo erro, reorganiza a sequência.

Nesse cenário, a tecnologia começa a funcionar como uma ferramenta de programação do ensino.

Pesquisas da Análise do Comportamento sobre aprendizagem sem erro demonstram há décadas a importância de organizar cuidadosamente as contingências de ensino. Melo, Carmo e Hanna mostram que procedimentos adequadamente programados podem produzir desempenhos precisos com poucos erros e que erros repetidos podem gerar efeitos que vão muito além de uma resposta incorreta: podem produzir comportamentos emocionais, esquiva da tarefa e até esquiva do professor. 

Ensino Sem Erro e Aprendizagem de Discriminação(1).pdf

Isso deveria interessar enormemente a quem está desenvolvendo inteligência artificial para educação.

A questão não é simplesmente fazer uma máquina que responda perguntas.

É construir sistemas capazes de organizar oportunidades de aprendizagem.

Mas existe uma armadilha

A mesma inteligência artificial que pode melhorar extraordinariamente as condições de ensino pode eliminar justamente o comportamento que pretendemos ensinar.

Se o estudante precisa escrever e a IA escreve por ele, não necessariamente houve aprendizagem da escrita.

Se precisa resolver um problema e a IA apresenta imediatamente a solução, não necessariamente houve aprendizagem matemática.

Se precisa argumentar e o sistema produz o argumento, não necessariamente houve aprendizagem da argumentação.

Podemos produzir trabalhos escolares melhores e estudantes menos competentes.

Esse paradoxo precisa entrar urgentemente na agenda educacional.

O artigo de Menezes Filho toca exatamente nesse problema ao discutir evidências segundo as quais o uso livre de ferramentas generativas pode produzir resultados muito diferentes do uso de sistemas estruturados como tutores.

Essa distinção é fundamental.

IA que substitui o comportamento do estudante é diferente de IA que cria condições para que o estudante aprenda a emitir esse comportamento.

Uma faz pelo aluno.

A outra ensina o aluno a fazer.

E educação continua sendo a segunda coisa.

O professor torna-se ainda mais importante

Existe outro equívoco recorrente nessa discussão: imaginar que quanto mais inteligente for a tecnologia, menos necessário será o professor.

Pode ocorrer exatamente o contrário.

Quanto maior a capacidade tecnológica disponível, mais sofisticadas precisarão ser as decisões pedagógicas.

Alguém terá de definir o que precisa ser aprendido.

Alguém terá de identificar os comportamentos e conhecimentos pré-requisitos.

Alguém terá de selecionar boas tarefas.

Alguém terá de interpretar os erros.

Alguém terá de decidir quando oferecer ajuda e quando retirar essa ajuda.

Alguém terá de verificar se o estudante consegue utilizar aquilo que aprendeu em situações diferentes daquelas nas quais foi ensinado.

Esse alguém continua sendo o professor.

Minha própria pesquisa sobre materiais didáticos já apontava para algo semelhante antes da atual explosão da inteligência artificial: recursos educacionais não produzem seus efeitos independentemente das condições nas quais são utilizados. O estudo mostrou a importância da interação entre professores e estudantes, do uso intencional de recursos tecnológicos e da construção de ambientes colaborativos de aprendizagem. 

01+17500+DOXA+2023+PT.pdf

Troquemos agora “livro didático” por “inteligência artificial” e a advertência permanece atual.

A ferramenta não ensina sozinha.

É o desenho pedagógico que transforma uma tecnologia em tecnologia educacional.

Precisamos medir o que acontece entre dois Idebs

Talvez esse seja o ponto em que as duas discussões finalmente se encontram.

O Ideb olha para o resultado agregado.

A inteligência artificial pode nos ajudar a enxergar o processo.

Entre uma avaliação externa e outra existem milhares de pequenas oportunidades de aprendizagem: uma questão respondida, um erro cometido, uma explicação recebida, uma nova tentativa, uma habilidade adquirida, uma dificuldade superada.

É aí que a educação acontece.

Por isso, sistemas educacionais deveriam começar a utilizar IA não apenas para produzir planos de aula, apresentações, relatórios ou materiais. Esses usos podem aumentar produtividade, mas são periféricos diante da oportunidade que temos.

A grande possibilidade está em utilizar tecnologia para construir ciclos cada vez mais curtos entre ensinar, observar, avaliar, intervir e ensinar novamente.

Isso também muda a gestão escolar.

O gestor deixa de olhar somente para o resultado final e passa a acompanhar evidências intermediárias: quais habilidades foram consolidadas, onde os estudantes estão errando, quais turmas deixaram de avançar, quais intervenções funcionaram e quais precisam ser redesenhadas.

O indicador deixa de ser sentença e passa a ser informação para decisão.

Há evidências importantes nessa direção. Estudos longitudinais sobre eficácia escolar indicam que acompanhar o ganho de proficiência dos estudantes pode fornecer informações mais próximas da contribuição efetiva da escola do que simplesmente observar seu desempenho em determinado momento. 

4hPSPhzsDvHsLk5y7MMXLJB.pdf

Essa talvez seja a mudança conceitual de que precisamos.

Uma escola de qualidade não é simplesmente aquela que possui um Ideb elevado.

É aquela que consegue demonstrar que seus estudantes aprendem continuamente.

A pergunta para a próxima década

A inteligência artificial provavelmente se tornará infraestrutura básica da educação.

Estará nos materiais didáticos, plataformas, avaliações, ambientes virtuais, sistemas de gestão e, sobretudo, nos dispositivos utilizados pelos próprios estudantes.

Tentar impedir esse movimento seria pouco realista.

Mas aceitá-lo sem critérios pedagógicos seria igualmente irresponsável.

A questão estratégica para redes de ensino, escolas e professores não deveria ser quantas ferramentas de inteligência artificial utilizamos.

Também não deveria ser quantos computadores entregamos ou quantas licenças adquirimos.

Deveria ser muito mais simples e muito mais exigente:

depois de introduzirmos essa tecnologia, nossos alunos aprenderam mais?

Se a resposta for positiva, precisamos identificar quais condições produziram esse resultado e ampliá-las.

Se for negativa, precisamos modificar o ensino.

E se não soubermos responder, temos um problema ainda maior: estamos inovando sem saber se a inovação funciona.

O Ideb continuará importante. A inteligência artificial também.

Mas nenhum dos dois pode ocupar o lugar daquilo que justifica a existência da escola.

No fim das contas, a medida mais importante continua sendo uma só: o que o estudante não conseguia fazer antes do ensino e passou a conseguir fazer depois dele.

Isso é aprendizagem.

E deveria ser também o principal indicador de sucesso da educação brasileira.