Aula 07 – Prática de Ensino a Computação I

Vídeo da Aula

Avaliação e Efetividade do Processo de Ensino-Aprendizagem

Avaliar é indispensável em toda atividade humana e, portanto, fundamental para a aprendizagem participativa e a construção do conhecimento coletivo, pois ela é inerente e imprescindível em todo processo educativo no qual se realize um constante trabalho de ação-reflexão-ação.

Assim, para que possa contribuir com a construção de competências técnicas, sociais, políticas e culturais, a avaliação não pode ser um ato mecânico. Nesse sentido, é necessário investigar, indagar, avaliar a todo instante o trabalho e a ação educativa.

Enquanto objeto com possibilidades diagnósticas, vinculado ao processo de aprendizagem, é fundamental elaborar um projeto de avaliação que possa servir, a todo instante, como feedback para avaliar não só o indivíduo e seu conhecimento, mas, também, a proposta de ensino do facilitador de aprendizagem, possibilitando, assim, validar e/ou rever o seu trabalho a cada momento que for necessário. Em uma proposta de avaliação, não se pode dar ênfase somente a respostas certas ou erradas, mas, também, e com relevada importância, ao modo como as pessoas chegam a tais respostas, tanto as certas como as erradas.

O ser humano é uma totalidade que envolve saber, ser/conviver e saber fazer. Todas essas dimensões devem ter igual importância em sua formação. Portanto, a avaliação precisa considerar essa totalidade e não apenas o aspecto cognitivo, como habitualmente acontece na maioria dos processos avaliativos.

Toda e qualquer avaliação pressupõe objeto e critérios. Em um processo amplo de avaliação, é necessário analisar muitas questões, tais como os objetivos, os conteúdos e as propostas de intervenção didática com seus materiais e recursos utilizados. Os critérios são o referencial da avaliação e devem traduzir a natureza da proposta educacional da organização. Note que o termo critério significa discernimento e indica um parâmetro para julgar uma verdade. Trata-se de uma característica para avaliar algo – é o que serve de fundamento para um juízo. Em síntese, pode-se dizer que critério de avaliação é um princípio adotado como referência para julgar alguma coisa ou para avaliar o impacto de uma determinada aprendizagem.

O processo de avaliação deverá ser, portanto, coerente com a missão e as intenções estratégicas da organização e com o fato de que existem muitas formas de avaliar um processo de aprendizagem.
A avaliação deve ser realizada em função dos objetivos propostos, isto é, verificar em que nível as mudanças comportamentais foram alcançadas. Portanto, ela deve:

• ser contínua;
• possibilitar tomadas de decisão em relação ao planejamento;
• utilizar técnicas e instrumentos variados;
• prever a participação dos aprendizes.

Nessa perspectiva, Bloom, Hastings e Madaus (1983) apresentam quatro fases para um sistema de avaliação, conforme o que se segue.

1. Diagnóstica

• Determinar a presença ou ausência de habilidades que são pré-requisitos para efetivação das tarefas de ensino (diagnósticos dos programas).
• Determinar o nível inicial de conhecimentos dos aprendizes em relação ao conteúdo que será desenvolvido (pré-teste).

2. Formativa ou Avaliação de Processo

• Verificar se os aprendizes estão atingindo cada um dos objetivos propostos, localizando, dessa forma, as fases do processo de capacitação a fim de adotar técnicas corretivas (exercícios no decorrer do ensino).

3. Somativa

• Verificar em que medida o aprendiz atingiu os objetivos propostos (pós-teste).

4. Reação

• Verificar sentimentos e/ou satisfação após a conclusão da capacitação.
• Verificar se os elementos do curso (metodologia, facilitador, material, etc.) corresponderam às expectativas iniciais.

 

Os Quatro Níveis de Avaliação de Kirkpatrick

A avaliação da eficácia da capacitação frequentemente implica a utilização do modelo de quatro níveis desenvolvido por Donald Kirkpatrick. Segundo esse modelo, a avaliação sempre deve começar pelo nível um e, em seguida, dependendo da disponibilidade de tempo e orçamento, avançar sequencialmente pelos níveis dois, três e quatro. As informações de cada nível anterior servem como base para a avaliação do próximo nível. Portanto, cada nível sucessivo representa uma medida mais precisa da eficácia do programa de capacitação, mas, ao mesmo tempo, exige uma análise mais rigorosa e demorada.

Avaliação de Nível 1 – Reações

Como o próprio termo indica, a avaliação nesse nível mede as reações dos participantes ao programa de capacitação, buscando responder perguntas relacionadas às percepções dos participantes, tais como:

• Gostaram do curso?
• O material era relevante para o seu trabalho?

Esse tipo de avaliação frequentemente é chamado de “pesquisa de satisfação”. Segundo Kirkpatrick, cada programa de capacitação deve ser avaliado pelo menos nesse nível para permitir o seu aprimoramento. Além disso, as reações dos participantes têm consequências importantes para a aprendizagem (nível dois). Embora uma reação positiva não garanta a aprendizagem, uma reação negativa quase certamente reduz a sua possibilidade.

Ferramentas de avaliação

• Folhas de avaliação do programa
• Entrevistas pessoais
• Comentários dos participantes durante a capacitação
• Capacidade do curso em manter o interesse do aprendiz
• Percepção dos participantes quanto ao valor e à possibilidade de aplicação ao local de trabalho

Esse tipo de avaliação é barato e fácil de administrar, desde que se estabeleça a interação com os participantes e a adoção de formulários impressos ou on-line.

Avaliação de Nível 2 – Aprendizagem

Para avaliar a quantidade de aprendizagem proporcionada por um programa de capacitação, as avaliações de nível dois frequentemente usam testes realizados antes da capacitação (pré-teste) e após a capacitação (pós-teste). Esse nível de avaliação vai além da satisfação do participante, tentando avaliar o grau de evolução de suas habilidades, seu conhecimento ou sua atitude. A medição nesse nível é mais difícil e trabalhosa que no nível um. Os métodos variam de testes formais e informais a avaliações e autoavaliações do grupo. Se possível, os participantes devem fazer um teste ou avaliação antes da capacitação (pré-teste) e após a capacitação (pós-teste) para determinar a quantidade de aprendizagem que ocorreu.

Ferramentas de avaliação

• Testes individuais pré e pós-capacitação para fins de comparação
• Avaliação de aprendizagem baseada em ação, como projetos baseados no trabalho e representação de papéis
• Observações e feedback por parte dos colegas, gerentes e professores

Avaliação de nível 3 – Transferência

Esse nível mede a transferência que ocorreu no comportamento do participante em decorrência do programa de capacitação. A avaliação nesse nível tenta responder à seguinte pergunta: as habilidades, os conhecimentos ou as atitudes recém-adquiridos estão sendo usados no ambiente cotidiano do participante? Para muitos facilitadores, esse nível representa a avaliação mais objetiva da eficácia de um programa. Entretanto, a medição nesse nível é difícil, porque muitas vezes é impossível prever quando a mudança de comportamento ocorrerá. Portanto, isso exige decisões importantes em termos do que avaliar, com que frequência e como.

Ferramentas de avaliação

• Testes ou pesquisas individuais pré e pós-capacitação.
• Entrevistas pessoais.
• Observações e feedback de terceiros.
• Grupos focais para colher informações e compartilhar conhecimentos.

Avaliação de Nível 4 – Resultados

A avaliação de nível quatro tem como propósito avaliar a capacitação em termos de resultados para a organização. Esse nível, frequentemente encarado como o teste definitivo, mede o sucesso do programa em termos que os gerentes e executivos conseguem entender – aumento da produção, melhoria da qualidade, redução de custos, redução na frequência de acidentes, aumento das vendas e até aumento dos lucros ou do retorno sobre o investimento. Embora do ponto de vista de uma empresa ou organização, essa seja a razão básica para um programa de capacitação, geralmente os resultados de nível quatro não são aferidos. É difícil medir os resultados em termos financeiros e associá-los diretamente à capacitação.

Avaliações

• Capacitação em qualidade: medir a redução na quantidade de defeitos.
• Capacitação em segurança: medir a redução na quantidade ou na gravidade dos acidentes.
• Capacitação em vendas: medir a alteração na retenção de clientes, volume de vendas e lucratividade de cada venda após a implementação do programa de capacitação.
• Capacitação em gestão: medir o aumento dos níveis de envolvimento dos subordinados diretos.
• Capacitação técnica: medir a redução do tempo gasto para concluir tarefas e preencher formulários e relatórios; a redução das chamadas de suporte técnico; ou a melhoria no uso de softwares ou sistemas.
• Outros: medir as alterações na rotatividade de pessoal, número de reclamações, crescimento, atritos, desperdício, falhas, problemas de conformidade, índices de qualidade, padronização, credenciamentos e retenção de clientes.

Métodos de Avaliação de Longo Prazo

• Enviar pesquisas pós-capacitação.
• Oferecer capacitação permanente sequencial e coaching por um período de tempo.
• Realizar uma avaliação de necessidades subsequente.
• Testar parâmetros (por exemplo, descartes, repetições no trabalho, erros, etc.), para medir se os participantes atingiram os objetivos da capacitação.
• Entrevistar os participantes e seus gerentes ou grupos de clientes (por exemplo, pacientes, outros membros do departamento).

Resumo

Ao preparar um evento de aprendizagem, lembre-se dos pontos que se seguem.

• Mapear e planejar o evento de aprendizagem.
• Sempre deixar mais tempo do que imagina que a tarefa levará.
• Fazer esforço para manter o evento de aprendizagem bem encaminhado.
• Ter estratégias prontas para reduzir o tempo exigido para uma atividade ou para preencher um tempo disponível não esperado.
• Se necessário negociar o prolongamento de tempo ou mudar um item da agenda/pauta.
• Focar o conteúdo na essência da necessidade estabelecida, ao invés de tentar cobrir tudo sobre um tópico.
• Construir um tempo flexível para discussão; pois responder perguntas pode ser mais importante para o grupo do que novas informações.
• Ser sensível às necessidades do grupo.
• Incluir uma pausa a cada 1hora e 30 minutos a 2 horas.
• Pesquisar o tema a ser abordado.
• Consultar manuais e pessoas que tenham experiência no assunto do evento de aprendizagem.
• Certificar-se de alternar entre aprendizado interativo e apresentações formais de material.
• Preparar notas pessoais fáceis de ler; incluir lembretes sobre cronometragem, gráficos, informações, quadros, etc.
• Passar informação do conteúdo de forma breve e em um nível mínimo para não sobrecarregar o grupo.
• Ter em mãos um plano do evento de aprendizagem.

A Importância dos KPIs em Programas de Formação Educacional

Os Key Performance Indicators, também chamados de KPIs, são métricas que avaliam a performance de determinada ação, com objetivo final de mensurar quantitativamente qual foi o resultado gerado ao final do processo.

O acompanhamento de KPIs possui grande relevância em programas de treinamentos, cursos e ações educacionais — principalmente quando falamos do mundo corporativo. Será por meio deles, por exemplo, que os desenvolvedores de conteúdo, instrutores e coordenadores do curso poderão saber se o que está sendo ensinado está de fato funcionando – e quanto estes aprendizados estão impactando o negócio do cliente.

O resultado disso será um treinamento que atenda cada vez as expectativas da empresa e dos participantes em um processo de melhora contínua.

Vantagens na Utilização de Kpis em Programas de Formação

1. Informação Quantificável – Os KPIs fornecem resultados mensuráveis e objetivos, permitindo que as estratégias de conteúdo sejam moldadas de acordo com a evolução de cada treinamento.

2. Monitoramento nos Desempenhos Individuais e Coletivos – Os KPIs ajudam a avaliar de forma quantitativa como está sendo a evolução dos participantes, tanto individual quanto coletiva. Isso faz que os pontos fracos e fortes de cada um sejam identificados, permitindo que eles sejam corrigidos, se necessário.

3. Melhora no Processo de Tomada de Decisão  – KPIs bem desenvolvidos ajudam os responsáveis pelo processo de aprendizagem a tomarem as melhores decisões, fazendo com que o treinamento caminhe na direção correta;

4. Metas Transparentes e Alinhadas – Os KPIs traduzem informações complexas e dados intrínsecos em métricas claras, que todos conseguem entender. Isso faz com que a equipe envolvida no treinamento se alinhe em torno dos mesmos objetivos mais facilmente;

5. Facilita o Investimento em Formação Educacional e Treinamentos – Com os dados fornecidos pelos KPIs, os benefícios promovidos pelos cursos corporativos ficam muito mais claros. Isso permite que os gestores percebam melhor todas as vantagens que um programa de formação pode trazer para a empresa, estimulando-os a investir mais em treinamentos e demais atividades relacionadas.

Como Estruturar KPIs em um Programa de Formação Educacional?

Muito se fala na dificuldade de se estabelecer KPI’s consistentes quando falamos de educação. O aprendizado é um fator intrínseco e subjetivo, que na maioria das vezes não consegue ser mensurado diretamente por alguma ferramenta.

Mas pelo menos em um programa corporativo, o processo de medir o quanto do conteúdo passado foi absorvido pelo aluno ocorre de uma maneira menos indireta. Como se trata de um conhecimento aplicado, pronto para ser colocado em prática no dia a dia profissional, é possível captar o impacto do aprendizado diretamente nos resultados do trabalho.

Mas para garantir que as informações geradas realmente reflitam a consistência do curso e sirvam como base para a tomada de decisões, um programa de formação precisa observar os seguintes aspectos ao montar sua estrutura de KPIs:

1. Definir Quais Indicadores Estão Relacionados ao Treinamento – Os indicadores de desempenho precisam estar de acordo com o objetivo do treinamento e a área em que ele está envolvido. Não adianta nada acompanhar um KPI que nada tem a ver com o conteúdo apresentado no programa, já que sem uma correlação direta, o treinamento não surtirá efeito.

2. Saber Onde Está o Problema – Um programa de formação eficiente começa ainda no seu planejamento. Antes de tudo, é preciso identificar onde estão as ineficiências no processo e programar bem o que o curso ensinará para que elas sejam eliminadas. Se a abordagem estiver correta, os KPIs mostrarão uma evolução considerável após o treinamento;

3. Traçar um Objetivo Para Cada Indicador – Os KPIs precisam ter uma meta a ser atingida, de forma clara e objetiva, dentro dos objetivos do programa.

Por exemplo: após um treinamento de vendas internas, o índice de conversão de leads em clientes terá de ser acima de 60%; após o treinamento de automação de processos, o setor terá que reduzir em 30% o tempo gasto em rotinas diárias; o índice de satisfação do cliente terá que aumentar de 60% para 85% após o treinamento de customer success.

4. Reavaliação de Resultados Periodicamente – Por serem ferramentas dinâmicas, a mensuração das KPIs precisa ser constante e continua. Para que os indicadores realmente façam a diferença dentro do treinamento, e os dados gerados pelos KPIs devem ser sempre renovados, para entender o que está dando certo e onde é possível melhorar.