Como avaliar habilidades em IA na sua equipe

O que você quer dizer com uma habilidade em IA?

Uma habilidade em IA, para fins de avaliação, é um comportamento que você pode observar em uma tarefa específica. Fornecer uma fonte adequada, identificar uma afirmação sem respaldo ou explicar uma alteração final é mais específico do que dizer que alguém é bom em IA. Informe a função, a ferramenta e as condições para que o avaliador saiba a que as evidências realmente se referem.

Uma classificação ampla pode esconder habilidades diferentes. Alguém pode escrever uma instrução clara, mas não conferir uma citação, ou conferir os cálculos e ainda assim aceitar uma explicação da causa sem fundamento. Separe essas observações em vez de reduzi-las imediatamente a uma única nota geral. O guia de habilidades em IA descreve sete habilidades práticas usadas na maior parte do trabalho intelectual; uma avaliação deve indicar quais delas a tarefa pretende demonstrar.

Para que serve a avaliação?

Defina o objetivo antes de planejar qualquer coisa, porque ele muda o que está em jogo. Uma avaliação de aprendizagem ajuda a pessoa a identificar o que praticar em seguida e deve permitir que ela erre sem receio. Uma verificação de prontidão ajuda a gestão a decidir por onde começar um programa. Uma avaliação de certificação dá respaldo à afirmação, perante terceiros, de que alguém atingiu um padrão definido em tarefas definidas. A contratação é um caso à parte, tratado abaixo.

Misturar finalidades causa a maior parte dos problemas. Se as pessoas acreditarem que uma avaliação de nivelamento será usada nas avaliações de desempenho, vão evitar riscos, deixar de usar a ferramenta ou pedir ajuda a um colega, e o resultado vai revelar pouco. Diga às pessoas para que o resultado será usado, quem terá acesso a ele e o que não acontecerá por causa dele.

Quais sinais você deve manter separados?

Confiança, conclusão e trabalho demonstrado respondem a perguntas diferentes. Uma autoavaliação mostra como a pessoa se sente. Um registro de conclusão mostra que ela atingiu uma etapa do programa. Uma tarefa prática dá a ela a oportunidade de demonstrar decisões específicas em condições específicas. Nenhum desses indicadores deve substituir os outros sem que isso fique explícito.

Um relatório de avaliação útil informa o método e seus limites. Se a pessoa concluiu uma única tarefa fictícia de redação, diga isso. Não dê a entender que ela pode lidar com segurança com qualquer fluxo de trabalho confidencial ou de alto impacto. O referencial de gestão de riscos de IA do NIST faz uma observação semelhante sobre os próprios sistemas de IA, ao pedir que sejam documentados os limites de generalização para além das condições testadas. O mesmo rigor se aplica à avaliação de pessoas.

Como escolher uma tarefa prática?

Escolha um trabalho relevante para a função e forneça material de referência suficiente para avaliar a resposta. Uma pessoa de marketing pode revisar um e-mail de uma campanha fictícia. Um colega de RH pode melhorar perguntas de entrevista com base na descrição de uma vaga. Um colega de finanças pode explicar uma pequena tabela sem tirar conclusões sobre causas que os dados não sustentam. Um atendente pode responder à pergunta de um cliente usando um trecho de uma política fornecida.

Torne a tarefa segura para praticar. Use informações fictícias ou aprovadas e evite decisões sobre pessoas reais, dinheiro ou comunicação com clientes em um exercício inicial. O objetivo é examinar o trabalho, não criar uma decisão automatizada com consequências reais enquanto se tenta medir uma habilidade.

Boas tarefas têm uma armadilha relevante. Insira um problema realista que a pessoa em treinamento deva identificar, como um detalhe de uma política que a ferramenta provavelmente inventará ou um valor que precise ser recalculado. Uma tarefa sem possibilidade de erro mede apenas se a pessoa sabe operar a ferramenta.

Como é uma tarefa de avaliação completa?

Este é um exemplo completo para uma função de atendimento em uma loja fictícia de móveis, a Larchwood Home. A pessoa em treinamento recebe um e-mail de um cliente perguntando se um sofá entregue com uma almofada rasgada pode ser substituído, além de um trecho da política que diz que itens danificados comunicados em até 14 dias são substituídos gratuitamente e que o cliente precisa enviar uma foto. O cliente comunicou o dano no dia 9.

A instrução diz: "Use o assistente de IA aprovado para redigir uma resposta. Use apenas a política fornecida. Não inclua o endereço nem o número do pedido do cliente na sua solicitação à ferramenta. Envie sua solicitação, o rascunho da ferramenta, sua resposta final e duas ou três frases explicando suas edições."

A armadilha é que ferramentas genéricas costumam acrescentar uma opção de reembolso, uma data de entrega ou um vale de cortesia que a política não menciona. Uma boa entrega se limita à substituição, pede a foto, não informa nenhuma data sem respaldo na política e explica a remoção de qualquer oferta inventada. Uma entrega fraca envia o rascunho da ferramenta com pequenas edições. As duas podem estar bem escritas; só uma é segura para enviar.

O que deve constar em um guia de avaliação com critérios visíveis?

Um guia de pontuação visível apresenta os critérios antes da entrega e descreve como é o trabalho em cada nível. Categorias úteis incluem contexto, evidências, tratamento de informações e decisões de revisão. Explique o que o revisor procura no trabalho, em vez de apenas atribuir um número sem descrição. Ao ler os comentários, a pessoa deve conseguir entender o que precisa melhorar.

O guia de critérios de avaliação abaixo se aplica à tarefa da Larchwood. É uma estrutura de avaliação editorial, não uma alegação de validação psicométrica, e não tem uma nota de aprovação validada.

Quem deve avaliar o trabalho: a IA ou uma pessoa?

Qualquer um dos dois pode, desde que os critérios sejam visíveis e a pontuação possa ser contestada. Uma pessoa que conhece o trabalho é o avaliador mais confiável, mas demora e pode ser inconsistente ao avaliar muitas entregas. A avaliação por IA com base em um guia de critérios de pontuação é rápida e pode oferecer comentários específicos, mas uma nota dada com confiança não é prova de exatidão, e avaliadores de IA podem deixar passar contextos que um especialista da área perceberia.

Uma solução prática é combinar comentários da IA nas tarefas de prática, um meio de sinalizar pontuações contestadas para uma segunda verificação e revisão humana quando o resultado tiver consequências. O projeto planejado da Tosheo.ai segue esse modelo: tarefas avaliadas por IA com base em critérios visíveis, com as sinalizações dos participantes encaminhadas a uma fila de revisão. Esse fluxo faz parte do escopo planejado, não é evidência de que um avaliador implementado tenha sido validado.

Como garantir que os revisores usem critérios consistentes?

Alinhe os critérios antes de dar notas. Peça a dois avaliadores que pontuem de forma independente as mesmas três ou quatro entregas de exemplo, compare as divergências e cheguem a um acordo sobre o significado do texto da rubrica de avaliação. Registre as decisões em notas curtas ao lado de cada critério, como "um gesto de boa vontade conta como uma oferta inventada, a menos que a política o permita".

Faça novas verificações de tempos em tempos, pedindo a uma segunda pessoa que revise uma pequena amostra. As orientações de mensuração do NIST observam que uma revisão independente pode reduzir vieses internos. Em uma equipe pequena, isso pode significar apenas que o fundador e um colega sênior revisem, cada um, algumas das mesmas entregas uma vez por trimestre.

Como você deve interpretar as tentativas repetidas?

Uma segunda tentativa pode mostrar que alguém entendeu os comentários sobre aquele exemplo. Ela também pode se beneficiar da lembrança da tarefa. Use um exemplo novo, mas comparável, antes de tirar uma conclusão mais ampla, e registre mudanças na ferramenta, no material de referência ou na ajuda disponível para quem está aprendendo.

Quando uma pontuação tiver impacto, torne o processo de avaliação verificável e ofereça uma forma de contestá-lo. Os comentários gerados por IA podem ser úteis para discussão, mas não devem ter a palavra final em um resultado com consequências importantes.

Como você deve apresentar os resultados?

Registre o que foi observado, em quais condições e o que ainda não se sabe. Um registro curto e consistente é mais útil do que uma pontuação isolada. O modelo abaixo pode ser usado por pessoa ou por função.

Qual é a diferença entre avaliar habilidades e acompanhar a adoção?

O uso da ferramenta e o engajamento podem ajudar um gestor a entender se um programa está sendo utilizado. Por si só, eles não mostram que uma pessoa está tomando decisões adequadas. Uma ferramenta usada com frequência ainda pode gerar trabalhos que ninguém verifica, enquanto alguém mais cuidadoso no aprendizado pode usá-la apenas para uma tarefa específica e aprovada.

Avalie a adoção junto com amostras de trabalho, dúvidas sobre a política e o suporte disponível. Indique quais sinais foram observados e quais estão ausentes. Não transforme uma mudança na frequência de acesso em uma afirmação de produtividade sem um método adequado e evidências contextualizadas.

O que os gestores devem poder visualizar?

Gestores precisam de informações suficientes para apoiar as pessoas: quais habilidades alguém demonstrou, onde está com dificuldade e se está progredindo. Raramente precisam do texto bruto de todas as conversas que alguém teve com uma ferramenta de IA. Ler esses registros passa uma sensação de vigilância, desestimula a prática honesta e pode expor informações que o participante não deveria ter compartilhado.

Defina quais informações ficarão visíveis e informe isso antes de qualquer pessoa começar. O painel de gestão planejado da Tosheo.ai foi concebido para mostrar a evolução das habilidades e a conclusão das atividades, não os registros completos das conversas, exatamente por esse motivo.

Qual é a diferença entre isso e avaliar um candidato?

Aprendizado e contratação têm finalidades diferentes. Uma tarefa de treinamento pode dar a um funcionário da equipe espaço para errar e melhorar. A avaliação de um candidato deve fazer parte de um processo seletivo justo e definido, com revisão humana adequada e informações claras para os candidatos. O mesmo exemplo não deve ser reutilizado como se os contextos e as consequências fossem idênticos, e o resultado de um treinamento não deve ser usado para tomar uma decisão trabalhista para a qual ele não foi concebido.

Quando você não deve aplicar uma avaliação de competências em IA?

Não aplique uma avaliação antes que as pessoas tenham uma ferramenta aprovada e regras básicas de uso de informações; você estaria medindo acesso e confusão, não habilidade. Não a use como uma avaliação de desempenho disfarçada. E não use um questionário de autoavaliação, incluindo a autoavaliação de prontidão deste site, para classificar pessoas, conceder credenciais ou tomar decisões trabalhistas.

Se você precisa de um instrumento psicométrico validado para decisões de alto impacto, a abordagem descrita aqui não atende a essa necessidade. Trata-se de um método prático para conversas sobre aprendizagem e planejamento de programas, baseado nas orientações do NIST sobre contexto e limitações, que não endossam nem validam esta abordagem de avaliação de funcionários.

Qual deve ser o próximo passo de um gestor?

Escolha uma tarefa relevante para a função, publique um guia de avaliação com poucos critérios e revise o raciocínio com a pessoa em treinamento. Mantenha um registro da fonte, da ferramenta e das condições. Decida quais conclusões as evidências sustentam e quais exigem outro exemplo. Esse é um ponto de partida prático para uma conversa útil sobre o aprendizado.

Se a questão principal é saber se a equipe está pronta para começar a praticar, comece pela lista de verificação de prontidão, que abrange acesso às ferramentas, limites de uso de informações, padrões de revisão e suporte. A autoavaliação pode ajudar a iniciar essa conversa. Ambos são recursos para discussão, não substitutos da demonstração de desempenho em tarefas.

Fontes e escopo

Núcleo do NIST AI RMF, verificado em 16 October 2026 ↗

Guia prático do NIST AI RMF: Governar, verificado em 16 October 2026 ↗