Por que um chatbot dá respostas diferentes para a mesma pergunta?
Um assistente de conversa dá respostas diferentes à mesma pergunta porque gera cada resposta escolhendo entre as próximas palavras prováveis, e essa escolha geralmente inclui algum grau de aleatoriedade. Ele não está recuperando uma resposta armazenada.
Imagine um escritório fictício de arquitetura com 30 pessoas, o Fairline Architects. Um sócio pede ao gerente administrativo, Rowan, que explique três coisas antes de o escritório adotar um assistente de IA. As anotações de Rowan dizem: 'perguntei duas vezes sobre as regras para obras dispensadas de autorização urbanística e recebi duas respostas diferentes'; 'ele citou o número de um documento de orientação urbanística que não existe'; 'a ferramenta de imagem fez um belo esboço do novo estúdio, mas as janelas não estão alinhadas'. O sócio quer saber se a ferramenta está com defeito. Não está. Ela está fazendo exatamente aquilo para que foi criada.
Como um modelo de IA generativa é treinado?
Um grande modelo de linguagem é treinado primeiro com uma enorme coleção de textos para prever o próximo trecho de texto e depois recebe treinamento adicional para seguir instruções e dar respostas úteis. O glossário da Anthropic descreve o pré-treinamento como o treinamento com um grande conjunto de textos não rotulados para prever a próxima palavra a partir do contexto anterior, seguido de ajuste fino e aprendizado por reforço com feedback humano, em que pessoas classificam exemplos de respostas e o modelo aprende a preferir as melhores.
O modelo não guarda uma cópia de cada documento. Ele ajusta bilhões de números internos até que suas previsões correspondam aos padrões dos dados. O resultado se parece mais com uma noção muito detalhada de como a linguagem e as ideias costumam se relacionar do que com uma biblioteca pesquisável.
O que são tokens e como o modelo os prevê?
Tokens são as pequenas unidades que um modelo lê e escreve, muitas vezes uma palavra ou parte de uma palavra. O modelo escreve prevendo repetidamente um próximo token provável. O curso de aprendizado de máquina do Google descreve um modelo de linguagem como algo que estima a probabilidade de um token ou de uma sequência de tokens ocorrer dentro de uma sequência maior e observa que cerca de 400 tokens equivalem a aproximadamente 300 palavras em inglês.
A cada etapa, o modelo atribui pontuações a muitos tokens possíveis para a próxima posição. O aplicativo então escolhe um deles: às vezes o mais provável, mas muitas vezes um selecionado por amostragem entre as opções prováveis. Uma configuração chamada temperatura controla o quanto essa escolha pode variar: valores mais altos geram formulações mais variadas; valores mais baixos, formulações mais previsíveis. A Anthropic observa que, mesmo na temperatura mais baixa, os resultados não são totalmente determinísticos. Essa é a resposta à primeira observação de Rowan.
Como funcionam os geradores de imagens de IA?
Muitos geradores de imagens por IA usam um método chamado difusão: o modelo aprende a remover ruído de imagens e depois cria uma nova imagem partindo de ruído aleatório e refinando-o passo a passo, com base na sua descrição em texto. O curso de difusão da Hugging Face descreve o treinamento como a adição de ruído em diferentes quantidades e o ensino do modelo para corrigi-lo, e a geração como o refinamento gradual de ruído aleatório até surgir uma imagem.
Como o modelo gera pixels plausíveis em vez de seguir o desenho de um arquiteto, detalhes como o alinhamento das janelas, o texto nas placas ou o número de dedos podem sair errados. Essa é a terceira observação de Rowan.
O que isso significa para a forma como você usa as ferramentas?
Significa que você deve fornecer à ferramenta os fatos que quer que ela use como base, em vez de confiar na memória dela. Instrução fraca: 'Quais são as regras para ampliar os fundos de um imóvel sem precisar de autorização urbanística?' A resposta é fluente, varia entre as tentativas e pode misturar regras de anos ou países diferentes, além de incluir uma referência documental plausível, mas inventada, o que explica a segunda observação de Rowan.
Instrução aprimorada: Rowan cola o trecho relevante da orientação oficial de planejamento urbano e pede: 'Usando apenas o texto abaixo, resuma em uma tabela os limites de tamanho para uma ampliação térrea nos fundos. Se algo não estiver coberto pelo texto, diga que não está coberto.' Agora, a tarefa do modelo é reformular e organizar um texto ao qual tem acesso, algo que ele faz bem, e Rowan pode conferir cada linha com a fonte.
Quais são os limites da IA generativa?
Os principais limites são que a IA generativa pode afirmar coisas falsas com confiança, tem uma data-limite de conhecimento a menos que esteja conectada a buscas ou documentos, só consegue trabalhar com o que cabe na sua janela de contexto e pode refletir vieses dos dados de treinamento. Nenhum desses limites é uma falha que se resolve pedindo com mais educação; eles decorrem de como os modelos funcionam.
Confira fatos, números, nomes e referências em uma fonte confiável e forneça material de referência à ferramenta sempre que a precisão for importante.
Onde esta aula se encaixa no catálogo da Tosheo.ai?
Como funciona a IA generativa faz parte da categoria Fundamentos de IA. É uma das primeiras aulas de IA para iniciantes e a aula de abertura do curso de IA generativa. Na Tosheo.ai, a tarefa prática pede que você preveja e depois teste como uma ferramenta se comporta quando você altera configurações como a temperatura ou fornece um texto de referência. A avaliação com base nos critérios de pontuação verifica se sua explicação faria sentido para um colega.