Como funcionam os grandes modelos de linguagem: um guia visual

TL;DR

LLM vem do inglês large language model, ou grande modelo de linguagem. É um tipo de inteligência artificial (IA) que aprende padrões em textos e os usa para produzir respostas, resumos e explicações.

O modelo aprende no treinamento. Uma conversa comum fornece contexto, sem treiná-lo novamente de forma automática.
Para responder, ele usa sua mensagem e as informações disponíveis e monta o texto uma pequena unidade por vez.
Uma resposta convincente ainda pode estar errada. Confira detalhes importantes em fontes confiáveis.

Ao longo desta série, vamos construir uma central interna de atendimento com IA. No nosso exemplo fictício, uma pessoa da empresa chamada Emily pergunta: “Posso pedir reembolso de um jantar de US$45 em uma viagem de trabalho?” Este primeiro episódio explica o componente que lê a pergunta e escreve a resposta: o modelo de linguagem.

Ele consegue produzir um rascunho útil, mas o treinamento geral não determina a política privada e atual de viagens da empresa. Essa informação ausente dará motivo para acrescentarmos a próxima camada.

Três faixas em tons pastéis distinguem o ciclo de treinamento que altera os pesos, a pergunta de Emily sobre o jantar de US$45 e o contexto disponível passando por uma LLM com pesos fixos até um rascunho, e a política ausente apontando para uma fonte confiável no próximo episódio sobre RAG. — O treinamento altera os pesos; uma conversa comum usa os pesos aprendidos e o contexto disponível. Sem a política da empresa, precisamos de uma fonte confiável, sem presumir aprovação. Os números são esquemáticos; os rótulos estão em inglês. Abrir ilustração completa

1. Treinamento: aprender padrões com exemplos

Antes de nossa central receber a pergunta de Emily, seu modelo de linguagem já passou por treinamento. Nesse processo, ele lê muitos exemplos de texto, prevê o próximo token, compara a previsão com a continuação real e ajusta números internos chamados de pesos. A repetição desenvolve padrões relacionados à linguagem, às informações e às relações entre ideias. O artigo do GPT-2 descreve essa tarefa de previsão.

Quatro painéis conectados formam um ciclo de treinamento: ler The sky is blue, prever clear a partir de The sky is, comparar a previsão com o original blue, ajustar os pesos aprendidos e repetir. — Ler exemplos → prever o próximo token → comparar com o original → ajustar os pesos → repetir. Este ciclo ilustrativo de treinamento altera os pesos; uma conversa comum usa os pesos já aprendidos. Os rótulos estão em inglês. Abrir ilustração completa

A frase sobre o céu mostra essa tarefa de treinamento de perto. Ao longo de muitos exemplos, o modelo aprende como uma pergunta é escrita, como uma explicação se desenvolve e quais termos costumam aparecer juntos. Isso ajuda a interpretar a solicitação de Emily. Seus pesos representam padrões aprendidos, não um catálogo confiável de todas as fontes. O treinamento também pode preservar erros e trechos memorizados.

Treinamentos adicionais podem melhorar a capacidade de seguir instruções. Pessoas podem, por exemplo, fornecer respostas preferidas ou comparar alternativas. Isso ajuda a ajustar o comportamento, mas não torna toda resposta correta. Veja a pesquisa sobre aprendizado com feedback humano.

2. Tokens: transformar texto em uma entrada utilizável

A pergunta de Emily chega ao aplicativo como texto. Um tokenizador separa esse texto em tokens: palavras inteiras, partes de palavras, pontuação ou outras unidades. O modelo processa essas unidades, em vez de tratar a pergunta como um bloco indivisível. Os limites exatos dependem do tokenizador; a palavra curta abaixo facilita visualizar a divisão.

Unbelievable! se transforma em quatro tokens de exemplo, Un, believ, able e !. Cada token se conecta ao próprio trecho de vetor numérico, ilustrando os embeddings. — Texto → tokens → embeddings: representações numéricas que o modelo consegue usar. A divisão é ilustrativa; tokenizadores reais podem separar de outra forma. Abrir ilustração completa

Em um exemplo ilustrativo, Infelizmente! poderia ser dividido em In + feliz + mente + !. Um tokenizador real pode separar de outra forma. Os limites dos tokens não são necessariamente sílabas. O SentencePiece descreve uma abordagem de tokenização.

Cada token recebe um identificador numérico e uma representação numérica aprendida, chamada de embedding. A ordem também importa: “revise, depois aprove” descreve uma sequência diferente de “aprove, depois revise”. A rede precisa tanto das unidades de texto quanto das relações entre elas.

3. Atenção: relacionar informações relevantes

Agora forneça alguns trechos curtos: “Limite do café da manhã: US$20. Limite do jantar: US$50. Recibo de táxi: obrigatório.” Pergunte: “Qual é o limite do jantar?” O detalhe relevante é “Limite do jantar: US$50”, em vez do valor do café ou da condição do táxi. Esses trechos simplificados mostram como o modelo usa informações já fornecidas; eles não são a política completa que vamos buscar no próximo episódio.

Uma pergunta sobre o limite do jantar se conecta ao trecho fornecido e destacado Dinner limit: $50 e depois à resposta de US$50. Breakfast limit: $20 e Taxi: receipt required permanecem em linhas separadas do contexto. — A pergunta sobre o jantar se conecta ao limite de US$50; os outros trechos tratam do café da manhã e de recibos de táxi. O diagrama simplificado ilustra contexto relevante, não uma visão literal do raciocínio do modelo. Abrir ilustração completa

A atenção combina informações de diferentes posições da sequência, atribuindo graus diferentes de influência a essas posições. Ela ajuda a rede a relacionar uma pergunta ao contexto útil. Trata-se de uma operação numérica; ela não garante que o modelo identifique todos os detalhes importantes.

Muitas LLMs de texto usam uma arquitetura chamada transformer. Suas camadas combinam atenção com outros cálculos para processar a sequência. Ao gerar o próximo token, esse tipo de modelo usa o texto anterior disponível. O artigo original do transformer apresentou essa arquitetura.

4. Geração: escolher o próximo token

Depois de processar o contexto, o modelo gera a resposta um token por vez. O mesmo mecanismo usado para redigir a resposta a Emily fica mais fácil de observar com uma entrada curta: “O céu está…” O modelo estima probabilidades para os possíveis próximos tokens. “Azul”, “limpo” e “escuro” podem combinar com contextos diferentes. Uma regra de seleção escolhe uma continuação a partir dessas probabilidades.

Uma tabela do próximo token mostra probabilidades inventadas: blue 55%, clear 20%, dark 10% e demais tokens 15%. Setas selecionam blue, acrescentam o token a The sky is e retornam à previsão. — Prever → selecionar → acrescentar → repetir. Os percentuais são exemplos inventados da probabilidade do próximo token, não da chance de uma afirmação ser verdadeira. Abrir ilustração completa

Os valores abaixo são inventados para ilustrar o processo. Eles descrevem possíveis continuações do texto, não a probabilidade de uma afirmação ser verdadeira.

Probabilidades ilustrativas, não medidas em um modelo real
Possível próximo token	Probabilidade
`azul`	55%
`limpo`	20%
`escuro`	10%
Todos os outros tokens do vocabulário juntos	15%

Depois de selecionar “ azul”, o modelo processa a sequência ampliada, “O céu está azul”, e estima o que vem a seguir. Isso continua até uma condição de parada encerrar a resposta. Esses tokens parecem palavras; outros podem ser fragmentos menores de texto.

Repetir essa operação permite produzir um parágrafo ou uma explicação longa. A resposta completa não precisa existir em algum lugar, pronta para ser copiada. Mudar a entrada para “Durante a noite, o céu está…” também muda quais continuações combinam. O GPT-3 explorou as capacidades de modelos grandes usando essa abordagem.

5. Contexto e ferramentas: fornecer informações úteis

Nossa central já tem a pergunta de Emily. Se o aplicativo também fornecer um trecho relevante da política de viagens, esse texto passa a fazer parte do contexto: as instruções, mensagens e documentos disponíveis para a resposta. O modelo pode usar essa política sem aprendê-la permanentemente por meio de treinamento.

O contexto tem um limite de tamanho, e o modelo ainda pode deixar passar detalhes. Memórias salvas pelo aplicativo são um recurso separado. Nem uma conversa longa nem um recurso de memória garantem que todo fato relevante esteja disponível em cada resposta.

O acesso a informações externas depende do aplicativo. Uma busca conectada pode consultar uma política autorizada; uma calculadora pode fornecer um cálculo. Essas capacidades exigem conexões reais. Escrever “leia os arquivos da empresa” em um prompt não concede acesso a documentos nem permissão para aprovar um reembolso.

6. Verificação: distinguir texto fluente de fatos

Se Emily perguntar sobre uma regra da empresa que não foi fornecida, faltará ao modelo a evidência necessária para determiná-la. Ele pode reconhecer essa lacuna ou gerar detalhes plausíveis. Uma resposta bem escrita dizendo “seu jantar está aprovado” continuaria sem apoio: escrever uma resposta e autorizar um pedido são operações diferentes.

Uma resposta gerada que é falsa ou sem apoio costuma ser chamada de alucinação. Prever texto provável é diferente de verificar uma afirmação, e os dados de treinamento podem conter erros. O TruthfulQA estudou modelos repetindo enganos comuns.

Forneça documentos relevantes, descreva a tarefa com clareza e verifique os detalhes que importam. Abra as fontes citadas, confira cálculos e compare citações com o texto original. Mesmo uma resposta baseada em um documento pode interpretá-lo incorretamente.

Perguntas frequentes

O que significa LLM?

LLM vem do inglês large language model: grande modelo de linguagem. É um modelo de computador treinado com muitos exemplos de linguagem para estimar e gerar texto. Seus padrões aprendidos permitem tarefas como resumir, traduzir e responder a perguntas.

Um token é a mesma coisa que uma palavra?

Às vezes. Um token é uma unidade de texto processada pelo modelo. Pode ser uma palavra inteira, parte de uma palavra ou pontuação. A divisão depende do tokenizador usado.

Cada mensagem treina o modelo permanentemente?

Uma conversa comum usa os pesos do modelo já treinado. Suas mensagens dão contexto temporário para a resposta. Memórias salvas pelo aplicativo e treinamentos futuros são processos separados, com configurações e políticas próprias.

Uma LLM consegue consultar a política atual da minha empresa?

Somente se o aplicativo fornecer a política ou conectar o modelo a uma fonte de informação autorizada. O treinamento geral não determina as regras privadas e atuais da empresa, e uma instrução no chat não concede acesso aos documentos.

Por que uma resposta fluente ainda pode estar errada?

Uma continuação convincente não prova que uma afirmação seja verdadeira. Modelos podem repetir erros ou preencher detalhes ausentes com texto plausível. Confira informações importantes em fontes confiáveis e use ferramentas para verificar cálculos.

Fontes e próximas leituras

As pesquisas originais que fundamentam o artigo, para quem deseja explorar os detalhes.

Language Models are Few-Shot Learners Brown et al. · 2020
Language Models are Unsupervised Multitask Learners Radford et al. · 2019
SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing Kudo and Richardson · 2018
Attention Is All You Need Vaswani et al. · 2017
Training language models to follow instructions with human feedback Ouyang et al. · 2022
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks Lewis et al. · 2020
TruthfulQA: Measuring How Models Mimic Human Falsehoods Lin, Hilton, and Evans · 2021