IA: embeddings vetoriais
O curso explica como modelos de embedding transformam texto em vetores e por que esses vetores servem para recuperação. Parte de representações esparsas, como a codificação one-hot, e chega aos embeddings densos aprendidos, em que a distância carrega significado. Trata de tokenização, contextualização e pooling, do treino contrastivo com negativos difíceis e da divisão entre bi-encoders e cross-encoders. Depois aborda dimensões Matryoshka e truncamento, a escolha de modelo com suas próprias perguntas rotuladas e a adaptação ao domínio por reescrita de consulta, adaptadores ou fine-tuning.
O que você vai aprender
- ✓Por que embeddings densos aproximam significados relacionados e vetores one-hot não conseguem
- ✓Como tokenização, atenção e pooling transformam uma frase num único vetor
- ✓Como o treino contrastivo com negativos difíceis organiza o espaço de embeddings
- ✓Por que bi-encoders recuperam e cross-encoders reordenam no mesmo pipeline
- ✓Como o treino Matryoshka permite truncar e como escolher o número de dimensões medindo
- ✓Como escolher um modelo pelo recall nos seus dados e quando o fine-tuning compensa
O que um vetor guarda
Dois cursos já trataram o embedding como um dado pronto: entra texto, saem 1024 floats, e vetores próximos indicam textos relacionados. Funcionou, e a pergunta interessante nem chegou a ser feita.
Ler a aula completa grátis →Currículo
7 aulasO que um vetor guarda
Compara vetores one-hot e bag-of-words com embeddings densos aprendidos, em que a distância registra o assunto, não a verdade.
De texto a um vetor: tokens e pooling
Percorre tokenização, contextualização e pooling, e mostra como cada estágio explica problemas com trechos longos, códigos de erro e truncamento.
Como modelos de embedding são treinados
Explica o aprendizado contrastivo, os pares de treino garimpados, os negativos difíceis e a assimetria entre consulta e passagem.
Bi-encoders e cross-encoders
Mostra por que vetores de bi-encoder são pré-computáveis, pontuações de cross-encoder não, e como o funil combina os dois.
Dimensões, Matryoshka e truncamento
Trata do treino Matryoshka, da renormalização de vetores truncados e de medir onde o recall despenca antes de fixar as dimensões.
Escolhendo um modelo de embedding
Explica como os leaderboards enganam e como escolher um modelo pelo recall nas suas próprias perguntas rotuladas.
Adaptando embeddings ao seu domínio
Lista correções mais baratas a descartar primeiro e depois trata de fine-tuning com dados de clique, adaptadores e reescrita de consulta.