IA: quantização
O curso trata da quantização de pesos de modelo: guardar os parâmetros em menos bits para que o modelo caiba no hardware disponível. Começa pela conta de memória dos pesos e do cache de KV e compara formatos de precisão como BF16, FP8, INT8 e INT4. Mostra o mapeamento com escala e zero point, explica como os outliers o quebram e apresenta métodos como GPTQ e AWQ e formatos como GGUF. Termina com avaliação por tarefa, no seu idioma, e um procedimento para decidir se e como auto-hospedar.
O que você vai aprender
- ✓Calcular se os pesos e o cache de KV de um modelo cabem na memória
- ✓As diferenças entre FP32, FP16, BF16, FP8, INT8 e INT4
- ✓Quantizar com escala e zero point, e como os outliers distorcem a faixa
- ✓Como GPTQ e AWQ se diferenciam, e a escolha entre GGUF, MLX e checkpoints para GPU
- ✓Avaliar modelos quantizados por tarefa e por idioma, com limites definidos antes
- ✓Decidir se vale auto-hospedar e servir um modelo local atrás de uma interface de provider
A mesma ideia, um nível abaixo
Você já fez isso uma vez. O curso de pgvector guardou embeddings como halfvec para cortar o índice pela metade, e como um bit por dimensão numa busca de primeira passada. Nos dois casos, um pouco de acurácia virou muita memória economizada.
Ler a aula completa grátis →Currículo
7 aulasA mesma ideia, um nível abaixo
A quantização guarda os pesos do modelo em menos bits, e os bits por parâmetro decidem qual hardware consegue rodá-lo.
A aritmética do que cabe
Calcula a memória de pesos e do cache de KV e mostra por que um modelo maior em menos bits costuma vencer.
Formatos de precisão
Compara formatos de ponto flutuante e inteiros e mostra onde a qualidade cai primeiro, inclusive fora do inglês.
Como a quantização funciona, e quebra
Faz à mão o mapeamento com escala e zero point, explica a granularidade por grupo e o estrago dos outliers.
Métodos e formatos
Separa métodos como GPTQ e AWQ de formatos como GGUF e MLX e trata dos dados de calibração.
Medindo a perda com honestidade
Mostra por que a perplexidade não basta e como avaliar modelos quantizados por tarefa, idioma e comportamento de recusa.
Escolhendo, servindo e decidindo
Traz um procedimento para decidir se vale auto-hospedar, escolher a quantização, servir o modelo e registrar a versão.