O Que É Quantização em IA? Guia Simples para Iniciantes

Nota de transparência: Alguns links deste conteúdo são de afiliados. Se você comprar por eles, o Iazando pode receber uma comissão sem nenhum custo adicional para você.

Nota de transparência: Alguns links deste conteúdo são de afiliados. Se você comprar por eles, o Iazando pode receber uma comissão sem nenhum custo adicional para você.

Você já viu um modelo de IA com nomes estranhos como “Q4_K_M” ou “4-bit” na página de download e ficou sem entender? Esses rótulos falam de quantização em IA, a técnica que permite rodar modelos grandes em um notebook comum.

Neste guia simples para iniciantes, você vai entender o que é quantização, por que ela economiza tanta memória, o que se perde no caminho e como escolher a versão certa de um modelo para o seu computador.

Para deixar tudo concreto, usamos como exemplo o MACaQ, ferramenta de quantização que a Huawei liberou como código aberto e que chegou ao topo do Hacker News nesta semana.

O que é quantização em IA

Um modelo de linguagem é, no fundo, uma enorme lista de números chamados pesos ou parâmetros. Se você ainda não conhece esses termos, vale ler antes nosso guia O que é um LLM.

Cada peso é guardado com uma certa precisão. No formato FP16, comum no treino e na distribuição de modelos, cada número ocupa 16 bits, ou seja, 2 bytes. Quantizar é guardar esses mesmos números com menos bits: 8, 4 ou até 2 bits por peso.

Uma analogia ajuda. É como arredondar preços no mercado: em vez de anotar R$ 7,4932, você anota R$ 7,49. A conta fica quase igual e ocupa menos espaço no papel. A quantização faz isso com bilhões de números de uma vez.

Por que a quantização economiza tanta memória

A conta é simples: memória dos pesos ≈ número de parâmetros × bytes por peso. Um modelo de 8 bilhões de parâmetros em FP16 precisa de cerca de 16 GB só para os pesos (8 bilhões × 2 bytes).

Em 8 bits, cada peso ocupa 1 byte, e o mesmo modelo cai para cerca de 8 GB. Em 4 bits, meio byte por peso, fica perto de 4 GB, mais um pouco de sobra para metadados. É a diferença entre precisar de uma placa de vídeo cara e rodar num notebook com 16 GB de RAM.

Os valores da tabela são só dos pesos. Na prática, o programa ainda usa memória extra para o contexto da conversa, que cresce com o tamanho do texto. Nosso guia sobre o que é token em IA explica por que conversas longas pesam mais.

O que se perde ao quantizar

Arredondar tem preço. Quanto menos bits, mais o modelo se afasta do original, e isso pode aparecer como respostas um pouco piores, erros de lógica ou texto menos fluente.

Para medir essa perda, pesquisadores usam métricas como a perplexidade (quão “surpreso” o modelo fica com um texto de teste) e a divergência KL em relação à versão FP16. Em ambas, quanto menor o número, mais perto do original.

A boa notícia é que técnicas melhores de quantização reduzem essa perda sem aumentar o arquivo. É aí que entram ferramentas como o MACaQ.

Um exemplo real: o MACaQ da Huawei

O MACaQ é uma ferramenta de quantização de código aberto, sob licença Apache 2.0, publicada pela Huawei. Ela gera arquivos no formato GGUF, o mesmo usado pelo llama.cpp, e também funciona com vLLM, Diffusers e PyTorch, cobrindo texto, imagem, vídeo e áudio.

Segundo o repositório, o MACaQ consegue quantizar um modelo de 122 bilhões de parâmetros em 64 minutos usando 32,5 GB de memória. O projeto diz ainda que obtém perplexidade menor do que os métodos MR-GPTQ e DuQuant++.

O exemplo mais fácil de entender é a comparação de dois arquivos do mesmo tamanho, ambos do modelo Qwen3.6-35B-A3B em 4 bits:

Ou seja: mesmo espaço em disco, mas um arquivo ficou mais próximo do modelo original. O MACaQ-R refina arquivos GGUF já existentes e mantém a compatibilidade com o llama.cpp padrão.

Como escolher a versão certa de um modelo

Ferramentas populares para rodar IA no computador, como llama.cpp, Ollama e LM Studio, trabalham com modelos quantizados em GGUF. Na hora de escolher, siga esta ordem prática:

1. Veja sua memória: confira quanto de RAM (ou de memória da placa de vídeo) você tem livre.
2. Faça a conta: parâmetros × bytes por peso, e deixe alguns GB de sobra para o contexto.
3. Comece pelo meio-termo: versões de 4 a 5 bits costumam equilibrar tamanho e qualidade.
4. Teste com suas tarefas: se as respostas parecerem fracas, suba para 6 ou 8 bits ou troque por um modelo menor com mais bits.

Se você quer ir além de baixar modelos prontos e entender como esses números são manipulados, Python é a porta de entrada. O curso Python para Data Science e Analytics ajuda a criar essa base para depois explorar bibliotecas de IA.

Perguntas frequentes

Quantização deixa o modelo burro?

Não necessariamente. Em 8 bits a diferença costuma ser pequena. A perda fica mais visível em 3 ou 2 bits, e técnicas melhores, como as do MACaQ, ajudam a reduzir esse efeito.

O que significa GGUF?

GGUF é um formato de arquivo para modelos usado pelo llama.cpp e por ferramentas construídas em cima dele. Ele guarda os pesos já quantizados e as informações necessárias para rodar o modelo.

Preciso de placa de vídeo para rodar um modelo quantizado?

Não é obrigatório. O llama.cpp roda também na CPU, só que mais devagar. Com placa de vídeo ou chip com memória unificada, as respostas saem bem mais rápido.

Qual a diferença entre quantização e um modelo menor?

Um modelo menor tem menos parâmetros. A quantização mantém todos os parâmetros, mas guarda cada um com menos precisão. Às vezes um modelo grande quantizado supera um pequeno em precisão total.

Conclusão

Quantização em IA é a técnica de guardar os pesos de um modelo com menos bits. Ela troca um pouco de qualidade por uma economia enorme de memória, e é o que permite rodar IA de verdade no seu próprio computador.

Quer entender o que mais pesa na hora de rodar IA local? Leia também nosso artigo sobre como rodar modelos de trilhões de parâmetros e veja o outro extremo dessa história.