Chunking

O que é

No contexto da inteligência artificial aplicada, o chunking é o ato de dividir um texto longo em pedaços (chunks) mais pequenos. Se imaginarmos que a base de dados de uma empresa é uma enciclopédia, o chunking é o processo de decidir se vamos indexar essa informação por capítulos, por páginas ou por parágrafos.

Este processo é vital porque a maioria dos modelos de linguagem (LLMs) tem um limite de memória imediata — a chamada context window. Além disso, quando um sistema de RAG (Retrieval-Augmented Generation) tenta encontrar uma resposta num documento de 100 páginas, ele não consegue enviar o ficheiro inteiro para o modelo sem perder precisão ou gastar recursos desnecessários. O chunking garante que a IA recebe apenas o fragmento exato que contém a resposta, mantendo o contexto necessário para que a informação faça sentido.

Como funciona

O chunking não é apenas cortar texto de 500 em 500 caracteres. Para que o resultado seja útil, a divisão deve respeitar a estrutura semântica do conteúdo. Existem várias abordagens:

1. Divisão por caracteres ou tokens: É a forma mais simples, onde o texto é cortado ao atingir um limite fixo. O risco é cortar uma frase ou uma palavra ao meio, perdendo o sentido.
2. Divisão recursiva: O sistema tenta dividir o texto por parágrafos; se o parágrafo for muito grande, divide por frases; se a frase for gigante, divide por palavras. É o método padrão para manter a coerência.
3. Divisão estrutural: Utiliza a lógica do documento, como cabeçalhos (H1, H2), células de tabelas ou secções de um ficheiro PDF, para garantir que um tópico não seja separado da sua explicação.
4. Sobreposição (Overlap): Para evitar que o contexto se perca entre dois fragmentos, costuma-se repetir uma pequena parte do final do primeiro chunk no início do segundo. Isto serve como uma 'cola' semântica.

Após a divisão, cada chunk é transformado num vetor numérico (embedding) e guardado numa base de dados vetorial, ficando pronto para ser pesquisado.

Quando usar

O chunking é obrigatório em quase todos os projetos de IA que envolvam documentos próprios da empresa. Deve ser aplicado quando:

• Implementa um sistema de RAG: Para que o bot de apoio ao cliente ou o assistente jurídico encontre a cláusula exata sem ler o contrato todo de cada vez.
• Lida com documentos técnicos: Manuais de máquinas ou catálogos de peças onde a informação é densa e granular.
• Trabalha com limites de custo: Enviar menos texto (apenas os chunks relevantes) para a API da OpenAI ou da Anthropic reduz drasticamente a fatura mensal.
• Precisa de precisão: Quando a resposta a uma pergunta depende de um detalhe específico escondido na página 45 de um relatório financeiro.

Erros comuns

O erro mais frequente nas PMEs é utilizar um tamanho de chunk desadequado. Se o chunk for demasiado pequeno (ex: apenas uma frase), a IA perde o contexto. Se for demasiado grande (ex: 3 páginas), a resposta torna-se vaga e o sistema recupera muito 'ruído' que não interessa para a pergunta do utilizador.

Outro erro é ignorar a estrutura do ficheiro. Dividir um ficheiro Excel ou uma tabela de preços de forma puramente textual destrói a relação entre as colunas e as linhas, tornando os dados ilegíveis para a IA. Por fim, não usar overlap é um erro técnico comum: se a resposta a uma pergunta começar no final de um bloco e acabar no início do outro, o sistema pode falhar a captura da informação completa.

Exemplo prático para uma PME

Imagine uma empresa de fabrico de moldes em Marinha Grande que tem um manual de procedimentos de 200 páginas sobre manutenção de máquinas e segurança no trabalho. Se um operário perguntar ao assistente de IA: 'Qual é o binário de aperto para o parafuso da injetora X?', o sistema não lê o PDF todo.

Com um bom chunking, o manual foi previamente dividido em blocos de cerca de 300 palavras, respeitando os títulos das secções. O sistema identifica o chunk que fala especificamente da 'Injetora X' e da 'Manutenção de Cabeçotes'. Ele extrai esse parágrafo, envia-o para o LLM e responde em segundos: 'O binário é de 50Nm'. Sem o chunking, o sistema enviaria informação a mais, demoraria mais tempo e poderia confundir o binário da Injetora X com o da Máquina Y descrita noutra página.

Perguntas frequentes

Q: Qual é o tamanho ideal de um chunk? R: Não há um número mágico, mas para texto administrativo em português, blocos entre 500 a 1000 tokens com 10-15% de sobreposição costumam ser um bom ponto de partida.

Q: O chunking altera o meu documento original? R: Não. O chunking é apenas uma forma de organizar a informação na base de dados de consulta. O seu documento original permanece intacto no servidor ou na cloud.

Q: Posso fazer chunking de imagens ou tabelas? R: Sim, mas exige técnicas diferentes. Tabelas devem ser convertidas para formatos como Markdown ou JSON antes de serem divididas, e imagens requerem descrição textual (captioning) ou modelos multi-modais.

Q: Por que não posso simplesmente dar o documento inteiro à IA se ela tem uma janela de contexto grande? R: Embora modelos como o Gemini ou GPT-4o aceitem muitos dados, colocar informação excessiva e irrelevante no prompt causa 'perda no meio' (a IA ignora detalhes centrais) e aumenta os custos de operação desnecessariamente.

• 01Dividir um contrato de prestação de serviços por cláusulas individuais para análise jurídica rápida.
• 02Fragmentar um manual de instruções técnico em secções de 800 caracteres com 100 de sobreposição.
• 03Separar as transcrições de reuniões mensais por tópicos da ordem do dia para pesquisa facilitada.
• 04Indexar um catálogo de 5000 produtos dividindo-o por categorias e fichas técnicas individuais.

Quer usar Chunking na sua empresa?

30 minutos, gratuito, sem compromisso. Dizemos onde encaixa.

Diagnóstico IA gratuito