HNSW

O que é

No contexto da Inteligência Artificial moderna, o HNSW (Hierarchical Navigable Small World) é o padrão de ouro para a recuperação de informação por proximidade. Quando lidamos com sistemas de RAG (Retrieval-Augmented Generation), não procuramos por palavras-chave exatas (como no Google antigo), mas sim por significado. Para que essa procura não demore minutos a analisar milhões de documentos, precisamos de uma estrutura de dados ultra-eficiente. O HNSW é essa estrutura.

Imagine que tem uma biblioteca com um milhão de livros. Se quiser encontrar livros sobre 'gestão de frotas elétricas', uma procura linear obrigaria a ler a sinopse de cada um dos milhões de livros. O HNSW cria uma rede de ligações entre estes livros, permitindo que o sistema 'salte' rapidamente entre temas genéricos até chegar ao nicho específico em milisegundos. É a tecnologia que sustenta a maioria das bases de dados por vetores (Vector Databases) utilizadas por PMEs para criar assistentes de conhecimento interno.

Como funciona

O HNSW baseia-se em dois conceitos fundamentais: a hierarquia (Hierarchical) e as redes de 'mundo pequeno' (Small World).

1. A Estrutura em Camadas (Hierarquia): O algoritmo cria várias camadas de dados. A camada de topo tem muito poucos pontos (os 'resumos' mais genéricos). À medida que descemos, a densidade de pontos aumenta. É comparável a um mapa: na camada superior vê apenas as autoestradas principais; na camada inferior, vê os caminhos de terra batida da sua aldeia.

2. A Navegação: A pesquisa começa no topo. O algoritmo identifica qual o ponto mais próximo da sua pergunta nessa camada simplificada e 'salta' para a camada seguinte nessa mesma localização. Ele repete este processo, refinando a precisão a cada descida, até encontrar o resultado exato na base de dados.

3. Redes de Mundo Pequeno: Dentro de cada camada, os dados estão ligados de forma a que qualquer ponto possa chegar a outro com poucos 'saltos'. Isto evita que o sistema se perca em cálculos infinitos.

Tecnicamente, o HNSW é um algoritmo de Procura de Vizinhos Mais Próximos Aproximada (ANN - Approximate Nearest Neighbor). Ele sacrifica uma fração mínima de precisão absoluta (pode não encontrar o 1.º melhor resultado, mas encontra o 2.º ou 3.º melhores) em troca de uma velocidade que é ordens de magnitude superior a uma busca exata.

Quando usar

Para uma PME, o HNSW não é algo que se programa do zero, mas sim uma funcionalidade que se ativa ou configura na base de dados de suporte à IA. Deve ser a escolha quando:

• Escala: Quando a sua base de conhecimento (PDFs, transcrições de reuniões, histórico de tickets) ultrapassa alguns milhares de entradas. Abaixo disso, métodos simples podem bastar, mas o HNSW é o que garante que o sistema não fica lento à medida que a empresa cresce.
• Baixa Latência: Se o seu chatbot de apoio ao cliente precisa de responder em menos de 2 segundos, o HNSW é obrigatório para que a fase de 'procura de contexto' demore apenas milisegundos.
• Sistemas de RAG: Em qualquer implementação onde um LLM precise de consultar dados privados da empresa antes de gerar uma resposta.

Erros comuns

1. Configuração estática: O HNSW tem parâmetros como 'M' (número de ligações) e 'efConstruction' (esforço na criação do índice). Muitas empresas deixam os valores por defeito, o que pode resultar numa base de dados lenta ou que consome demasiada memória RAM sem necessidade.
2. Ignorar o custo de memória: Ao contrário de índices tradicionais que ficam em disco, o HNSW vive idealmente na memória RAM para ser rápido. Tentar correr índices HNSW enormes em servidores com pouca RAM resultará em falhas críticas do sistema.
3. Reindexação constante: Inserir dados novos num índice HNSW é rápido, mas mudar a estrutura de como os dados são comparados exige reconstruir o índice do zero, o que pode ser dispendioso em termos computacionais.
4. Confundir com base de dados: O HNSW é o algoritmo, não o local onde guarda os dados. Deve garantir que escolhe uma ferramenta (como Qdrant, Pinecone ou Weaviate) que implemente HNSW de forma robusta.

Exemplo prático para uma PME

Uma empresa portuguesa de distribuição de material elétrico tem um catálogo com 150.000 referências técnicas, manuais de instalação e tabelas de compatibilidade. Eles querem criar um assistente de IA para os vendedores de balcão.

Sem HNSW, quando o vendedor pergunta 'Qual o disjuntor compatível com o sistema X?', o sistema teria de comparar probabilisticamente essa pergunta com cada um dos 150.000 parágrafos de manuais. Isso demoraria cerca de 10 a 15 segundos por resposta.

Com o HNSW configurado na base de dados de vetores da empresa:

1. O sistema recebe a pergunta.
2. No nível de topo do HNSW, ele percebe imediatamente que a pergunta é sobre 'Componentes de Proteção' e não sobre 'Iluminação'.
3. Ele 'salta' para o cluster de Disjuntores.
4. Em menos de 50 milisegundos, identifica os 3 parágrafos exatos que explicam a compatibilidade.
5. O vendedor recebe a resposta no ecrã quase instantaneamente, permitindo um atendimento fluido.

Perguntas frequentes

Q: O HNSW é melhor que o BM25? R: São ferramentas diferentes. O HNSW foca-se em semântica (conceitos), enquanto o BM25 é focado em palavras-chave exatas. Atualmente, as melhores PMEs usam uma 'Hybrid Search' (Pesquisa Híbrida) que combina ambos.

Q: Posso usar HNSW em bases de dados SQL tradicionais? R: Algumas bases de dados modernas (como o PostgreSQL com a extensão pgvector) já suportam o índice HNSW, permitindo manter os dados da empresa e a capacidade de procura por IA no mesmo local.

Q: Qual a diferença entre HNSW e procura Linear? R: A procura linear analisa tudo (muito lento, precisão 100%). O HNSW analisa apenas uma fração inteligente dos dados (muito rápido, precisão ~98-99%).

Q: O custo de infraestrutura aumenta muito com o HNSW? R: O principal custo é de memória RAM. Como o algoritmo precisa de manter as ligações entre os dados na memória, terá de investir num servidor com mais RAM do que uma base de dados documental típica.

• 01Recuperação instantânea de manuais técnicos numa base de dados com 200.000 documentos.
• 02Pesquisa por semântica num arquivo histórico de correspondência de uma firma de advogados.
• 03Motor de recomendação de produtos semelhantes para um e-commerce de retalho especializado.
• 04Fase de recuperação de contexto para um chatbot de RH que consulta regulamentos internos.

Quer usar HNSW na sua empresa?

30 minutos, gratuito, sem compromisso. Dizemos onde encaixa.

Diagnóstico IA gratuito