Synthetic Data

O que é

Dados sintéticos (ou Synthetic Data) são dados criados digitalmente em vez de serem recolhidos a partir de eventos do mundo real ou interações diretas com clientes. Ao contrário dos dados recolhidos por sensores, transações bancárias ou formulários, estes são gerados por modelos matemáticos ou redes neuronais treinadas para imitar os padrões, as correlações e a estrutura estatística de um conjunto de dados original.

Para uma PME, isto significa ter acesso a informação que se comporta exatamente como os seus dados de vendas, logística ou comportamento de cliente, mas que não contém nomes, NIFs ou moradas reais. É, essencialmente, um "gémeo digital" da informação, útil quando os dados reais são escassos, confidenciais ou demasiado caros de obter.

Como funciona

O processo de criação de dados sintéticos baseia-se na aprendizagem da distribuição estatística de um conjunto de dados de origem. Existem três métodos principais utilizados atualmente:

1. Modelos Gerativos (GANs e VAEs): São redes neuronais treinadas para criar novos exemplos que o olho humano (ou outros algoritmos) não consegue distinguir dos originais. Uma rede tenta criar dados falsos e outra tenta detetar a falsificação, forçando o sistema a tornar-se extremamente preciso.
2. Geração Baseada em Regras: Utiliza lógica de negócio predefinida para criar cenários. Por exemplo, se sabemos que 20% dos clientes de uma oficina em Portugal pedem mudança de óleo a cada 15.000km, o sistema gera milhares de registos fictícios que respeitam essa proporção.
3. LLMs (Large Language Models): Recentemente, modelos como o GPT-4 têm sido usados para gerar texto sintético de alta qualidade, como avaliações de produtos ou descrições técnicas, baseando-se em instruções específicas.

O segredo reside na preservação da utilidade analítica. Se os dados reais mostram que clientes que compram o Produto A tendem a comprar o Produto B ao fim de 3 dias, os dados sintéticos devem replicar exatamente essa mesma tendência, mesmo que o cliente "João Silva" passe a ser o cliente "ID_X942".

Quando usar

Existem quatro cenários principais onde os dados sintéticos resolvem problemas críticos de negócio:

• Privacidade e Conformidade (RGPD): Se precisa de partilhar dados com uma consultora externa ou testar um novo software em ambiente de desenvolvimento, usar dados reais de clientes é um risco legal enorme. Os dados sintéticos permitem testar tudo sem nunca tocar em dados pessoais reais.
• Treino de Modelos de IA: Muitas vezes, a IA precisa de milhares de exemplos de erros ou falhas que raramente acontecem na realidade. Podemos gerar milhares de imagens de peças defeituosas ou transações fraudulentas para ensinar o modelo a detetá-las.
• Equilíbrio de Dados: Se tem uma base de dados onde 99% dos clientes pagam a pronto e 1% falha o pagamento, qualquer IA terá dificuldade em aprender a prever o incumprimento. Criar dados sintéticos para o grupo minoritário ajuda a equilibrar o modelo.
• Simulação de Cenários: Quer prever o que acontece se o preço das matérias-primas subir 30% e a procura cair 10%? Pode gerar dados sintéticos que simulem esse futuro para testar a resiliência da sua operação.

Erros comuns

Um dos erros mais frequentes é o Overfitting. Se o gerador de dados sintéticos for demasiado rígido, ele acaba por copiar exatamente os dados reais em vez de aprender o padrão. Isto não só derrota o propósito da privacidade (podendo revelar dados reais por acidente) como torna o modelo inútil para generalização.

Outro erro é a Perda de Correlações Subtis. Um ficheiro de dados sintéticos pode parecer perfeito à superfície, mas falhar em capturar relações complexas entre variáveis (ex: a relação entre a humidade num armazém e a taxa de devolução de um produto têxtil específico). Se estas correlações se perdem, as decisões tomadas com base nesses dados serão erradas.

Por último, existe o risco da Alucinação Estatística. Sem uma validação rigorosa (Evals), o sistema pode gerar dados que são matematicamente possíveis mas fisicamente impossíveis no contexto do negócio, como um cliente que faz 50 compras no mesmo segundo.

Exemplo prático para uma PME

Imaginemos uma fábrica de calçado em São João da Madeira que quer implementar uma solução de IA para prever que modelos de sapatos terão mais sucesso na próxima estação. No entanto, a empresa só tem dados digitais estruturados dos últimos dois anos — o que é insuficiente para treinar um modelo robusto.

A fábrica utiliza uma ferramenta de geração de dados sintéticos. Com base nos 5.000 pedidos reais que tem, gera 50.000 novos pedidos sintéticos que respeitam as tendências sazonais, as preferências de cores por região e as flutuações de preços. Durante este processo, removem qualquer identificação dos lojistas, protegendo os seus segredos comerciais. Com esta base de dados expandida, conseguem treinar um algoritmo de previsão que é 25% mais preciso do que se usassem apenas os poucos dados reais de que dispunham.

Perguntas frequentes

Q: Dados sintéticos são o mesmo que dados anonimizados? R: Não. A anonimização tenta mascarar os dados reais (ex: apagar nomes), mas muitas vezes permite a reidentificação através de cruzamento de dados. Os dados sintéticos são criados do zero; não existe uma pessoa real por trás daquele registo específico.

Q: A qualidade da IA será pior se usar dados sintéticos? R: Depende da qualidade da geração. Em muitos casos, a IA torna-se superior porque os dados sintéticos permitem "limpar" preconceitos ou focar em casos raros que os dados reais ignoram.

Q: Preciso de autorização dos clientes para criar dados sintéticos a partir dos deles? R: De acordo com o RGPD, se o processo de síntese for irreversível e não permitir identificar indivíduos, o resultado final não é considerado dado pessoal, facilitando muito o cumprimento legal.

Q: É caro gerar estes dados? R: Para uma PME, o custo de gerar dados sintéticos é quase sempre inferior ao custo de recolher novos dados manualmente ou ao risco de uma multa por violação de privacidade de dados.

• 01Gerar 10.000 históricos de crédito fictícios para treinar um modelo de risco sem usar dados reais de clientes.
• 02Criar imagens de produtos em ambientes variados para treinar visão computacional sem organizar sessões fotográficas.
• 03Produzir conversas de chatbot simuladas para testar a resistência de um sistema de apoio ao cliente.
• 04Simular registos de manutenção de máquinas industriais para prever falhas raras que ainda não ocorreram na fábrica.

Quer usar Synthetic Data na sua empresa?

30 minutos, gratuito, sem compromisso. Dizemos onde encaixa.

Diagnóstico IA gratuito