Data Lake do zero: da planilha ao pipeline automatizado em 35 dias
Resultado principal
6 planilhas → 1 pipeline automatizado, visibilidade de estoque em tempo real
Stack utilizado
Contexto
Uma distribuidora familiar de insumos industriais no interior do Ceará, com 45 funcionários e faturamento anual de ~R$ 12M, usava 6 planilhas Excel diferentes para controlar estoque, vendas, compras e contas a pagar — cada uma mantida por uma pessoa diferente.
O gerente de operações passava toda segunda-feira de manhã (4–5 horas) consolidando essas planilhas numa "planilha mãe" para levar para a reunião de segunda. Problemas frequentes: versões conflitantes, erros de digitação, dados de estoque desatualizados causando rupturas ou compras desnecessárias.
O diagnóstico
Em 7 dias de diagnóstico, identificamos:
- 6 planilhas com dados interdependentes sem integração
- Sistema ERP (Sankhya) com API disponível mas nunca utilizada para extração
- Rupturas de estoque médias de 12% por mês (custo estimado: ~R$ 80.000/ano em vendas perdidas)
- Compras duplicadas em 3–5% dos pedidos por falta de visibilidade de estoque em trânsito
Oportunidade identificada: automatizar a ingestão de dados do Sankhya + eliminar as planilhas manuais + dar visibilidade em tempo real do estoque.
A solução
Fase 1: Ingestão (dias 1–10)
- Desenvolvimento de conector Python para a API REST do Sankhya
- Extração diária automática de: pedidos de venda, notas fiscais, movimentações de estoque, contas a pagar/receber
- Armazenamento em Data Lake no BigQuery (camada Bronze)
Fase 2: Transformação (dias 11–22)
- Modelagem dimensional com dbt:
fct_vendas: grain diário por produto/clientefct_estoque: posição de estoque atual e históricodim_produto,dim_cliente,dim_fornecedor
- Testes automáticos de qualidade (not_null, unique, accepted_values)
- Documentação no catálogo do dbt
Fase 3: Visualização (dias 23–35)
- Dashboard de Gestão de Estoque: posição atual, giro por produto, alertas de ruptura iminente, itens acima do estoque máximo
- Dashboard de Vendas: faturamento diário/mensal, mix de produtos, clientes por volume, comparativo com meta
- Dashboard de Compras: pedidos em aberto, prazo médio de entrega por fornecedor, sugestão de reposição automática
Automações adicionais
- Alerta no WhatsApp (via API) quando produto atinge estoque mínimo
- Relatório semanal automático por e-mail para diretoria
Resultado
| Indicador | Antes | Depois |
|---|---|---|
| Tempo de consolidação semanal | 4–5 horas | 0 horas |
| Visibilidade de estoque | D-1 a D-3 (manual) | Tempo real |
| Ruptura de estoque média | 12% | 4% |
| Compras duplicadas | 3–5% | <0,5% |
Redução de ruptura de 12% para 4% representou ~R$ 55.000/ano em receita recuperada (estimativa conservadora).
O projeto foi entregue em 35 dias corridos. A equipe adotou os dashboards imediatamente — em 2 semanas as planilhas de controle foram descontinuadas espontaneamente.
Este projeto faz parte do portfólio Data85. Dados financeiros e identificação do cliente foram anonimizados.
Quer resultados assim?
Comece com um diagnóstico gratuito
Em 7 dias mapeamos seus dados e entregamos um plano de ação com ROI estimado — sem compromisso.
Solicitar diagnóstico gratuito