Informações do projeto

  • Categoria: Criação de Infraestrutura de dados para Ecommerce
  • Objetivo: Desenvolvi uma solução bem legal implementando uma estrutura data-driving em um ecommerce. O projeto consistiu na criação de uma infraestrutura de dados de ponta a ponta, para a Shopbr, um e-commerce com faturamento de R$ 1 milhão, utilizando a metodologia ELT (Extract, Load, Transform) para garantir escalabilidade e eficiência.
  • Python Libraries: Utilizei diversas tecnologias e frameworks, que encontram-se apresentadas nas figuras ao lado.
  • Project URL: Code

Criação de Infraestrutura de Dados para Ecommerce

Etapa 1: O ponto de partida foi o uso de SQL no banco de dados PostgreSQL (via Supabase), simulando AWS utilizando o serviço S3, com os mesmos protocolos do serviço na Amazon. Essa abordagem inicial teve a finalidade de entender um pouco sobre os dados com uma análise exploratória profunda. Nesta fase, foram desenvolvidas 12 queries fundamentais para responder a perguntas críticas de negócio das diretorias de Clientes, Pricing e Vendas.

Etapa 2: Para simular a realidade do mercado, utilizei Python para automatizar a extração de dados que, em sistemas reais, estão isolados. A extração com dados em Parquet, superando a limitação de simples planilhas manuais.

Etapa 3: A etapa consistiu em criação de DW e Datamarts apropriados a cada área de negócio. A modelagem foi feita através do dbt (Data Build Tool), onde estruturei os dados em uma arquitetura Medalhão utilizando a IDE Google Antigravity conectando o DBT diretamente ao meu banco de dados Postgres Supabase.
• Camadas Silver: Onde os dados foram ingeridos da forma que estavam;
• Camada Bronze: Algumas agregações e limpezas realizadas. Um dos tratamentos realizados foi a criação de uma coluna com o faturamento linha a linha, que não existia nos dados;
e • Camada Ouro: Foi desenhada com base nas queries de negócio da Etapa 1. Nesta camada, os dados foram modelados e refinados para serem entregues prontos às áreas de decisão, servindo como a "fonte única da verdade" da empresa.

Etapa 4: Aqui é a parte mais legal! A etapa final e mais inovadora foi a implementação de um Agente de IA (IA Agêntica). Essa solução foi integrada para que os diretores e gestores pudessem consultar todos os KPIs e análises da camada ouro diretamente pelo celular, utilizando linguagem natural para obter insights em tempo real com cada área tendo acesso aos dados tratados na camada ouro..