O objetivo deste projeto é criar um pipeline de Big Data baseado em recursos da AWS (Amazon Web Services) ou on premise, para realizar análises estatísticas descritivas em dados armazenados em um data lake ou um data warehouse. Além disso, busca-se a criação de um infográfico com base nos resultados do estudo estatístico, de forma genérica para a melhor entrega de valor ao cliente.
EXEMPLOS DE APLICAÇÃO:
- Identificação de padrões e tendências nos dados;
- Descoberta de insights relevantes para tomada de decisões;
- Análise comparativa entre diferentes conjuntos de dados.
RECURSOS DE INFRAESTRUTURA OBRIGATÓRIOS:
- Deverá ser fornecido um conjunto de dados com uma volumetria mínima de 1 gigabyte no total para ser utilizado no pipeline de Big Data, podendo ser logs via streaming ou batches via diferentes protocolos a serem analisados;
- O conjunto de dados devem preferencialmente ser de origem não-estruturada;
- Os resultados obtidos a partir da análise estatística dos dados serão validados com o cliente antes da criação do infográfico.
FINALIZAÇÃO E ENTREGA DO PROJETO
Todos os protótipos gerados durante o projetos são entregues ao final da 10° semana.
