Media-Impact-Data-Lakehouse

KO | EN

gitlite — search

#react #typescript #go #android #deep-learning #docker #macos #nodejs #windows #kubernetes #awesome-list #vue #security #mcp

Media-Impact-Data-Lakehouse

(★ 1)

An end-to-end Data Lakehouse using Medallion Architecture (Bronze, Silver, and Gold) built with PySpark, Delta Lake, and Hadoop to analyze the cultural and commercial impact of movies, TV shows, and music.

Media-Impact-Data-Lakehouse Latest Version Download

Download Latest Version (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# Impacto e Influência dos Filmes e Séries a Nível Cultural
Este projeto foi desenvolvido no âmbito da unidade curricular de **Engenharia de Dados para Suporte à Tomada de Decisão** e consiste na construção de uma arquitetura **Data Lakehouse** completa (Bronze, Silver e Gold) para analisar a relação entre o sucesso crítico, comercial e cultural das produções audiovisuais contemporâneas.

O projeto integra e cruza dados de catorze fontes distintas, incluindo catálogos de streaming, bilheteiras, prémios, música e adaptações literárias. Toda a informação foi consolidada num modelo dimensional em esquema de estrela, que alimenta cinco dashboards interativos em Tableau. Estas visualizações permitem responder a questões como: os filmes premiados são também os mais rentáveis? A popularidade musical influencia a avaliação do público? O tempo decorrido entre um livro e a sua adaptação afeta o sucesso da obra?

---

## 📂 Estrutura de Ficheiros
**1. Datasets/** — os 14 datasets brutos (Kaggle, Wikidata, GitHub) usados como fonte para a camada Bronze

**2. Bronze Layer/** — um notebook de ingestão por dataset, responsável por copiar os dados brutos para o HDFS sem qualquer transformação, seguido de uma análise de *data profiling* (via YData Profiling) para avaliar a qualidade inicial de cada fonte

**3. Silver Layer/** — notebooks de limpeza, normalização e integração dos dados vindos da Bronze (remoção de duplicados, tratamento de nulos, harmonização de esquemas), com o resultado final persistido em tabela (Delta Lake)

**4. Gold Layer/Dimension/**
- `Gold_Conteudo.ipynb`: dimensão de conteúdo (filmes/séries, plataformas)
- `Gold_Tempo.ipynb`: dimensão de tempo

**4. Gold Layer/Fact/**
- `Fact_Adaptacao_Literaria.ipynb`: métricas de adaptações de livros para cinema/TV
- `Fact_Analise_Audio.ipynb`: métricas de bandas sonoras e popularidade musical
- `Fact_Performance_Audiovisual.ipynb`: bilheteira, avaliações e popularidade
- `Fact_Premios_Cinema.ipynb`: nomeações e prémios

**5. Dashboards/** — cinco dashboards individuais em Tableau (`.twbx`), um por membro da equipa

---

## 🏗️ Arquitetura

### Pipeline Medallion (Bronze → Silver → Gold)
```mermaid
flowchart LR
    %% Definição de Cores da Medallion Architecture
    classDef source fill:#1e3d59,stroke:#333,stroke-width:2px,color:#fff
    classDef bronze fill:#8C5233,stroke:#333,stroke-width:2px,color:#fff
    classDef silver fill:#71797E,stroke:#333,stroke-width:2px,color:#fff
    classDef gold fill:#B8860B,stroke:#333,stroke-width:2px,color:#fff
    classDef bi fill:#17595c,stroke:#333,stroke-width:2px,color:#fff

%% Definição dos Blocos (com quebras de linha otimizadas)
 SRC[[📥 Fontes de Dados Kaggle, Wikidata, GitHub]]:::source
 BRZ[(🥉 Bronze Layer Ingestão bruta HDFS + YData Profiling)]:::bronze
 SLV[(🥈 Silver Layer Limpeza, normalização e integração Formato: Delta Lake)]:::silver
 GLD[(🥇 Gold Layer Modelo em Estrela + Hive Metastore)]:::gold
 DASH{{📊 Dashboards Tableau}}:::bi

%% Fluxo de Dados (Setas Grossas)
    SRC ==> BRZ
    BRZ ==> SLV
    SLV ==> GLD
    GLD ==> DASH

```

### Modelo Dimensional (Esquema em Estrela)
```mermaid
flowchart LR
    %% Definição de Cores
    classDef dim fill:#1e3d59,stroke:#333,stroke-width:2px,color:#fff
    classDef fact fill:#17595c,stroke:#333,stroke-width:2px,color:#fff

%% Dimensões
    D1[(dim_conteudo)]:::dim
    D2[(dim_tempo)]:::dim

%% Factos
    F1[(fact_analise_audio)]:::fact
    F2[(fact_premios_cinema)]:::fact
    F3[(fact_performance_audiovisual)]:::fact
    F4[(fact_adaptacao_literaria)]:::fact

%% Ligações (Esquerda -> Centro -> Direita)
    D1 ---|fk_content| F1
    F1 ---|fk_release_date| D2
    D1 ---|fk_content| F2
    F2 ---|fk_cerimony_date| D2
    D1 ---|fk_content| F3
    F3 ---|fk_time| D2
    D1 ---|fk_content| F4
    F4 ---|fk_release_date| D2

```

---

## ✨ Questões de Negócio e Indicadores-Chave

Alguns exemplos das relações analisadas através dos KPIs definidos no projeto:
- Divergência entre a avaliação da crítica e do público, por género
- Comparação de performance entre adaptações literárias e produções originais
- Performance global por plataforma de streaming (Netflix vs. Amazon), cruzando avaliação, rentabilidade e popularidade
- Correlação entre reconhecimento em prémios (Óscares, Grammy) e popularidade musical/streaming
- Relação entre avaliações (crítica e público) e desempenho financeiro em bilheteira
- Impacto do tempo de maturação literária (anos entre o livro e a adaptação) no sucesso da obra
- Índice Global de Disponibilidade (IGD) de títulos nomeados e vencedores nas plataformas de streaming
- Lucro médio das produções por intervalos de duração

---

## 🛠️ Tecnologias

- **Apache Spark (PySpark)** - processamento distribuído em todas as camadas
- **HDFS** - armazenamento distribuído
- **Delta Lake** - formato de tabelas ACID com versionamento, usado nas camadas Silver e Gold
- **Hive Metastore** - catálogo de tabelas
- **Jupyter Notebook** - ambiente de desenvolvimento
- **YData Profiling** - análise de qualidade e completude dos dados
- **Pandas** - apoio pontual ao processamento
- **Tableau** - construção dos dashboards finais

---

## 🚀 Como Executar o Projeto

### ⚠️ Pré-requisito de ambiente
Este não é um projeto "clone e corre": os notebooks assumem um **ambiente Big Data já configurado** (o ambiente fornecido pela unidade curricular), com os seguintes serviços acessíveis na rede:
- Um cluster HDFS (namenode em `hdfs-nn:9000`)
- Um Hive Metastore (`thrift://hive-metastore:9083`)
- Apache Spark com suporte a Delta Lake
- Jupyter Notebook/Lab com kernel PySpark configurado

### Passos
1. Disponibilizar os datasets de `1. Datasets/` ao ambiente (localmente ou já no HDFS)
2. Correr os notebooks de `2. Bronze Layer/` — um por dataset, ingestão para a camada Bronze
3. Correr os notebooks de `3. Silver Layer/` — limpeza e normalização
4. Correr primeiro `4. Gold Layer/Dimension/` (as tabelas de facto dependem das dimensões já existirem) e só depois `4. Gold Layer/Fact/`
5. Abrir os ficheiros `.twbx` de `5. Dashboards/` no Tableau Desktop (ou Tableau Reader) para explorar as visualizações

---

## 📈 Melhorias Possíveis

- [ ] Automatizar a execução sequencial dos notebooks (ex: Databricks Jobs, Airflow ou papermill), em vez de correr manualmente célula a célula
- [ ] Documentar num ficheiro dedicado as versões exatas do ambiente (Spark, Delta Lake, Python) necessárias para reproduzir o pipeline
- [ ] Considerar Git LFS para os datasets maiores (`rotten_tomatoes_movies.csv` e `tracks_attributes_&_popularity.csv`, ambos acima de 20MB)
- [ ] Adicionar validação automática da qualidade dos dados (testes), complementando a análise manual feita com o YData Profiling
- [ ] Consolidar os cinco dashboards individuais num único dashboard integrado, reduzindo a duplicação de visualizações semelhantes entre membros da equipa

---

## 👥 Autores

- [Rodrigo Santiago Fonseca Faria Abreu](https://github.com/rodrigoo-abreu)
- [Filipa Mendes de Castro Pinto](https://github.com/filipamcp)
- [Pedro Manuel Mendes Neves](https://github.com/pedro2516)
- [Sérgio Paulo Vieira Carvalho](https://github.com/serginho355)
- Maria Vitória Veloso Costa Coutinho Alves

Media-Impact-Data-Lakehouse

Media-Impact-Data-Lakehouse Latest Version Download

Today's picks

Was this content helpful?

Recent Feedback

Media-Impact-Data-Lakehouse

Media-Impact-Data-Lakehouse Latest Version Download

Today's picks

Was this content helpful?

Recent Feedback

Download README