jornada-workshop-fabric

KO | EN

gitlite — search

#ui #java #pdf #css #vue #cross-platform #kotlin #sql #gemini #monitoring

jornada-workshop-fabric

(★ 9)

No description available.

File Explorer

ZIP Download

- - report.json
  - version.json
- .platform
- definition.pbir
- - editorSettings.json
- - database.tmdl
  - model.tmdl
  - relationships.tmdl
- .platform
- definition.pbism
- 00-setup-ambiente.md
- 01-tabela-controle.md
- 02-notebooks.md
- 03-modelo-semantico.md
- 04-power-bi-copilot.md
- 05-mcp-instalacao.md
- 06-mcp-medidas-relacionamentos.md
- 07-copilot-power-bi-desktop.md
- 08-data-agent-fabric.md
- guia-aluno.md
- 01_bronze_municipios.ipynb
- 02_silver_municipios.ipynb
- 03_bronze_ibge.ipynb
- 04_silver_ibge.ipynb
- 05_gold_dim_estado.ipynb
- 06_gold_fato_municipios.ipynb
- 07_gold_dim_regiao.ipynb
- 08_gold_agg_estado.ipynb
- nb_config.ipynb
- nb_helpers.ipynb
- nb_orchestrator.ipynb
.gitignore
dashboard-jornada.pbip
README.md

# Use via CDN

jsDelivr

jsDelivr serves any public GitHub repository as a CDN with zero setup. Pick a version and a file to get a ready-to-paste link and snippet.

Version

File

Link

Example

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

> **Engenharia de dados explicada com clareza, estratégia e humanidade.**

Bem-vindo ao repositório oficial do workshop de **Microsoft Fabric** da [Jornada de Dados](https://suajornadadedados.com.br/), ministrado por **Luciano Borba**.

> Quer ter acesso? [Clique aqui](https://chk.eduzz.com/E9OGEBVQWB)

Na prática, o mercado de dados está cheio de conceitos teóricos e promessas vazias. Mas a verdade é simples: **autoridade profissional não se constrói só com certificados. Ela se constrói resolvendo problemas reais no campo.**

Este repositório foi desenhado para ser o seu **mapa de execução** durante a aula. Aqui você encontrará os guias passo a passo de cada etapa, os notebooks PySpark prontos para importação e a estrutura de arquivos em formato de código do Power BI Project (PBIP).

---

## 🏗️ A Arquitetura do Projeto

Vamos ser honestos: fazer carga completa de dados toda vez é amadorismo. É aqui que muita gente se perde.

Neste workshop, nós construímos uma **pipeline de dados inteligente** orientada por metadados (metadata-driven). A nossa linha de produção de dados consome dados dinamicamente de APIs públicas, armazena no OneLake e disponibiliza no Power BI em altíssima performance usando o inovador modo **Direct Lake**.

```
    [ Brasil API / IBGE ]
              │  (Extração Dinâmica)
              ▼
    [ SQL Database (Tabela de Controle) ] ──► [ Data Pipeline (Lookup de Pendentes) ]
                                                            │
                                                            ▼
                                                [ Notebook Orquestrador ]
                                                            │
                     ┌──────────────────────────────────────┼──────────────────────────────────────┐
                     ▼ (Paralelismo)                        ▼ (Paralelismo)                        ▼ (Paralelismo)
             [ Bronze (Files) ]                     [ Silver (Delta) ]                      [ Gold (Delta) ]
          JSONs Brutos no OneLake                 Tabelas Limpas e Tipadas                 Modelo Dimensional (Star)
                     │                                      │                                      │
                     └──────────────────────────────────────┼──────────────────────────────────────┘
                                                            ▼
                                            [ Semantic Model (Direct Lake) ]
                                                            │
                                        ┌───────────────────┴───────────────────┐
                                        ▼                                       ▼
                             [ Power BI + Copilot ]                      [ Data Agent ]
```

---

## 📂 Estrutura do Repositório

Organizamos este repositório como se fosse uma biblioteca perfeitamente indexada. Cada pasta cumpre uma função essencial no ciclo de desenvolvimento:

```
JornadaAoVivo/
├── notebooks/                         # 11 Notebooks PySpark prontos para importação no Fabric
│   ├── nb_config.ipynb                # Configurações globais e variáveis de ambiente
│   ├── nb_helpers.ipynb               # Funções auxiliares (conexão SQL, log, escrita JSON)
│   ├── 01_bronze_municipios.ipynb     # Ingestão paralela da API de municípios
│   ├── 02_silver_municipios.ipynb     # Limpeza e tipagem dos municípios para Delta
│   ├── 03_bronze_ibge.ipynb           # Ingestão paralela das tabelas do IBGE
│   ├── 04_silver_ibge.ipynb           # Tratamento das tabelas do IBGE
│   ├── 05_gold_dim_estado.ipynb       # Criação da dimensão Estado com Surrogate Key (SK)
│   ├── 06_gold_fato_municipios.ipynb  # Criação da fato Municípios
│   ├── 07_gold_dim_regiao.ipynb       # Criação da dimensão Região
│   ├── 08_gold_agg_estado.ipynb       # Criação da tabela agregada pré-calculada por UF
│   └── nb_orchestrator.ipynb          # Orquestrador dinâmico via DAG com runMultiple
│
├── guia/                              # Roteiro passo a passo da aula prática
│   ├── 00-setup-ambiente.md           # Configurando o workspace no Microsoft Fabric
│   ├── 01-tabela-controle.md          # Modelagem da tabela de controle no SQL DB
│   ├── 02-notebooks.md                # Lógica e códigos das camadas Bronze, Silver e Gold
│   ├── 03-modelo-semantico.md         # Criação do Modelo Semântico Direct Lake
│   ├── 04-power-bi-copilot.md         # Utilização de IA no desenvolvimento de visuais
│   ├── 05-mcp-instalacao.md           # Instalação do MCP de modelagem do Power BI
│   ├── 06-mcp-medidas-relacionamentos.md  # Criando DAX e relacionamentos por prompt
│   ├── 07-copilot-power-bi-desktop.md     # Técnicas avançadas de IA no Desktop
│   ├── 08-data-agent-fabric.md        # Implementação de Agente de Dados autônomo
│   └── guia-aluno.md                  # Manual centralizado consolidando todo o workshop
│
├── dashboard-jornada.pbip             # Arquivo de entrada do projeto Power BI Desktop
├── dashboard-jornada.Report/          # Definição e layout do Relatório (formato PBIR)
└── dashboard-jornada.SemanticModel/   # Metadados e definições do Modelo Semântico (TMDL)
```

---

## 🛠️ Roteiro Guiado da Aula (Acesse Aqui)

Acompanhe cada etapa do workshop na ordem indicada abaixo. Todo o código necessário está documentado e pronto para copiar e executar.

| Etapa | Guia de Execução | O que vamos construir juntos? |
| :---: | :--- | :--- |
| **00** | ⚙️ [Setup do Ambiente](guia/00-setup-ambiente.md) | Criação do Workspace, Lakehouse, SQL Database e preparação das pastas no OneLake. |
| **01** | 📊 [Tabela de Controle](guia/01-tabela-controle.md) | Criação da tabela SQL inteligente para gerenciar o estado (`PENDENTE` / `SUCESSO` / `ERRO`). |
| **02** | 🔄 [Pipeline de Orquestração](guia/02-notebooks.md) | Configuração da atividade Lookup no Fabric para passar a lista de pendentes via parâmetro JSON. |
| **03** | 🐍 [Notebooks Spark (Bronze ao Gold)](guia/02-notebooks.md) | Desenvolvimento do processamento PySpark das camadas Bronze, Silver, Gold e o Orquestrador. |
| **04** | 📐 [Modelo Semântico e MCP](guia/03-modelo-semantico.md) | Definição da arquitetura dimensional em Direct Lake conectando as tabelas Gold otimizadas. |
| **05** | 💻 [Setup do Ambiente MCP](guia/05-mcp-instalacao.md) | Instalação do Node.js e do servidor de IA local (`powerbi-modeling-mcp`) para modelagem. |
| **06** | 🧮 [Medidas e Relacionamentos via Prompt](guia/06-mcp-medidas-relacionamentos.md) | Criação de relacionamentos estruturados e medidas DAX corporativas conversando com a IA. |
| **07** | 🤖 [Copilot no Power BI Desktop](guia/07-copilot-power-bi-desktop.md) | Geração de telas completas do relatório e Q&A analítico usando inteligência artificial nativa. |
| **08** | 🧠 [Data Agent no Microsoft Fabric](guia/08-data-agent-fabric.md) | Criação e parametrização de um Agente de Dados (chatbot) inteligente com regras de escopo. |
| **-** | 📘 [Guia Completo do Aluno (Consolidado)](guia/guia-aluno.md) | O manual definitivo contendo toda a base teórica e códigos unificados do workshop. |

---

## 🚀 Pré-requisitos para a Aula

Para garantir que você aproveite 100% da aula prática, certifique-se de ter configurado previamente no seu ambiente:

1. **Conta de Estudante/Profissional Power BI / Fabric** com permissão para criar workspaces.
2. **Workspace habilitado para Fabric** (Trial ou Capacidade Corporativa).
3. **Power BI Desktop** instalado (versão maio/2026 ou superior recomendada para suporte ao PBIR/TMDL).
4. **Node.js LTS** instalado no seu computador (necessário para a parte opcional de IA e MCP).

---

## ⚡ Como consumir os recursos deste repositório

### 1. Baixando ou Clonando o Repositório
Você pode clonar este repositório usando o Git em seu terminal local:
```bash
git clone https://github.com/luhborba/JornadaAoVivo.git
```
Ou simplesmente baixar o arquivo ZIP contendo todo o projeto clicando no botão verde **Code** → **Download ZIP** no topo desta página.

### 2. Importando os Notebooks no Fabric
1. No Microsoft Fabric, acesse o seu workspace e alterne para a experiência de **Synapse Data Engineering**.
2. Clique em **Import** (ou Importar) → **From file** (ou Do arquivo).
3. Selecione os arquivos `.ipynb` localizados na pasta `notebooks/` deste repositório.
4. Abra o notebook `nb_config` e lembre-se de configurar o endereço do seu servidor do SQL Database (`SQL_SERVER`).

### 3. Abrindo o Relatório no Power BI Desktop
1. Certifique-se de estar conectado ao Microsoft Fabric com sua conta institucional no Power BI Desktop.
2. Abra o arquivo `dashboard-jornada.pbip` diretamente no Power BI Desktop.
3. Se necessário, reponte a conexão para o seu endpoint SQL Database do Fabric no editor do Power Query.

---

## 👥 Sobre o Instrutor

### Luciano Borba
**Especialista em Arquitetura de Dados e Microsoft Fabric**

Curioso do mundo Tech, atualmente Engenheiro de Dados, Aluno da Jornada.

* **Certificações:**
  * 🎖️ **MS DP-600** — Fabric Analytics Engineer Associate
  * 🎖️ **MS DP-700** — Fabric Data Engineer Associate
  * 🎖️ **MS DP-900** — Azure Data Fundamentals
  * 🎖️ **Astronomer** — Airflow Fundamentals 2
  * 🎖️ **Astronomer** — Airflow Fundamentals 3
  * 🎖️ **Astronomer** — DAG Authoring
  * 🎖️ **Fabric Architecture Specialist**
  * 🎖️ **Data Architect AI Solution**

* **Acompanhe meu trabalho nas redes:**
  * 💼 [LinkedIn](https://linkedin.com/in/luhborba)
  * 🎥 [YouTube](https://youtube.com/@luhborba)
  * 💻 [GitHub](https://github.com/luhborba)
  * 📸 [Instagram](https://instagram.com/lrdataconsult)

jornada-workshop-fabric

Owner Repos

File Explorer

# Use via CDN

Was this content helpful?

Recent Feedback

jornada-workshop-fabric

Owner Repos

File Explorer

# Use via CDN

Was this content helpful?

Recent Feedback

Download README