├── 1_data_integration_elt
    └── README.md
├── 2_dwh_basics
    └── README.md
├── 3_dbt_deep_dive
    └── README.md
├── 4_business_intelligence
    └── README.md
├── 5_advanced_toolkit
    └── README.md
├── 6_capstone_project
    └── README.md
└── README.md


/1_data_integration_elt/README.md:
--------------------------------------------------------------------------------
  1 | # Data Integration: ELT
  2 | 
  3 | <!-- 
  4 | Рассмотрим классификацию основных источников данных для аналитики и их отличительные особенности.
  5 | Выясним отличие принципов ETL и ELT, структурированных и неструктурированных данных. 
  6 | Научимся подключаться и вычитывать исходные данные, запрашивать ответы от внешних провайдеров через REST API, настраивать потоковую репликацию данных в Хранилище. 
  7 | Проанализируем основные сервисы и инструменты, используемые для этого класса задач.
  8 |  -->
  9 | 
 10 | ## Databases for Analytics: key principles
 11 | <!-- (Teaser) Key slide -->
 12 |   
 13 | - Massively Parallel Processing
 14 | - Columnar storage and compression
 15 | - Data layout: clustering, partitioning, sorting
 16 | 
 17 | <!-- 
 18 | Цели занятия:
 19 | - Изучить принципы работы аналитических СУБД
 20 | - Привести примеры конкретных СУБД, проанализировать сходства и различия
 21 | 
 22 | Краткое содержание:
 23 | - MPP-базы данных и shared-nothing архитектура
 24 | - Колоночное хранение данных и компрессия
 25 | - Сегментация и партицирование
 26 | - Особенности нагрузки на аналитические СУБД
 27 | 
 28 | Результаты:
 29 | - Использование сильных сторон аналитических СУБД в проектах
 30 | - Выбор оптимального движка под конкретные потребности и задачи бизнеса
 31 | - Изучение основных и дополнительных материалов занятия
 32 |  -->
 33 | 
 34 | ## Handling Data Sources
 35 | <!-- (Teaser) Key slide -->
 36 | 
 37 | - Overview of a company's data sources
 38 | - Addressing the key properties of data: volume, frequency, schema evolution
 39 | - Data formats: CSV, JSON, AVRO, PARQUET, ORC
 40 | 
 41 | <!-- 
 42 | Цели занятия:
 43 | - Изучить особенности различных источников данных: подключение, формат, типы данных, ограничения
 44 | - Классифицировать источники на примерах: PostgreSQL, S3, Yandex.Metrika, REST API (Exchange rates)
 45 | 
 46 | Краткое содержание:
 47 | - Структурированные и неструктурированные данные
 48 | - Рассмотрение ключевых свойств данных: объем, частота, эволюция схемы
 49 | - Форматы данных: CSV, JSON, AVRO, PARQUET, ORC
 50 | - Чтение из базы напрямую / лога WAL / REST
 51 | 
 52 | Результаты:
 53 | - Изучение основных и дополнительных материалов занятия
 54 | - Анализ источников данных на текущем месте работы
 55 |  -->
 56 | 
 57 | 
 58 | ## Developer tools 101: IDE, Terminal, Docker, Codespaces, Terraform
 59 | <!-- (Teaser) Key slide -->
 60 | 
 61 | - Organizing a convenient modern Dev Env
 62 | - Version control, Shell, Containers basics
 63 | - Interacting with Cloud providers and deploying Infrastructure
 64 | 
 65 | <!-- 
 66 | Цели занятия:
 67 | - Организовать удобную современную среду разработки
 68 | - Иметь навыки работы с облачными провайдерами и инфраструктурой
 69 | - Продемонстрировать полученные знания на практическом примере
 70 | 
 71 | Краткое содержание:
 72 | - IDE: VS Code, Command palette, keyboard shortcut extensions
 73 | - Terminal: Z-shell, shell commands basics
 74 | - Version control basics (git), Docker essentials
 75 | - Yandex.Cloud CLI, Terraform, Github Actions, Github Codespaces
 76 | 
 77 | Результаты:
 78 | - Имеются базовые представления о разнообразных инструментах в курсе и их назначении
 79 | - Получены все необходимые знания для быстрого старта в выполнении практических заданий
 80 | - Все последующие практические работы курса выполняются в удобной среде
 81 |  -->
 82 | 
 83 | ## 🚀 Lab: [Setting up Airbyte Data Pipelines](https://github.com/kzzzr/airbyte_lab)
 84 | <!-- (Teaser) Key slide -->
 85 | 
 86 | - Understanding ETL to ELT transition
 87 | - SaaS (Fivetran, Stitch, Hevo) vs. Self-managed (Airbyte, Meltano, Singer, Nifi)
 88 | - Setting up Integration pipelines with Airbyte
 89 | - Sync modes: Incremental, Full-load, Deduped history
 90 | 
 91 | 
 92 | <!-- 
 93 | Цели занятия:
 94 | - Понять различия в подходах ETL и ELT
 95 | - Оценить выбор решения с точки зрения критериев: стоимость, сопровождение, развитие, масштабируемость
 96 | - Научиться делать выгрузки своими силами: RDBMS, S3/HDFS, REST API, Webhooks
 97 | 
 98 | Краткое содержание:
 99 | - Трансформация из ETL в ELT
100 | - SaaS (Fivetran, Stitch, Hevo) vs. Self-managed (Airbyte, Nifi, Singer)
101 | - Организация регулярных выгрузок с Airbyte
102 | 
103 | Результаты:
104 | - Принятие решения об использовании инструментов для выгрузки данных
105 | - Изучение основных и дополнительных материалов занятия
106 | 
107 | Домашнее задание:
108 | - 🚀 Lab: [Setting up Airbyte Data Pipelines](https://github.com/kzzzr/airbyte_lab)
109 | 
110 |  -->
111 | 


--------------------------------------------------------------------------------
/2_dwh_basics/README.md:
--------------------------------------------------------------------------------
 1 | # DWH Basics
 2 | 
 3 | <!-- 
 4 | Рассмотрим современные СУБД, используемые для анализа больших данных и ключевые принципы их функционирования. 
 5 | Изучим концепцию Хранилища Данных и вопросы, на которое оно призвано отвечать.
 6 | Познакомимся с dbt – широко популярный мультитул для работы с DWH, позволяющий выстраивать работу в соответствии с лучшими практиками.
 7 |  -->
 8 | 
 9 | ## DWH modeling basics
10 | <!-- (Teaser) Key slide -->
11 |   
12 | 
13 | <!-- - historical approaches overview
14 | - normalization / denormalization
15 | - basic modeling principles -->
16 | 
17 | 
18 | <!-- 
19 | Цели занятия:
20 | 
21 | Краткое содержание:
22 | 
23 | Результаты:
24 | 
25 |  -->
26 | 
27 | 
28 | ## Getting familiar with dbt (data build tool)
29 | 
30 | <!-- - dbt introduction (jaffle shop)
31 | - key features
32 | - Modular data modeling: Transform raw data into human-usable metrics
33 | - Dependency management: Layer your models with the ref() function
34 | - Clear project structure: express your data warehouse design in terms of sources, staging models and marts -->
35 | 
36 | ## 🚀 Lab: [DWH powered by Clickhouse and dbt](https://github.com/kzzzr/dbt_clickhouse_lab)
37 | 
38 | <!-- - Lab: DWH powered by Clickhouse and dbt
39 | - dbt: project, adapter, resource configs; dbt CLI (commands)
40 | - materialization types (+ incremental)
41 | - dbt DAG, refs -->
42 | 
43 | ## Data Testing and Documenting
44 | 
45 | <!--
46 | - dbt: tests (data quality)
47 | - dbt: node selection syntax
48 | - dbt docs: Define key fields. Dig into the field + table descriptions annotated by your collaborators
49 | - Examine data lineage
50 | - Explore source freshness
51 | - Track downstream applications (exposures)
52 |  -->
53 | 


--------------------------------------------------------------------------------
/3_dbt_deep_dive/README.md:
--------------------------------------------------------------------------------
 1 | # dbt Deep Dive
 2 | 
 3 | <!-- 
 4 | Изучим современные инструменты для оркестрации скриптов и задач, управления пайплайнами и цепочками зависимостей (DAGs).
 5 | Получим представление об организации всестороннего качества данных и актуальности DWH.
 6 | Познакомимся с ключевыми принципами оптимизации производительности и устранения bottlenecks.
 7 | На практике применим навыки моделирования Хранилища по методологии Data Vault 2.0 -->
 8 | 
 9 | ## Enhancing dbt experience
10 | 
11 | <!-- - dbt incremental models: https://www.getdbt.com/dbt-learn/lessons/incremental/#1
12 | - dbt snapshots: https://www.getdbt.com/dbt-learn/lessons/techniques-trade/#18
13 | - Track slowly-changing dimensions with dbt snapshots 
14 | - dbt CLI + selection syntax -->
15 | ## Enhancing dbt code
16 | 
17 | <!-- - dbt: custom schemas, environments (dev, test, prod) target names behaviour (if prod then else)
18 | - Jinja templating with dbt
19 | - dbt deep dive: jinja (macro showcase), variables, env vars, packages, hooks: https://www.getdbt.com/dbt-learn/lessons/intro-to-jinja/#4
20 | - Extending with modules: dbt utils showcase -->
21 | ## Deployment and Orchestration
22 | 
23 | <!-- - dbt Cloud vs. dbt Core
24 | - Deployment: Airflow (Prefect, Dagster) -->
25 | ## 🚀 Lab: [Data Vault powered by dbtVault and Greenplum](https://github.com/kzzzr/dbtvault_greenplum_demo)
26 | 
27 | <!-- - incremental builds orchestrated by Prefect
28 | - Advanced modeling with dbtVault 
29 | - [Data Vault powered by dbtVault and Greenplum](https://github.com/kzzzr/dbtvault_greenplum_demo)
30 | -->
31 | 


--------------------------------------------------------------------------------
/4_business_intelligence/README.md:
--------------------------------------------------------------------------------
 1 | # Business Intelligence
 2 | 
 3 | <!-- Выясним круг задач для решений класса Business Intelligence.
 4 | Научимся конфигурировать и запускать BI в своих проектах.
 5 | Изучим лучшие практики визуальной подачи информации и подготовки дашбордов. -->
 6 | 
 7 | ## BI tools overview
 8 | 
 9 | <!-- - deployment
10 | - configuration
11 | - overview and features comparison
12 | - BI tools overview, purpose, features
13 | - BI deployment and configuration (Metbase, Superset) -->
14 | ## SQL for Analytics: common patterns
15 | 
16 | <!-- - SQL building blocks
17 | - Занятие 22. Analytics: Базовые аналитические витрины. -->
18 | ## Semantic Layer with dbt Metrics
19 | 
20 | <!-- - Занятие 20. BI: Modeling & Delivering.
21 | - dbt Metrics vs. Cube
22 | - dbt vs. BI (segregation): https://www.getdbt.com/dbt-learn/lessons/dbt-project-design/#74
23 | - Semantic layer: dbt Metrics, Cube.js -->
24 | 
25 | ## Applied Analytics: Segments, Funnels, Cohorts, GEO, RFM
26 | 
27 | <!-- - Продвинутые аналитические витрины.
28 | - Common analytics patterns: KPI, Retention, Cohorts, GEO -->
29 | ## 🚀 Lab: [Semantic layer with dbt Metrics and Cube for myBI market](https://github.com/kzzzr/mybi-dbt-showcase)
30 | 
31 | <!-- - Marketing analytics showcase -->
32 | 


--------------------------------------------------------------------------------
/5_advanced_toolkit/README.md:
--------------------------------------------------------------------------------
 1 | # Advanced Toolkit
 2 | 
 3 | <!-- Изучим сложные и продвинутые фишки в работе с Хранилищем Данных: 
 4 | Настроим мониторинг и сбор ключевых метрик Хранилища Данных.
 5 | Задействуем возможности тесной работы с Data Lake (External Data) и полу-структурированными данными.
 6 | Найдем точки сопрокосновения с Data Scientists, проведем обзор возможностей современных СУБД в сфере распределенного ML. -->
 7 | 
 8 | ## 🚀 Lab: [Configuring Slim CI for myBI market](https://github.com/kzzzr/mybi-dbt-showcase)
 9 | 
10 | <!-- - Configuring CI + CD, --state and --defer -->
11 | ## External and Semi-structured data
12 | 
13 | <!-- - Querying semistructured data: navigation, unnesting (arrays), object unpivoting (https://docs.aws.amazon.com/redshift/latest/dg/query-super.html)
14 | - External + Semi-structured data -->
15 | <!-- - Extending dbt with packages -->
16 | <!-- - Writing your own dbt module -->
17 | ## Monitoring, Metadata, Performance tuning
18 | 
19 | <!-- - Занятие 12. Вопросы оптимизации производительности.
20 | - dbt Metadata: logging, dbt Artifacts
21 | - Workload management -->
22 | ## MLOps + DataOps
23 | 
24 | <!-- - Занятие 30. DWH: Reverse-ETL.
25 | - Занятие 31. DWH: Machine Learning capabilities.
26 | - Reverse ELT, ML capabilities -->
27 | 


--------------------------------------------------------------------------------
/6_capstone_project/README.md:
--------------------------------------------------------------------------------
1 | # Capstone project
2 | 
3 | ## Capstone project intro
4 | 
5 | ## Case studies
6 | 
7 | ## 🚀 Presenting your Capstone projects
8 | 


--------------------------------------------------------------------------------
/README.md:
--------------------------------------------------------------------------------
 1 | # Analytics Engineer
 2 | 
 3 | ## Labs
 4 | 
 5 | - [Setting up Airbyte Data Pipelines](https://github.com/kzzzr/airbyte_lab)
 6 | - [DWH powered by Clickhouse and dbt](https://github.com/kzzzr/dbt_clickhouse_lab)
 7 | - [Data Vault powered by dbtVault and Greenplum](https://github.com/kzzzr/dbtvault_greenplum_demo)
 8 | - [Semantic layer with dbt Metrics and Cube for myBI market](https://github.com/kzzzr/mybi-dbt-showcase)
 9 | - [Configuring Slim CI for myBI market](https://github.com/kzzzr/mybi-dbt-showcase)
10 | 
11 | ## Talks
12 | 
13 | - (YouTube) 2023-04 [Семантический слой для Аналитики ключевых метрик – dbt Metrics vs. Cube](https://www.youtube.com/watch?v=lb20Rrezszc)
14 | - (YouTube) 2022-11 [Аналитика продуктивности команд разработки на основе данных Github](https://www.youtube.com/watch?v=Y_xGZzI5sNI)
15 | - (YouTube) 2022-10 [Работа с ГЕО-данными в DWH: координаты, зоны, агрегация](https://www.youtube.com/watch?v=IS5PIOhXLdk)
16 | - (YouTube) 2022-05 [Extract - Load как сервис и как собственное решение. Поиск баланса и дзен. День 1](https://www.youtube.com/watch?v=CR32LFCgtGE)
17 | - (YouTube) 2022-05 [Extract - Load как сервис и как собственное решение. Поиск баланса и дзен. День 2](https://www.youtube.com/watch?v=dSm2kDsRhOI)
18 | - (YouTube) 2022-04 [SQL для аналитики — прикладные задачи и подходы к их решению](https://www.youtube.com/watch?v=UIJjXBVWONo)
19 | - (YouTube) 2022-04 [End-to-end решение для аналитики на примере источника MaestroQA](https://www.youtube.com/watch?v=ImchI3LeHeg)
20 | - (YouTube) 2021-11 [Полуструктурированные данные в Аналитических Хранилищах: Nested JSON + Arrays](https://www.youtube.com/watch?v=lBwmLnMwfl0)
21 | - (YouTube) 2021-07 [Configuring Slim CI: легковесные интеграционные тесты для Хранилища Данных](https://www.youtube.com/watch?v=yfMWiyKpUkQ)
22 | - (YouTube) 2021-06 [Лучшие практики в работе с Качеством Данных (Data Quality)](https://www.youtube.com/watch?v=j5V36kztvEI)
23 | 
24 | ## [Data Integration: ELT](./1_data_integration_elt/README.md)
25 | 
26 | - Databases for Analytics: key principles
27 | - Handling Data Sources
28 | - Developer tools 101: IDE, Terminal, Docker, Codespaces, Terraform
29 | - 🚀 Lab: [Setting up Airbyte Data Pipelines](https://github.com/kzzzr/airbyte_lab)
30 | 
31 | ## [DWH Basics](./2_dwh_basics/README.md)
32 | 
33 | - DWH modeling basics
34 | - Getting familiar with dbt (data build tool)
35 | - 🚀 Lab: [DWH powered by Clickhouse and dbt](https://github.com/kzzzr/dbt_clickhouse_lab)
36 | - Data Testing and Documenting
37 | 
38 | ## [dbt Deep Dive](./3_dbt_deep_dive/README.md)
39 | 
40 | - Enhancing dbt experience
41 | - Enhancing dbt code
42 | - Deployment and Orchestration
43 | - 🚀 Lab: [Data Vault powered by dbtVault and Greenplum](https://github.com/kzzzr/dbtvault_greenplum_demo)
44 | 
45 | ## [Business Intelligence](./4_business_intelligence/README.md)
46 | 
47 | - BI tools overview
48 | - SQL for Analytics: common patterns
49 | - Semantic Layer with dbt Metrics
50 | - Applied Analytics: Segments, Funnels, Cohorts, GEO, RFM
51 | - 🚀 Lab: [Semantic layer with dbt Metrics and Cube for myBI market](https://github.com/kzzzr/mybi-dbt-showcase)
52 | 
53 | ## [Advanced Toolkit](./5_advanced_toolkit/README.md)
54 | 
55 | - 🚀 Lab: [Configuring Slim CI for myBI market](https://github.com/kzzzr/mybi-dbt-showcase)
56 | - External and Semi-structured data
57 | - Extending dbt with packages
58 | - Monitoring, Metadata, Performance tuning
59 | - MLOps + DataOps
60 | 
61 | ## [Capstone project](./6_capstone_project/README.md)
62 | 
63 | - Capstone project intro
64 | - Case studies
65 | - 🚀 Presenting your Capstone projects
66 | 
67 | ## WIP About
68 | 
69 | About me
70 | 
71 | Learning course
72 | About platform where course is held
73 | Prerequisites: OS basic knowledge, Docker, ...
74 | 


--------------------------------------------------------------------------------