').maxValues.tickets_id as maxValues,
78 | add.path
79 | from json.`abfss://xxxx@xxxx.dfs.core.windows.net/xxxx/logs2/_delta_log/00000000000000000002.json`
80 | where add is not null
81 | ) tab where 22334863 between minValues and maxValues
82 | order by maxValues,minValues desc
83 |
--------------------------------------------------------------------------------
/tips/System Tables/ScriptSQL.sql:
--------------------------------------------------------------------------------
1 | -- Todas as tabelas do seu ambiente
2 | select * from system.information_schema.tables where table_owner <> 'System user';
3 |
4 | -- Todas as colunas de cada tabela
5 | select c.table_name,array_join(collect_set(column_name), ',') as columns from system.information_schema.columns c
6 | inner join system.information_schema.tables t on c.table_name = t.table_name and c.table_catalog = t.table_catalog
7 | where t.table_owner <> 'System user'
8 | group by all;
9 |
10 | -- Quantidade de tabelas por schema e catalog
11 | select table_catalog,table_schema,count(*) as qtdTables
12 | from system.information_schema.tables where table_owner <> 'System user'
13 | group by all;
14 |
15 | -- Auditoria do seu ambiente
16 | select * from system.access.audit order by event_time desc;
17 |
18 | -- Ultimo acesso nas suas tabelas
19 | select LastAccess.event_time,LastAccess.entity_type,LastAccess.created_by,* from system.information_schema.tables a
20 | LEFT JOIN
21 | LATERAL (select max(b.event_time) as event_time, LAST(b.entity_type) as entity_type, LAST(b.created_by) as created_by
22 | from system.access.table_lineage b where b.target_table_name = a.table_name) as LastAccess
23 | where a.table_owner <> 'System user';
24 |
25 | -- Quem acessou sua tabela e quando?
26 | select * from system.access.table_lineage where target_table_name = 'tbordersliquid'
27 | order by event_time desc;
28 |
29 | -- Todos os clusters do ambiente
30 | select cluster_source,count(*) as qtd from system.compute.clusters
31 | group by all;
32 |
33 | -- Clusters All Purpose
34 | select * from system.compute.clusters where cluster_source = 'UI';
35 |
36 | -- Job Clusters mais custosos
37 | SELECT usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `DBUs`
38 | FROM system.billing.usage
39 | WHERE usage_metadata.job_id IS NOT NULL
40 | GROUP BY `Job ID`
41 | ORDER BY `DBUs` DESC;
42 |
43 | -- Cluster mais custoso
44 | select b.cluster_name, sum(usage_quantity) as `DBUs Consumed` from system.billing.usage a
45 | inner join system.compute.clusters b on a.usage_metadata.cluster_id = b.cluster_id
46 | where usage_metadata.cluster_id is not null
47 | group by all
48 | order by 2 desc;
49 |
50 | -- Cluster All purpose mais custoso
51 | select usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed` from system.billing.usage a
52 | inner join system.compute.clusters b on a.usage_metadata.cluster_id = b.cluster_id
53 | where usage_metadata.cluster_id is not null
54 | group by all
55 | order by 1 desc;
56 |
57 |
58 | -- Cluster mais custoso em USD
59 | select b.cluster_name, sum(usage_quantity) as `DBUs Consumed`, (sum(usage_quantity) * max(c.pricing.default)) as TotalUSD
60 | from system.billing.usage a
61 | inner join system.compute.clusters b on a.usage_metadata.cluster_id = b.cluster_id
62 | inner join system.billing.list_prices c on c.sku_name = a.sku_name
63 | where usage_metadata.cluster_id is not null
64 | and usage_start_time between '2023-11-01' and '2023-11-30'
65 | group by all
66 | order by 3 desc;
67 |
68 |
69 | -- total em USD por mês
70 | select month(usage_end_time) as mes,sum(usage_quantity) as `DBUs Consumed`, (sum(usage_quantity) * max(c.pricing.default)) as TotalUSD
71 | from system.billing.usage a
72 | inner join system.billing.list_prices c on c.sku_name = a.sku_name
73 | group by all
74 | order by 1 desc
75 |
76 | -- Execuções do PREDICTIVE OPTIMIZATION
77 | select * from system.storage.predictive_optimization_operations_history;
78 |
--------------------------------------------------------------------------------
/tips/VacuumInventory/Vacuum Inventory.py:
--------------------------------------------------------------------------------
1 | # Databricks notebook source
2 | # DBTITLE 1,Variables
3 | from datetime import datetime, timedelta
4 | ## Script for Azure Databricks
5 | ## For AWS and GCP you need customize some code blocks
6 | ## If you are not using Unity Catalog, use as catalog name: hive_metastore
7 | ## Author: Reginaldo Silva
8 |
9 | ##########################
10 | ## Set Variables
11 | ##########################
12 | storageName = 'sahierarchicaldatalake'
13 | dataBucket = 'datalake'
14 | inventoryBucket = 'inventory'
15 |
16 | inventoryCatalogName = 'dev'
17 | inventoryDabaseName = 'datainaction'
18 | inventoryTableName = 'vacuumInventory'
19 | ##########################
20 |
21 | current_day = datetime.now().strftime('%d')
22 | current_month = datetime.now().strftime('%m')
23 | current_year = datetime.now().year
24 | dataStoragePath = f'abfss://{dataBucket}@{storageName}.dfs.core.windows.net/'
25 |
26 | try:
27 | dbutils.fs.ls(f'abfss://{inventoryBucket}@{storageName}.dfs.core.windows.net/{current_year}/{current_month}/{current_day}/')
28 | except:
29 | print('No files found using current day, trying D-1...')
30 | try:
31 | current_day = (datetime.today() + timedelta(days=-1)).strftime('%d')
32 | dbutils.fs.ls(f'abfss://{inventoryBucket}@{storageName}.dfs.core.windows.net/{current_year}/{current_month}/{current_day}/')
33 | print('Using D-1!')
34 | except:
35 | print('No files found!')
36 | dbutils.notebook.exit('No files found in inventory folder!')
37 |
38 | inventoryStoragePath = f'abfss://{inventoryBucket}@{storageName}.dfs.core.windows.net/{current_year}/{current_month}/{current_day}/*/*/*.parquet'
39 |
40 | print('Inventory Storage path: ', inventoryStoragePath)
41 | print('Data Storage path: ', dataStoragePath)
42 | print(f'Inventory Table: {inventoryCatalogName}.{inventoryDabaseName}.{inventoryTableName}')
43 |
44 | # COMMAND ----------
45 |
46 | # DBTITLE 1,Create Inventory Table
47 | spark.sql(f"""
48 | CREATE TABLE IF NOT EXISTS {inventoryCatalogName}.{inventoryDabaseName}.{inventoryTableName}
49 | (
50 | path string,
51 | `creationTime` long,
52 | `modificationTime` long,
53 | `length` long,
54 | `isDir` boolean,
55 | `LastAccessTime` string,
56 | SourceFileName string not null,
57 | datetimeLoad timestamp
58 | );
59 | """
60 | )
61 |
62 | # COMMAND ----------
63 |
64 | # DBTITLE 1,Clean data
65 | # Clean inventory table, we will load new updated data
66 | spark.sql(f"""
67 | Truncate table {inventoryCatalogName}.{inventoryDabaseName}.{inventoryTableName}
68 | """
69 | )
70 |
71 | # COMMAND ----------
72 |
73 | # DBTITLE 1,INSERT INTO inventory table
74 | # Insert new inventory Data to delta table
75 | # Get just the necessary fields
76 | # Field hdi_isfolder is another Option to achive isDir field
77 | spark.sql(f"""
78 | INSERT INTO {inventoryCatalogName}.{inventoryDabaseName}.{inventoryTableName}
79 | select
80 | concat('{dataStoragePath}',replace(name,'{dataBucket}/','')) as path,
81 | `Creation-Time` creationTime,
82 | `Last-Modified` modificationTime,
83 | `Content-Length` as length,
84 | case when `Content-Length` > 0 then false else true end isDir,
85 | cast(from_unixtime(`LastAccessTime` / 1000) as string) LastAccessTime,
86 | _metadata.file_name as SourceFileName,
87 | current_timestamp as datetimeLoad
88 | from
89 | parquet.`{inventoryStoragePath}`
90 | """
91 | ).display()
92 |
93 | # COMMAND ----------
94 |
95 | # MAGIC %md
96 | # MAGIC > Example
97 | # MAGIC >> **vacuum catalog.database.tableName using inventory (select path, length, isDir, modificationTime from dev.datainaction.vacuumInventory) RETAIN 48 HOURS**
98 |
--------------------------------------------------------------------------------
/tips/SHOW/SHOW COMMANDs.sql:
--------------------------------------------------------------------------------
1 | -- Databricks notebook source
2 | SHOW CATALOGS
3 |
4 | -- COMMAND ----------
5 |
6 | -- Databases = Schemas
7 | SHOW SCHEMAS FROM DEV
8 |
9 | -- COMMAND ----------
10 |
11 | SHOW TABLES FROM DEV.db_demo
12 |
13 | -- COMMAND ----------
14 |
15 | USE CATALOG DEV;
16 | USE SCHEMA db_demo;
17 | SHOW TABLE EXTENDED LIKE 'tb*';
18 |
19 | -- COMMAND ----------
20 |
21 | DROP TABLE testeuc2
22 |
23 | -- COMMAND ----------
24 |
25 | SHOW TABLES DROPPED IN db_demo
26 |
27 | -- COMMAND ----------
28 |
29 | UNDROP table DEV.db_demo.testeuc2
30 |
31 | -- COMMAND ----------
32 |
33 | ALTER TABLE DEV.db_demo.tbordersliquid SET TBLPROPERTIES ('delta.deletedFileRetentionDuration' = '1 days');
34 |
35 | -- COMMAND ----------
36 |
37 | SHOW TBLPROPERTIES DEV.db_demo.tbordersliquid
38 |
39 | -- COMMAND ----------
40 |
41 | SHOW COLUMNS FROM DEV.db_demo.tbordersliquid
42 |
43 | -- COMMAND ----------
44 |
45 | -- MAGIC %py
46 | -- MAGIC listcolunas = ''
47 | -- MAGIC list = spark.sql('SHOW COLUMNS FROM DEV.db_demo.tbordersliquid').collect()
48 | -- MAGIC
49 | -- MAGIC print(listcolunas)
50 |
51 | -- COMMAND ----------
52 |
53 | -- MAGIC %py
54 | -- MAGIC listcolunas = ','.join(str(col.col_name) for col in spark.sql('SHOW COLUMNS FROM DEV.db_demo.tbordersliquid').collect())
55 | -- MAGIC print(listcolunas)
56 |
57 | -- COMMAND ----------
58 |
59 | SHOW CREATE TABLE DEV.db_demo.tbordersliquid
60 |
61 | -- COMMAND ----------
62 |
63 | SHOW PARTITIONS DEV.db_demo.tborderspartition
64 |
65 | -- COMMAND ----------
66 |
67 | SHOW USERS
68 |
69 | -- COMMAND ----------
70 |
71 | SHOW USERS LIKE '*dataside*'
72 |
73 | -- COMMAND ----------
74 |
75 | SHOW GROUPS
76 |
77 | -- COMMAND ----------
78 |
79 | SHOW GROUPS WITH USER `reginaldo.silva@dataside.com.br`;
80 |
81 | -- COMMAND ----------
82 |
83 | SHOW GROUPS WITH GROUP `read_write_prod`;
84 |
85 | -- COMMAND ----------
86 |
87 | USE CATALOG DEV
88 |
89 | -- COMMAND ----------
90 |
91 | -- MAGIC %py
92 | -- MAGIC from pyspark.sql.functions import lit
93 | -- MAGIC from datetime import datetime
94 | -- MAGIC countTBOk = 1
95 | -- MAGIC countError = 0
96 | -- MAGIC countTotal = 1
97 | -- MAGIC for db in spark.sql("show databases").collect():
98 | -- MAGIC print('>>>>>>>> iniciando DB: ',db.databaseName)
99 | -- MAGIC for tb in spark.sql(f"show tables from {db.databaseName}").collect():
100 | -- MAGIC try:
101 | -- MAGIC countTotal = countTotal + 1
102 | -- MAGIC print(countTotal,' - ',db.databaseName,'.',tb.tableName)
103 | -- MAGIC spark.sql(f"select * from {db.databaseName}.{tb.tableName} limit 1")
104 | -- MAGIC countTBOk = countTBOk + 1
105 | -- MAGIC except Exception as error:
106 | -- MAGIC print("#######error ocurred on: ", db.databaseName,'.',tb.tableName, error)
107 | -- MAGIC countError = countError + 1
108 | -- MAGIC print ('------Quantidade de erros:', countError)
109 | -- MAGIC
110 | -- MAGIC print('Tabelas OK: ', countTBOk)
111 | -- MAGIC print('Tabelas com Erro: ', countError)
112 | -- MAGIC print('Total tabelas: ', countTotal)
113 |
114 | -- COMMAND ----------
115 |
116 | -- MAGIC %py
117 | -- MAGIC from pyspark.sql.functions import lit
118 | -- MAGIC from datetime import datetime
119 | -- MAGIC countTotal = 0
120 | -- MAGIC for db in spark.sql("show databases").collect():
121 | -- MAGIC print('>>>>>>>> iniciando DB: ',db.databaseName)
122 | -- MAGIC for tb in spark.sql(f"show tables from {db.databaseName}").collect():
123 | -- MAGIC try:
124 | -- MAGIC countTotal = countTotal + 1
125 | -- MAGIC print(countTotal,' - ',str(db.databaseName).replace(' ',''),'.',str(tb.tableName).replace(' ',''))
126 | -- MAGIC listcolunas = ','.join(str(col.col_name) for col in spark.sql(f"""SHOW COLUMNS FROM {db.databaseName.replace(' ','')}.{tb.tableName} """).collect())
127 | -- MAGIC print('->>> TableName: ',db.databaseName,'.',tb.tableName, ' ->>> List Cols: ',listcolunas)
128 | -- MAGIC except Exception as error:
129 | -- MAGIC print("#######error ocurred on: ", db.databaseName,'.',tb.tableName, error)
130 |
--------------------------------------------------------------------------------
/tips/DatabricksServicePrincipal/Generate ServicePrincipal Token.py:
--------------------------------------------------------------------------------
1 | # Databricks notebook source
2 | # DBTITLE 1,Criando uma ServicePrincipal e colocando em um grupo especifico
3 | # MAGIC %sh
4 | # MAGIC curl --netrc -X POST \
5 | # MAGIC https://adb-4013955633331914.14.azuredatabricks.net/api/2.0/preview/scim/v2/ServicePrincipals \
6 | # MAGIC --header 'Content-type: application/scim+json' \
7 | # MAGIC --header 'Authorization: Bearer xxx-3' \
8 | # MAGIC --data '{"schemas": ["urn:ietf:params:scim:schemas:core:2.0:ServicePrincipal"],"applicationId": "96a9c13a-bd04-459f-a186-e36fe24b6c9a","displayName": "databricks-serviceprincipal","groups": [{"value": "612835559850353"}],"entitlements": [{ "value": "allow-cluster-create"}], "active": true}'
9 |
10 | # COMMAND ----------
11 |
12 | # DBTITLE 1,Resgatando o GroupID
13 | ##prod
14 | from requests import request
15 | from pyspark.sql.functions import *
16 | import requests
17 | import json
18 |
19 | instance_id = 'adb-4013955633331914.14.azuredatabricks.net'
20 |
21 | api_version = '/api/2.0'
22 | api_command = '/preview/scim/v2/Groups'
23 | url = f"https://{instance_id}{api_version}{api_command}"
24 |
25 | #Adicionar secret
26 | headers = {
27 | 'Authorization': "Bearer xxxx-3"
28 | }
29 |
30 | response = requests.get(
31 | url = url,
32 | headers=headers
33 | )
34 |
35 | jsonDataList = []
36 | jsonDataList.append(json.dumps(json.loads(response.text), indent = 2))
37 | jsonRDD = sc.parallelize(jsonDataList)
38 | dfGroups = spark.read.option('multiline', 'true').option('inferSchema', 'true').json(jsonRDD)
39 | dfExplode = dfGroups.withColumn("Groups",explode(dfGroups.Resources))
40 | dfExplode.select(dfExplode.Groups.id,dfExplode.Groups.displayName).display()
41 |
42 | # COMMAND ----------
43 |
44 | # DBTITLE 1,List ServicePrincipal
45 | # MAGIC %sh
46 | # MAGIC curl -X GET \
47 | # MAGIC https://adb-4013955633331914.14.azuredatabricks.net/api/2.0/preview/scim/v2/ServicePrincipals \
48 | # MAGIC --header "Authorization: Bearer xxxx-3"
49 |
50 | # COMMAND ----------
51 |
52 | # DBTITLE 1,Genarate a short-live token - Use this token to generate a Databricks PAT for an app
53 | # MAGIC %sh
54 | # MAGIC curl -X POST -H 'Content-Type: application/x-www-form-urlencoded' \
55 | # MAGIC https://login.microsoftonline.com/[TenantID]/oauth2/v2.0/token \
56 | # MAGIC -d 'client_id=96a9c13a-bd04-459f-a186-e36fe24b6c9a' \
57 | # MAGIC -d 'grant_type=client_credentials' \
58 | # MAGIC -d 'scope=2ff814a6-3304-4ab8-85cb-cd0e6f879c1d%2F.default' \
59 | # MAGIC -d 'client_secret=[App Secret]'
60 |
61 | # COMMAND ----------
62 |
63 | # DBTITLE 1,Create Token for ServicePrincipal - Use short-live token to authenticate
64 | # MAGIC %sh
65 | # MAGIC curl -X POST \
66 | # MAGIC https://adb-4013955633331914.14.azuredatabricks.net/api/2.0/token/create \
67 | # MAGIC --header "Content-type: application/json" \
68 | # MAGIC --header "Authorization: Bearer [token]" \
69 | # MAGIC --data '{"application_id": "96a9c13a-bd04-459f-a186-e36fe24b6c9a","comment": "Token para acesso no PowerBI, token não expira","lifetime_seconds": -1}'
70 |
71 | # COMMAND ----------
72 |
73 | # DBTITLE 1,Token List - Use App Token
74 | ##prod
75 | from pyspark.sql.functions import *
76 | from requests import request
77 | import requests
78 | import json
79 |
80 | instance_id = 'adb-4013955633331914.14.azuredatabricks.net'
81 |
82 | api_version = '/api/2.0'
83 | api_command = '/token/list'
84 | url = f"https://{instance_id}{api_version}{api_command}"
85 |
86 | #Adicionar secret
87 | headers = {
88 | 'Authorization': "Bearer xxx-3"
89 | }
90 |
91 | response = requests.get(
92 | url = url,
93 | headers=headers
94 | )
95 |
96 | jsonDataList = []
97 | jsonDataList.append(json.dumps(json.loads(response.text), indent = 2))
98 | jsonRDD = sc.parallelize(jsonDataList)
99 | dfGroups = spark.read.option('multiline', 'true').option('inferSchema', 'true').json(jsonRDD)
100 | print(json.dumps(json.loads(response.text), indent = 2))
101 |
102 | # COMMAND ----------
103 |
104 | # DBTITLE 1,Test Resquest API with ServicePrincipal Token
105 | # MAGIC %sh
106 | # MAGIC curl -X GET \
107 | # MAGIC -H 'Authorization: Bearer xxx-3' \
108 | # MAGIC https://adb-4013955633331914.14.azuredatabricks.net/api/2.0/clusters/list
109 |
--------------------------------------------------------------------------------
/tips/logicapp/logicapp.json:
--------------------------------------------------------------------------------
1 | {
2 | "definition": {
3 | "$schema": "https://schema.management.azure.com/providers/Microsoft.Logic/schemas/2016-06-01/workflowdefinition.json#",
4 | "actions": {
5 | "HTTP_-_Run_Databricks_Job": {
6 | "inputs": {
7 | "body": {
8 | "job_id": "@triggerBody()?['jobId']"
9 | },
10 | "headers": {
11 | "Authorization": "Bearer xxxxx"
12 | },
13 | "method": "POST",
14 | "uri": "@triggerBody()?['databricksWorkspace']"
15 | },
16 | "runAfter": {},
17 | "type": "Http"
18 | },
19 | "Send_Email_Notification": {
20 | "inputs": {
21 | "body": {
22 | "Body": "Abaixo detalhes da execução:
\n
\n@{triggerBody()?['customBody']}
\n
\nJobName:@{triggerBody()?['jobName']}
\nDatabricksAPI:@{triggerBody()?['databricksWorkspace']}
\nDate: @{triggerBody()?['dateLog']}
\nResult:@{body('HTTP_-_Run_Databricks_Job')}
",
23 | "Importance": "High",
24 | "Subject": "@triggerBody()?['subject']",
25 | "To": "@triggerBody()?['emailList']"
26 | },
27 | "host": {
28 | "connection": {
29 | "name": "@parameters('$connections')['office365']['connectionId']"
30 | }
31 | },
32 | "method": "post",
33 | "path": "/v2/Mail"
34 | },
35 | "runAfter": {
36 | "HTTP_-_Run_Databricks_Job": [
37 | "Succeeded"
38 | ]
39 | },
40 | "type": "ApiConnection"
41 | }
42 | },
43 | "contentVersion": "1.0.0.0",
44 | "outputs": {},
45 | "parameters": {
46 | "$connections": {
47 | "defaultValue": {},
48 | "type": "Object"
49 | }
50 | },
51 | "triggers": {
52 | "Events_Monitor_": {
53 | "evaluatedRecurrence": {
54 | "frequency": "Minute",
55 | "interval": 1
56 | },
57 | "inputs": {
58 | "host": {
59 | "connection": {
60 | "name": "@parameters('$connections')['sql_3']['connectionId']"
61 | }
62 | },
63 | "method": "get",
64 | "path": "/v2/datasets/@{encodeURIComponent(encodeURIComponent('default'))},@{encodeURIComponent(encodeURIComponent('default'))}/tables/@{encodeURIComponent(encodeURIComponent('tb_OrchestratorEvents'))}/onnewitems"
65 | },
66 | "recurrence": {
67 | "frequency": "Minute",
68 | "interval": 1
69 | },
70 | "splitOn": "@triggerBody()?['value']",
71 | "type": "ApiConnection"
72 | }
73 | }
74 | },
75 | "parameters": {
76 | "$connections": {
77 | "value": {
78 | "office365": {
79 | "connectionId": "/subscriptions/b71883c3-c463-4eb2-b54a-d7eece44d276/resourceGroups/rgDatabricks/providers/Microsoft.Web/connections/office365-2",
80 | "connectionName": "office365-2",
81 | "id": "/subscriptions/b71883c3-c463-4eb2-b54a-d7eece44d276/providers/Microsoft.Web/locations/eastus/managedApis/office365"
82 | },
83 | "sql_3": {
84 | "connectionId": "/subscriptions/b71883c3-c463-4eb2-b54a-d7eece44d276/resourceGroups/rgDatabricks/providers/Microsoft.Web/connections/sql-10",
85 | "connectionName": "sql-10",
86 | "id": "/subscriptions/b71883c3-c463-4eb2-b54a-d7eece44d276/providers/Microsoft.Web/locations/eastus/managedApis/sql"
87 | }
88 | }
89 | }
90 | }
91 | }
--------------------------------------------------------------------------------
/tips/UpgradeMethods/README.md:
--------------------------------------------------------------------------------
1 | ##Tabela de migração: Estrategias por tipo de tabela
2 |
3 | | Id | Tipo HMS | Location | Tipo UC | Método |
4 | |----|----------|----------------|--------------------|--------------------------|
5 | | 1 | Managed | DBFS Root | Managed/External | CTAS / DEEP CLONE |
6 | | 2 | Managed | DBFS Root | Managed/External | CTAS / DEEP CLONE |
7 | | 3 | Hive SerDe | DBFS Root | Managed/External | CTAS / DEEP CLONE |
8 | | 4 | Managed | Mount | External | SYNC com Convert |
9 | | 5 | Managed | Mount | Managed | CTAS / DEEP CLONE |
10 | | 6 | External | Mount | External | SYNC |
11 | | 7 | External | Mount | Managed | CTAS / DEEP CLONE |
12 | | 8 | Managed | Cloud Storage | External | SYNC com Convert |
13 | | 9 | Managed | Cloud Storage | Managed | CTAS / DEEP CLONE |
14 | | 10 | External | Cloud Storage | External | SYNC |
15 | | 11 | External | Cloud Storage | Managed | CTAS / DEEP CLONE |
16 |
17 | ## Observação importante
18 | - **set spark.databricks.sync.command.enableManagedTable=true;**
19 | - Ao usar essa opção, você não pode dropar a tabela no HMS, pois, o dados serão excluídos do Storage
20 | - Caso queira dropar, use o script Scala para trocar ela de Managed para External
21 | - Outra dica, após a migração das suas tabelas do HMS para o UC, caso você não drop elas no HMS, voce pode usar essa opção para evitar que alguém escreva nelas, principalmente se forem Managed.
22 |
23 | ## Tabelas Managed vs External
24 |
25 | - **Tabelas Managed**:
26 | - Dados e metadados são gerenciados pelo Unity Catalog.
27 | - Os dados são armazenados no local especificado pelo catálogo Unity (tipicamente em armazenamento cloud).
28 | - A exclusão de uma tabela managed remove também os dados.
29 | - Se for HMS os dados são removidos imediatamente
30 | - Se for no UC os dados são mantidos por mais 30 dias
31 | - Aqui voce pode usar o UNDROP até 7 dias
32 |
33 | - **Tabelas External**:
34 | - Apenas os metadados são gerenciados pelo Unity Catalog, os dados permanecem no armazenamento externo (geralmente em um bucket ou outro recurso cloud).
35 | - A exclusão de uma tabela external remove apenas os metadados; os dados permanecem no armazenamento original.
36 | - Permite que os dados sejam compartilhados entre diferentes sistemas ou aplicações.
37 |
38 | ### DBFS Root vs Mount vs Cloud Storage
39 |
40 | - **DBFS Root**:
41 | - O sistema de arquivos distribuído do Databricks (Databricks File System).
42 | - Armazenamento temporário e volátil, com possíveis limitações em operações de longa duração.
43 | - Os dados ficam fisicamente no storage da Databricks que voce não tem acesso
44 |
45 | - **Mount**:
46 | - Uma forma de acessar o armazenamento externo (como S3, ADLS) no DBFS como se fosse um diretório local.
47 | - Os dados permanecem no armazenamento externo, mas podem ser acessados dentro de Databricks via caminhos montados.
48 |
49 | - **Cloud Storage**:
50 | - Armazenamento na nuvem (ex: AWS S3, Azure Data Lake, Google Cloud Storage) onde os dados podem ser armazenados e acessados diretamente.
51 | - Mais flexível para armazenamento de grande volume e soluções a longo prazo.
52 |
53 | ### Métodos CTAS, DEEP CLONE e SYNC
54 |
55 | - **CTAS (Create Table As Select)**:
56 | - Método usado para criar uma nova tabela a partir dos resultados de uma consulta SQL.
57 | - A nova tabela pode ser criada com dados agregados ou filtrados.
58 | - Exemplo de uso: `CREATE TABLE nova_tabela AS SELECT * FROM tabela_existente WHERE condição`.
59 |
60 | - **DEEP CLONE**:
61 | - Método utilizado para clonar tabelas, incluindo seus dados, metadados e histórico de transações.
62 | - Utilizado para cópia rápida de tabelas, útil em cenários de backup ou migração.
63 | - Exemplo: `DEEP CLONE origem DESTINO` cria uma cópia completa da tabela de origem.
64 |
65 | - **SYNC**:
66 | - Sincroniza tabelas external com o Unity Catalog, garantindo que o catálogo reflita as alterações feitas diretamente no armazenamento.
67 | - Essencial para manter a consistência entre os metadados no Unity Catalog e o armazenamento externo.
68 | - Útil para cenários onde os dados podem ser alterados por fora do Databricks.
69 |
70 |
71 | Post Databricks:
72 | https://www.databricks.com/blog/migrating-tables-hive-metastore-unity-catalog-metastore#appendix
73 |
74 | Notebook oficial:
75 | https://notebooks.databricks.com/notebooks/uc-upgrade-scenario-with-examples-for-blog.dbc?_gl=1*1nrxwtq*_gcl_au*OTUxMzE5NDg3LjE2OTM0NjcxNDM.
76 |
--------------------------------------------------------------------------------
/API/databricks/Databricks API - Clusters.py:
--------------------------------------------------------------------------------
1 | # Databricks notebook source
2 | # DBTITLE 1,Listando todos os clusters Databricks
3 | import requests
4 | import json
5 |
6 | ## O seu databricks Instance voce encontra na sua URL.
7 | instance_id = 'xxxxxxx.azuredatabricks.net'
8 |
9 | # Aqui estamos usando a API na versão 2.0 que é a mais recente no momento
10 | api_version = '/api/2.0'
11 | api_command = '/clusters/list'
12 | url = f"https://{instance_id}{api_version}{api_command}"
13 | print(url)
14 |
15 | headers = {
16 | 'Authorization': "Bearer xxxxxxx" ## put your databricks token here
17 | }
18 |
19 | response = requests.get(
20 | url = url,
21 | headers=headers
22 | )
23 |
24 | # Transformando nosso retorno em um Dataframe
25 | jsonDataList = []
26 | jsonDataList.append(json.dumps(json.loads(response.text), indent = 2))
27 | jsonRDD = sc.parallelize(jsonDataList)
28 | df = spark.read.option('multiline', 'true').option('inferSchema', 'true').json(jsonRDD)
29 |
30 | # COMMAND ----------
31 |
32 | # DBTITLE 1,Print em modo Text
33 | print(response.text)
34 |
35 | # COMMAND ----------
36 |
37 | # DBTITLE 1,Print bonito
38 | print(json.dumps(json.loads(response.text), indent = 2))
39 |
40 | # COMMAND ----------
41 |
42 | # DBTITLE 1,Expandindo itens
43 | from pyspark.sql.functions import *
44 | # Usando o Explode para expandir nosso Json.
45 | dfclusters = df.select(explode("clusters").alias("cl"))
46 | dfclusters.display()
47 |
48 | # COMMAND ----------
49 |
50 | # DBTITLE 1,Selecionando os campos relevantes
51 | dfclusters.select(
52 | dfclusters.cl.cluster_id,
53 | dfclusters.cl.cluster_name,
54 | dfclusters.cl.cluster_cores,
55 | dfclusters.cl.cluster_memory_mb,
56 | dfclusters.cl.state,
57 | dfclusters.cl.spark_conf,
58 | dfclusters.cl.cluster_source.alias("cluster_source"),
59 | dfclusters.cl.creator_user_name,
60 | dfclusters.cl.autotermination_minutes,
61 | dfclusters.cl.azure_attributes,
62 | dfclusters.cl.autoscale,
63 | dfclusters.cl.custom_tags,
64 | dfclusters.cl.default_tags,
65 | dfclusters.cl.driver,
66 | dfclusters.cl.driver_instance_source,
67 | dfclusters.cl.driver_node_type_id,
68 | dfclusters.cl.node_type_id,
69 | dfclusters.cl.effective_spark_version.alias("effective_spark_version"),
70 | dfclusters.cl.enable_elastic_disk,
71 | dfclusters.cl.last_restarted_time,
72 | dfclusters.cl.last_state_loss_time,
73 | dfclusters.cl.num_workers,
74 | dfclusters.cl.runtime_engine.alias("runtime_engine"),
75 | dfclusters.cl.spark_conf,
76 | dfclusters.cl.start_time,
77 | dfclusters.cl.state,
78 | dfclusters.cl.state_message,
79 | dfclusters.cl.terminated_time,
80 | dfclusters.cl.termination_reason
81 | ).createOrReplaceTempView('vw_clusters')
82 |
83 | # COMMAND ----------
84 |
85 | # DBTITLE 1,Consultando com SQL
86 | # MAGIC %sql
87 | # MAGIC -- Para os amantes de SQL
88 | # MAGIC select * from vw_clusters
89 |
90 | # COMMAND ----------
91 |
92 | # DBTITLE 1,Agrupando por versão e origem
93 | # MAGIC %sql
94 | # MAGIC select cluster_source,effective_spark_version,count(*) as qtdClusters from vw_clusters
95 | # MAGIC group by cluster_source,effective_spark_version
96 | # MAGIC order by cluster_source,effective_spark_version
97 |
98 | # COMMAND ----------
99 |
100 | # DBTITLE 1,Criando um novo cluster via API
101 | # Aqui estamos usando a API na versão 2.0 que é a mais recente no momento
102 | api_version = '/api/2.0'
103 | api_command = '/clusters/create'
104 | url = f"https://{instance_id}{api_version}{api_command}"
105 | print(url)
106 |
107 | headers = {
108 | 'Authorization': "Bearer xxxxxx-2" ## put your databricks token here
109 | }
110 |
111 | datajson = {
112 | "cluster_name": "my-cluster-api",
113 | "spark_version": "11.3.x-scala2.12",
114 | "node_type_id": "Standard_D3_v2",
115 | "spark_conf": {
116 | "spark.speculation": True
117 | },
118 | "num_workers": 1
119 | }
120 |
121 | print(json.dumps(datajson, indent = 2))
122 | data = json.dumps(datajson, indent = 2)
123 | response = requests.post(url = url, headers = headers, data = data)
124 | print(response)
125 |
126 | # COMMAND ----------
127 |
128 | # DBTITLE 1,Deletando um cluster via API
129 | # Aqui estamos usando a API na versão 2.0 que é a mais recente no momento
130 | api_version = '/api/2.0'
131 | api_command = '/clusters/delete'
132 | url = f"https://{instance_id}{api_version}{api_command}"
133 | print(url)
134 |
135 | headers = {
136 | 'Authorization': "Bearer xxxxxx" ## put your databricks token here
137 | }
138 |
139 | datajson = {"cluster_id": "0211-131904-kvyksq3e"}
140 |
141 | print(json.dumps(datajson, indent = 2))
142 | data = json.dumps(datajson, indent = 2)
143 | response = requests.post(url = url, headers = headers, data = data)
144 | print(response)
145 |
146 | # COMMAND ----------
147 |
148 | # DBTITLE 1,Salvando como tabela Delta
149 | ## Adicione o caminho do storage
150 | caminhoDatalakeLog = '[]'
151 | df = spark.sql("select * from vw_clusters")
152 | df.write.option("mergeSchema", "true").mode(f"overwrite").format("delta").save(f"{caminhoDatalakeLog}")
153 | spark.sql(f"Create Table if not exists [nome do seu banco de dados].monitoramento_clusters Using Delta Location '{caminhoDatalakeLog}'")
154 |
--------------------------------------------------------------------------------
/routines/OptimizeAndVacuum/OptimizeAndVacuum.py:
--------------------------------------------------------------------------------
1 | # Databricks notebook source
2 | # MAGIC %md
3 | # MAGIC Descriçao dos parametros
4 | # MAGIC
5 | # MAGIC | Parametro | Descrição | Tipo
6 | # MAGIC | ------------- | ------------- | ------------- |
7 | # MAGIC | nomeSchema | Nome do Database onde a tabela está criada | string |
8 | # MAGIC | nomeTabela | Nome da tabela que será aplicado a manutenção | string |
9 | # MAGIC | vacuum | True: Vacuum será executado, False: Pula vacuum | bool |
10 | # MAGIC | optimize | True: OPTIMIZE será executado, False: Pula OPTIMIZE | bool |
11 | # MAGIC | colunasZorder | Se informado e optimize for igual a True, aplicada Zorder na lista de colunas separado por vírgula (,) | string |
12 | # MAGIC | vacuumRetention | Quantidade de horas que será retida após execucao do Vacuum | integer |
13 | # MAGIC | Debug | Apenas imprime o resultado na tela | bool |
14 | # MAGIC
15 | # MAGIC Exemplos:
16 | # MAGIC
17 | # MAGIC #### --> Primeiro instanciar a Function <--
18 | # MAGIC `` %run /Users/reginaldo.silva@dataside.com.br/OptimizeAndVacuum ``
19 | # MAGIC
20 | # MAGIC #### --> Executando VACUUM com retenção de 72 horas e OPTMIZE SEM ZORDER <--
21 | # MAGIC ``maintenanceDeltalake(nomeSchema='db_festivaldemo', nomeTabela='funcionario', colunasZorder='none', vacuumRetention=72, vacuum=True, optimize=True, debug=False)``
22 | # MAGIC
23 | # MAGIC #### --> Executando VACUUM retenção padrão e OPTMIZE COM ZORDER <--
24 | # MAGIC ``maintenanceDeltalake(nomeSchema='db_festivaldemo', nomeTabela='PatientInfoDelta', colunasZorder='patient_id', vacuumRetention=168, vacuum=True, optimize=True, debug=False)``
25 | # MAGIC
26 | # MAGIC #### --> Executando somente VACUUM <--
27 | # MAGIC ``maintenanceDeltalake(nomeSchema='db_festivaldemo', nomeTabela='PatientInfoDelta', colunasZorder='none', vacuumRetention=168, vacuum=True, optimize=False, debug=False)``
28 | # MAGIC
29 | # MAGIC #### --> Executando somente OPTMIZE <--
30 | # MAGIC ``maintenanceDeltalake(nomeSchema='db_festivaldemo', nomeTabela='PatientInfoDelta', colunasZorder='none', vacuumRetention=168, vacuum=False, optimize=True, debug=False)``
31 | # MAGIC
32 | # MAGIC #### --> Modo Debug - Apenas print <--
33 | # MAGIC ``maintenanceDeltalake(nomeSchema='db_festivaldemo', nomeTabela='PatientInfoDelta', colunasZorder='none', vacuumRetention=168, vacuum=True, optimize=True, debug=True)``
34 | # MAGIC
35 | # MAGIC ``Criado por: Reginaldo Silva``
36 | # MAGIC - [Blog Data In Action](https://datainaction.dev/)
37 | # MAGIC - [Github](https://github.com/reginaldosilva27)
38 | # MAGIC
39 | # MAGIC ``Referencias:``
40 | # MAGIC -
41 | # MAGIC -
42 |
43 | # COMMAND ----------
44 |
45 | from datetime import datetime
46 | def maintenanceDeltalake (nomeSchema='silver', nomeTabela='none', colunasZorder='none', vacuumRetention=168, vacuum=True, optimize=True, debug=True):
47 | if debug:
48 | print("Modo Debug habilitado!")
49 | if optimize:
50 | if colunasZorder != "none":
51 | print(f">>> Otimizando tabela {nomeSchema}.{nomeTabela} com ZORDER no grupo de colunas: {colunasZorder} <<< >>> {str(datetime.now())}")
52 | print(f"CMD: OPTIMIZE {nomeSchema}.{nomeTabela} ZORDER BY ({colunasZorder})")
53 | else:
54 | print(f">>> Otimizando tabela {nomeSchema}.{nomeTabela} sem ZORDER <<< >>> {str(datetime.now())}")
55 | print(f"CMD: OPTIMIZE {nomeSchema}.{nomeTabela}")
56 | print(f">>> Tabela {nomeSchema}.{nomeTabela} otimizada! <<< >>> {str(datetime.now())}")
57 | else:
58 | print(f"### Não executado OPTIMIZE! ###")
59 |
60 | if vacuum:
61 | print(f">>> Setando {vacuumRetention} horas para limpeza de versionamento do deltalake... <<< >>> {str(datetime.now())}")
62 | print(f"CMD: VACUUM {nomeSchema}.{nomeTabela} RETAIN {vacuumRetention} Hours")
63 | print(f">>> Limpeza da tabela {nomeSchema}.{nomeTabela} aplicada com sucesso! <<< >>> {str(datetime.now())}")
64 | else:
65 | print(f"### Não executado VACUUM! ###")
66 | else:
67 | print("Modo Debug desabilitado!")
68 | if optimize:
69 | if colunasZorder != "none":
70 | print(f">>> Otimizando tabela {nomeSchema}.{nomeTabela} com ZORDER no grupo de colunas: {colunasZorder} <<< >>> {str(datetime.now())}")
71 | print(f"CMD: OPTIMIZE {nomeSchema}.{nomeTabela} ZORDER BY ({colunasZorder})")
72 | spark.sql(f"OPTIMIZE {nomeSchema}.{nomeTabela} ZORDER BY ({colunasZorder})")
73 | else:
74 | print(f">>> Otimizando tabela {nomeSchema}.{nomeTabela} sem ZORDER <<< >>> {str(datetime.now())}")
75 | print(f"CMD: OPTIMIZE {nomeSchema}.{nomeTabela}")
76 | spark.sql(f"OPTIMIZE {nomeSchema}.{nomeTabela}")
77 | print(f">>> Tabela {nomeSchema}.{nomeTabela} otimizada! <<< >>> {str(datetime.now())}")
78 | else:
79 | print(f"### Não executado OPTIMIZE! ###")
80 |
81 | if vacuum:
82 | print(f">>> Setando {vacuumRetention} horas para limpeza de versionamento do deltalake... <<< >>> {str(datetime.now())}")
83 | spark.sql("set spark.databricks.delta.retentionDurationCheck.enabled = false")
84 | print(f"CMD: VACUUM {nomeSchema}.{nomeTabela} RETAIN {vacuumRetention} Hours")
85 | spark.sql(f"VACUUM {nomeSchema}.{nomeTabela} RETAIN {vacuumRetention} Hours")
86 | spark.sql("set spark.databricks.delta.retentionDurationCheck.enabled = true")
87 | print(f">>> Limpeza da tabela {nomeSchema}.{nomeTabela} aplicada com sucesso! <<< >>> {str(datetime.now())}")
88 | else:
89 | print(f"### Não executado VACUUM! ###")
90 |
91 | # COMMAND ----------
92 |
93 | # DBTITLE 1,Enviar parâmetros para execução após instanciar a função
94 | # MAGIC %py
95 | # MAGIC #Caso queira já chamar a função diretamente do Azure Data Factory, informar os parametros na chamada do notebook
96 | # MAGIC try:
97 | # MAGIC maintenanceDeltalake(nomeSchema=getArgument("NomeSchema"), nomeTabela=getArgument("NomeTabela"), colunasZorder=getArgument("ColunasZorder"), vacuumRetention=getArgument("VacuumRetention"), vacuum=eval(getArgument("Vacuum")), optimize=eval(getArgument("Optimize")), debug=eval(getArgument("Debug")))
98 | # MAGIC except:
99 | # MAGIC print("Função maintenanceDeltalake() instanciada no contexto!")
100 |
--------------------------------------------------------------------------------
/tips/timeTravelVsCDF/Time Travel vs Change Data Feed.sql:
--------------------------------------------------------------------------------
1 | -- Databricks notebook source
2 | -- DBTITLE 1,Criando tabela demo
3 | -- MAGIC %py
4 | -- MAGIC df = spark.read.option("header", "True").format('csv').load('/databricks-datasets/COVID/coronavirusdataset/PatientInfo.csv')
5 | -- MAGIC df.write.format('delta').mode('overwrite').saveAsTable("db_demo.PatientInfoDelta",path='abfss://reginaldo@stdts360.dfs.core.windows.net/bronze/PatientInfoDelta')
6 | -- MAGIC df.display()
7 |
8 | -- COMMAND ----------
9 |
10 | -- DBTITLE 1,Time travel exemplo
11 | -- Atualizando 1 registro
12 | update db_demo.PatientInfoDelta set age = '33s' where patient_id = '1000000001'
13 |
14 | -- COMMAND ----------
15 |
16 | -- DBTITLE 1,Visualizando o histórico de alterações na tabela
17 | describe history db_demo.PatientInfoDelta
18 |
19 | -- COMMAND ----------
20 |
21 | -- DBTITLE 1,Viajando no tempo usando VERSION AS OF
22 | select * from db_demo.PatientInfoDelta VERSION AS OF 0 where patient_id = '1000000001'
23 |
24 | -- COMMAND ----------
25 |
26 | -- DBTITLE 1,Viajando no tempo usando TIMESTAMP AS OF
27 | select 'OLD', * from db_demo.PatientInfoDelta timestamp AS OF '2023-06-03T14:19:07.000+0000'
28 | where patient_id = '1000000001' union all
29 | select 'NEW', * from db_demo.PatientInfoDelta where patient_id = '1000000001'
30 |
31 | -- COMMAND ----------
32 |
33 | -- DBTITLE 1,DELETE Sem Where - E agora quem poderá nos defender?
34 | delete from db_demo.PatientInfoDelta;
35 | select * from db_demo.PatientInfoDelta
36 |
37 | -- COMMAND ----------
38 |
39 | -- DBTITLE 1,Historico de alterações
40 | describe history db_demo.PatientInfoDelta
41 |
42 | -- COMMAND ----------
43 |
44 | -- DBTITLE 1,Restaurando a tabela com historico do TIME TRAVEL
45 | RESTORE db_demo.PatientInfoDelta VERSION AS OF 1;
46 | select * from db_demo.PatientInfoDelta
47 |
48 | -- COMMAND ----------
49 |
50 | -- DBTITLE 1,Habilitando o Change Data Feed
51 | Alter table db_demo.PatientInfoDelta SET TBLPROPERTIES (delta.enableChangeDataFeed = true)
52 |
53 | -- COMMAND ----------
54 |
55 | -- DBTITLE 1,Criar nossa tabela Silver para simular o CDF na prática
56 | -- Essa silver só terá dados de pacientes infectados por outros pacientes filtrando pelo infected_by
57 | Create or Replace table db_demo.SilverPatientInfectedBy
58 | as
59 | select patient_id,sex,age,country,province,city,infection_case,infected_by from db_demo.PatientInfoDelta where infected_by is not null;
60 |
61 | select * from db_demo.SilverPatientInfectedBy;
62 |
63 | -- COMMAND ----------
64 |
65 | -- DBTITLE 1,Gerando algumas modificações
66 | -- Atualizando 2 registro, deletando 1 registro e inserindo 1 registro
67 | -- Note que estou aplicando 2 updates no mesmo registro 1000000003
68 | update db_demo.PatientInfoDelta set age = '70s' where patient_id = '1000000003';
69 | update db_demo.PatientInfoDelta set sex = 'female' where patient_id = '1000000003';
70 | delete from db_demo.PatientInfoDelta where patient_id = '1000000005';
71 | insert into db_demo.PatientInfoDelta values('1000003211','male','31s','Brazil','Sao Paulo','Boituva','Dataholic','1500000033',12,current_date(),current_date(),current_date(),null,'released');
72 |
73 | -- COMMAND ----------
74 |
75 | -- DBTITLE 1,Visualizando as versões
76 | describe history db_demo.PatientInfoDelta
77 |
78 | -- COMMAND ----------
79 |
80 | -- DBTITLE 1,Usando table_changes() para navegar nas versões
81 | -- Pegando a partir da versão 4 tudo que aconteceu
82 | SELECT _change_type,_commit_version,_commit_timestamp,* FROM table_changes('db_demo.`PatientInfoDelta`', 4)
83 |
84 | -- COMMAND ----------
85 |
86 | -- DBTITLE 1,Criando uma View temporaria para pegar somente a ultima versão de cada registro
87 | -- Para Updates pegamos somente o update_postimage que são os dados novos
88 | -- Estamos aplicando a função ROW_NUMBER pela chave da tabela (patient_id) ordenando pelo _commit_version
89 | -- Note que o rnb filtramos apenas o 1, então se o paciente tiver 2 Updates será aplicado o mais recente
90 | -- Estou passando a versão fixa no table_changes, mas pode ser dinamico
91 | CREATE OR REPLACE TEMPORARY VIEW vwPatientInfectedBy as
92 | SELECT *
93 | FROM
94 | (SELECT *, row_number() over (partition by patient_id order by _commit_version desc) as rnb
95 | FROM table_changes('db_demo.`PatientInfoDelta`', 4) where _change_type !='update_preimage' and infected_by is not null)
96 | WHERE rnb=1;
97 |
98 | select _change_type,_commit_version,_commit_timestamp,rnb,* from vwPatientInfectedBy;
99 |
100 | -- COMMAND ----------
101 |
102 | -- DBTITLE 1,Visualizando alterações antes
103 | select * from db_demo.SilverPatientInfectedBy where patient_id in('1000000003','1000000005','1000003211');
104 |
105 | -- COMMAND ----------
106 |
107 | -- DBTITLE 1,Aplicando as alterações na nossa tabela Silver
108 | MERGE INTO db_demo.SilverPatientInfectedBy as t
109 | USING vwPatientInfectedBy as s
110 | ON s.patient_id = t.patient_id
111 | WHEN MATCHED AND s._change_type = 'delete' THEN DELETE
112 | WHEN MATCHED AND s._change_type = 'update_postimage' THEN UPDATE SET *
113 | WHEN NOT MATCHED AND _change_type != 'delete' THEN INSERT *
114 |
115 | -- COMMAND ----------
116 |
117 | -- DBTITLE 1,Visualizando alterações depois
118 | select * from db_demo.SilverPatientInfectedBy where patient_id in('1000000003','1000000005','1000003211');
119 |
120 | -- COMMAND ----------
121 |
122 | -- DBTITLE 1,Sem CDC daria pra fazer?
123 | -- Somente para INSERT e UPDATE, Delete não é replicavel, a não ser que voce compare as tabelas inteiras, que na maioria dos casos não é viável, pois são cargas incrementais
124 | -- Nome a quantidade de escrita, praticamente a tabela Silver inteira foi reescrita
125 | MERGE INTO db_demo.SilverPatientInfectedBy as t
126 | USING db_demo.PatientInfoDelta as s
127 | ON s.patient_id = t.patient_id and s.infected_by is not null
128 | WHEN MATCHED
129 | THEN UPDATE SET *
130 | WHEN NOT MATCHED and s.infected_by is not null
131 | THEN INSERT *
132 |
133 | -- COMMAND ----------
134 |
135 | -- DBTITLE 1,Restaurar um DELETE\UPDATE sem WHERE com CDF?
136 | UPDATE db_demo.PatientInfoDelta set age = '10s';
137 | select * from db_demo.PatientInfoDelta
138 |
139 | -- COMMAND ----------
140 |
141 | describe history db_demo.PatientInfoDelta
142 |
143 | -- COMMAND ----------
144 |
145 | -- DBTITLE 1,Olhando somente a versão 9
146 | SELECT _change_type,_commit_version,_commit_timestamp,* FROM table_changes('db_demo.`PatientInfoDelta`', 9,9)
147 | where _change_type = 'update_preimage'
148 |
149 | -- COMMAND ----------
150 |
151 | -- DBTITLE 1,Voltando um Update sem WHERE com CDF
152 | -- Voltando todos os UPDATES da versão 9
153 | MERGE INTO db_demo.PatientInfoDelta as t
154 | USING (SELECT row_number() over (partition by patient_id order by _commit_version desc) as rnb,*
155 | FROM table_changes('db_demo.`PatientInfoDelta`', 9,9) where _change_type = 'update_preimage') as s
156 | ON s.patient_id = t.patient_id and _change_type = 'update_preimage' and rnb = 1
157 | WHEN MATCHED
158 | THEN UPDATE SET *
159 |
160 | -- COMMAND ----------
161 |
162 | -- DBTITLE 1,É, funciona também
163 | select * from db_demo.PatientInfoDelta;
164 |
--------------------------------------------------------------------------------
/tips/markdown/OptimizeAndVacuum_Doc.py:
--------------------------------------------------------------------------------
1 | # Databricks notebook source
2 | # DBTITLE 1,Exemplo de markdown com imagem
3 | # MAGIC %md
4 | # MAGIC | **Coluna1** | **Coluna2** | **Coluna3** |
5 | # MAGIC | --------------- | ------------------| ----------- |
6 | # MAGIC | `linha1` | Desc1. | `str` |
7 | # MAGIC | `linha2` | Desc2. | `str` |
8 | # MAGIC | `linha3` | Desc3. | `str` |
9 | # MAGIC
10 | # MAGIC 
11 |
12 | # COMMAND ----------
13 |
14 | # MAGIC %md
15 | # MAGIC # `maintenanceDeltalake`
16 | # MAGIC
17 | # MAGIC A função `maintenanceDeltalake` é utilizada para executar operações de manutenção em uma tabela Delta Lake. Ela oferece a opção de otimizar a tabela e executar a limpeza de versionamento.
18 | # MAGIC
19 | # MAGIC ## Parâmetros
20 | # MAGIC
21 | # MAGIC | **Nome** | **Descrição** | **Tipo** |
22 | # MAGIC | ------------------- | ------------------------------------------------------------------------------------- | ----------- |
23 | # MAGIC | `nomeSchema` | O nome do esquema (schema) da tabela Delta Lake. | `str` |
24 | # MAGIC | `nomeTabela` | O nome da tabela Delta Lake. | `str` |
25 | # MAGIC | `colunasZorder` | O grupo de colunas para aplicar o ZORDER. | `str` |
26 | # MAGIC | `vacuumRetention` | O tempo de retenção em horas para a limpeza de versionamento. | `int` |
27 | # MAGIC | `vacuum` | Indica se a limpeza de versionamento deve ser executada. | `bool` |
28 | # MAGIC | `optimize` | Indica se a otimização da tabela deve ser executada. | `bool` |
29 | # MAGIC | `debug` | Indica se o modo de depuração está habilitado. | `bool` |
30 | # MAGIC
31 | # MAGIC ## Exemplo de Uso
32 | # MAGIC
33 | # MAGIC Aqui estão três exemplos de chamadas da função `maintenanceDeltalake` com diferentes parâmetros:
34 | # MAGIC
35 | # MAGIC 1. Exemplo com otimização e limpeza habilitadas:
36 | # MAGIC ```python
37 | # MAGIC maintenanceDeltalake(nomeSchema='silver', nomeTabela='my_table', colunasZorder='column1, column2', vacuumRetention=72, vacuum=True, optimize=True, debug=True)
38 | # MAGIC ```
39 | # MAGIC
2. Exemplo sem otimização e com limpeza desabilitada:
40 | # MAGIC ```python
41 | # MAGIC maintenanceDeltalake(nomeSchema='silver', nomeTabela='my_table', colunasZorder='none', vacuumRetention=168, vacuum=False, optimize=False, debug=True)
42 | # MAGIC ```
43 | # MAGIC
3. Exemplo sem otimização e limpeza habilitadas, em modo de produção:
44 | # MAGIC ```python
45 | # MAGIC maintenanceDeltalake(nomeSchema='silver', nomeTabela='my_table', colunasZorder='none', vacuumRetention=168, vacuum=True, optimize=False, debug=False)
46 | # MAGIC ```
47 | # MAGIC
48 | # MAGIC >Observação: Lembre-se de fornecer os valores corretos para os parâmetros, com base nas suas necessidades específicas.
49 | # MAGIC
50 | # MAGIC Referência
51 | # MAGIC Para obter mais informações sobre como otimizar seu Delta Lake e reduzir os custos de storage e computação no Databricks, confira o seguinte post: Otimize seu Delta Lake e reduza custos de storage, Databricks e computação.
52 |
53 | # COMMAND ----------
54 |
55 | from datetime import datetime
56 | def maintenanceDeltalake (nomeSchema='silver', nomeTabela='none', colunasZorder='none', vacuumRetention=168, vacuum=True, optimize=True, debug=True):
57 | if debug:
58 | print("Modo Debug habilitado!")
59 | if optimize:
60 | if colunasZorder != "none":
61 | print(f">>> Otimizando tabela {nomeSchema}.{nomeTabela} com ZORDER no grupo de colunas: {colunasZorder} <<< >>> {str(datetime.now())}")
62 | print(f"CMD: OPTIMIZE {nomeSchema}.{nomeTabela} ZORDER BY ({colunasZorder})")
63 | else:
64 | print(f">>> Otimizando tabela {nomeSchema}.{nomeTabela} sem ZORDER <<< >>> {str(datetime.now())}")
65 | print(f"CMD: OPTIMIZE {nomeSchema}.{nomeTabela}")
66 | print(f">>> Tabela {nomeSchema}.{nomeTabela} otimizada! <<< >>> {str(datetime.now())}")
67 | else:
68 | print(f"### Não executado OPTIMIZE! ###")
69 |
70 | if vacuum:
71 | print(f">>> Setando {vacuumRetention} horas para limpeza de versionamento do deltalake... <<< >>> {str(datetime.now())}")
72 | print(f"CMD: VACUUM {nomeSchema}.{nomeTabela} RETAIN {vacuumRetention} Hours")
73 | print(f">>> Limpeza da tabela {nomeSchema}.{nomeTabela} aplicada com sucesso! <<< >>> {str(datetime.now())}")
74 | else:
75 | print(f"### Não executado VACUUM! ###")
76 | else:
77 | print("Modo Debug desabilitado!")
78 | if optimize:
79 | if colunasZorder != "none":
80 | print(f">>> Otimizando tabela {nomeSchema}.{nomeTabela} com ZORDER no grupo de colunas: {colunasZorder} <<< >>> {str(datetime.now())}")
81 | print(f"CMD: OPTIMIZE {nomeSchema}.{nomeTabela} ZORDER BY ({colunasZorder})")
82 | spark.sql(f"OPTIMIZE {nomeSchema}.{nomeTabela} ZORDER BY ({colunasZorder})")
83 | else:
84 | print(f">>> Otimizando tabela {nomeSchema}.{nomeTabela} sem ZORDER <<< >>> {str(datetime.now())}")
85 | print(f"CMD: OPTIMIZE {nomeSchema}.{nomeTabela}")
86 | spark.sql(f"OPTIMIZE {nomeSchema}.{nomeTabela}")
87 | print(f">>> Tabela {nomeSchema}.{nomeTabela} otimizada! <<< >>> {str(datetime.now())}")
88 | else:
89 | print(f"### Não executado OPTIMIZE! ###")
90 |
91 | if vacuum:
92 | print(f">>> Setando {vacuumRetention} horas para limpeza de versionamento do deltalake... <<< >>> {str(datetime.now())}")
93 | spark.sql("set spark.databricks.delta.retentionDurationCheck.enabled = false")
94 | print(f"CMD: VACUUM {nomeSchema}.{nomeTabela} RETAIN {vacuumRetention} Hours")
95 | spark.sql(f"VACUUM {nomeSchema}.{nomeTabela} RETAIN {vacuumRetention} Hours")
96 | spark.sql("set spark.databricks.delta.retentionDurationCheck.enabled = true")
97 | print(f">>> Limpeza da tabela {nomeSchema}.{nomeTabela} aplicada com sucesso! <<< >>> {str(datetime.now())}")
98 | else:
99 | print(f"### Não executado VACUUM! ###")
100 |
101 | # COMMAND ----------
102 |
103 | # MAGIC %md
104 | # MAGIC Enviar parâmetros para execução após instanciar a função
105 |
106 | # COMMAND ----------
107 |
108 | # DBTITLE 1,Enviar parâmetros para execução após instanciar a função
109 | # MAGIC %py
110 | # MAGIC #Caso queira já chamar a função diretamente do Azure Data Factory, informar os parametros na chamada do notebook
111 | # MAGIC try:
112 | # MAGIC maintenanceDeltalake(nomeSchema=getArgument("NomeSchema"), nomeTabela=getArgument("NomeTabela"), colunasZorder=getArgument("ColunasZorder"), vacuumRetention=getArgument("VacuumRetention"), vacuum=eval(getArgument("Vacuum")), optimize=eval(getArgument("Optimize")), debug=eval(getArgument("Debug")))
113 | # MAGIC except:
114 | # MAGIC print("Função maintenanceDeltalake() instanciada no contexto!")
115 |
--------------------------------------------------------------------------------
/tips/EXPLODE_STRING/Explode usando SQL.py:
--------------------------------------------------------------------------------
1 | # Databricks notebook source
2 | # DBTITLE 1,Listando Grupos de logins no Databricks via API
3 | import requests
4 | import json
5 |
6 | # Define a URL base da API do Databricks
7 | instance_id = 'adb-47319640954053.13.azuredatabricks.net'
8 |
9 | api_version = '/api/2.0'
10 | api_command = '/preview/scim/v2/Groups'
11 | url_list = f"https://{instance_id}{api_version}{api_command}"
12 | url_list_members = f"https://{instance_id}/api/2.0/preview/scim/v2/Groups/"
13 |
14 | print(url_list)
15 |
16 | # Define o cabeçalho com o token de autenticação do Databricks
17 | headers = {
18 | 'Authorization': "Bearer xxx-3",
19 | "Content-Type": "application/json"
20 | }
21 |
22 | has_more = True
23 | count = 0
24 | offset = 0
25 | jsonGroups = []
26 | while has_more:
27 | params = {
28 | 'expand_tasks': 'true',
29 | 'offset': offset
30 | }
31 | try:
32 | print('Listando grupos')
33 | responseList = requests.get(
34 | url = url_list,
35 | params = params,
36 | headers= headers
37 | )
38 | except Exception as error:
39 | print(error)
40 |
41 | jsonGroups.append(responseList.json())
42 | try:
43 | has_more = json.loads(responseList.text)['has_more']
44 | except:
45 | has_more = False
46 |
47 | count = count + 1
48 | offset = offset + 20
49 |
50 | print(jsonGroups)
51 |
52 | # COMMAND ----------
53 |
54 | # DBTITLE 1,Transformando a lista em Dataframe
55 | jsonRDD = sc.parallelize(jsonGroups)
56 | df = spark.read.option('multiline', 'true').option('inferSchema', 'true').json(jsonRDD)
57 | df.createOrReplaceTempView('vw_sql_temp')
58 |
59 | # COMMAND ----------
60 |
61 | # DBTITLE 1,Criando o mesmo Dataframe usando tudo como String
62 | jsonValues = []
63 | jsonValues.append({'totalResults': 7, 'startIndex': 1, 'itemsPerPage': 7, 'schemas': ["urn:ietf:params:scim:api:messages: 2.0:ListResponse"], 'Resources': "[{'displayName': 'read_write_prod', 'entitlements': null, 'groups': [{'$ref': 'Groups/769409655224333', 'display': 'read_dev', 'type': 'direct', 'value': '769409655224333'}], 'id': '67674397758141', 'members': [{'$ref': 'Users/8675301566931963', 'display': 'reginaldo.silva@dataside.com.br', 'value': '8675301566931963'}, {'$ref': 'ServicePrincipals/2955041608089028', 'display': 'databricks-serviceprincipal', 'value': '2955041608089028'}, {'$ref': 'Users/547673826594172', 'display': 'Reginaldo Silva', 'value': '547673826594172'}, {'$ref': 'Users/1581289963735043', 'display': 'Regis Naldo', 'value': '1581289963735043'}, {'$ref': 'Users/1948297106640748', 'display': 'Reginaldo Silva', 'value': '1948297106640748'}], 'meta': {'resourceType': 'Group'}}, {'displayName': 'read_prod', 'entitlements': null, 'groups': [{'$ref': 'Groups/766964445608499', 'display': 'read_write_dev', 'type': 'direct', 'value': '766964445608499'}], 'id': '138152945819756', 'members': [{'$ref': 'Users/8675301566931963', 'display': 'reginaldo.silva@dataside.com.br', 'value': '8675301566931963'}], 'meta': {'resourceType': 'Group'}}, {'displayName': 'users', 'entitlements': [{'value': 'workspace-access'}, {'value': 'databricks-sql-access'}], 'groups': [], 'id': '371637887295750', 'members': [{'$ref': 'ServicePrincipals/2955041608089028', 'display': 'databricks-serviceprincipal', 'value': '2955041608089028'}, {'$ref': 'Users/8675301566931963', 'display': 'reginaldo.silva@dataside.com.br', 'value': '8675301566931963'}, {'$ref': 'Users/547673826594172', 'display': 'Reginaldo Silva', 'value': '547673826594172'}, {'$ref': 'Users/1581289963735043', 'display': 'Regis Naldo', 'value': '1581289963735043'}, {'$ref': 'Users/1948297106640748', 'display': 'Reginaldo Silva', 'value': '1948297106640748'}], 'meta': {'resourceType': 'WorkspaceGroup'}}, {'displayName': 'read_write_dev', 'entitlements': [{'value': 'databricks-sql-access'}], 'groups': [], 'id': '766964445608499', 'members': [{'$ref': 'Users/8675301566931963', 'display': 'reginaldo.silva@dataside.com.br', 'value': '8675301566931963'}, {'$ref': 'Users/1948297106640748', 'display': 'Reginaldo Silva', 'value': '1948297106640748'}, {'$ref': 'Groups/138152945819756', 'display': 'read_prod', 'value': '138152945819756'}], 'meta': {'resourceType': 'Group'}}, {'displayName': 'read_dev', 'entitlements': null, 'groups': [], 'id': '769409655224333', 'members': [{'$ref': 'Groups/67674397758141', 'display': 'read_write_prod', 'value': '67674397758141'}], 'meta': {'resourceType': 'Group'}}, {'displayName': 'admins', 'entitlements': [{'value': 'workspace-access'}, {'value': 'databricks-sql-access'}, {'value': 'allow-cluster-create'}, {'value': 'allow-instance-pool-create'}], 'groups': [], 'id': '868174163364744', 'members': [{'$ref': 'Users/547673826594172', 'display': 'Reginaldo Silva', 'value': '547673826594172'}, {'$ref': 'Users/1948297106640748', 'display': 'Reginaldo Silva', 'value': '1948297106640748'}], 'meta': {'resourceType': 'WorkspaceGroup'}}, {'displayName': 'demogroup', 'entitlements': null, 'groups': [], 'id': '1053327257318900', 'members': [{'$ref': 'Users/547673826594172', 'display': 'Reginaldo Silva', 'value': '547673826594172'}, {'$ref': 'Users/1581289963735043', 'display': 'Regis Naldo', 'value': '1581289963735043'}, {'$ref': 'Users/8675301566931963', 'display': 'reginaldo.silva@dataside.com.br', 'value': '8675301566931963'}, {'$ref': 'Users/1948297106640748', 'display': 'Reginaldo Silva', 'value': '1948297106640748'}], 'meta': {'resourceType': 'Group'}}]" })
64 |
65 | from pyspark.sql.types import *
66 | schema = StructType([
67 | StructField('Resources', StringType(), True),
68 | StructField('itemsPerPage', StringType(), True),
69 | StructField('schemas', StringType(), True),
70 | StructField('startIndex', StringType(), True),
71 | StructField('totalResults', StringType(), True)
72 | ])
73 |
74 | dfString = spark.createDataFrame(jsonValues,schema)
75 | dfString.createOrReplaceTempView('vw_sql_temp_string')
76 | dfString.printSchema()
77 |
78 | # COMMAND ----------
79 |
80 | # DBTITLE 1,Dataframe tipado Array e Struct
81 | # MAGIC %sql
82 | # MAGIC select * from vw_sql_temp
83 |
84 | # COMMAND ----------
85 |
86 | # DBTITLE 1,Dataframe usando String
87 | # MAGIC %sql
88 | # MAGIC select * from vw_sql_temp_string
89 |
90 | # COMMAND ----------
91 |
92 | # MAGIC %sql
93 | # MAGIC -- Acessando um item especifico do Array
94 | # MAGIC select Resources[3] from vw_sql_temp
95 |
96 | # COMMAND ----------
97 |
98 | # DBTITLE 1,Acessando um campo Array\Struct
99 | # MAGIC %sql
100 | # MAGIC -- Voce pode navegar de forma bem simples usando ponto
101 | # MAGIC select Resources[3].displayName from vw_sql_temp
102 |
103 | # COMMAND ----------
104 |
105 | # DBTITLE 1,Explodindo e acessando niveis de forma simples
106 | # MAGIC %sql
107 | # MAGIC -- Listando todos os usuários e grupos a nivel de linha
108 | # MAGIC -- Note que estamos acessando os campos apenas com . apos aplocar o Explode da coluna Resources
109 | # MAGIC select Resources.displayName,explode(Resources.members.display) from(
110 | # MAGIC select explode(Resources) as Resources from vw_sql_temp
111 | # MAGIC ) nivel1
112 |
113 | # COMMAND ----------
114 |
115 | # MAGIC %sql
116 | # MAGIC select from_json(Resources,'a string'),* from vw_sql_temp
117 |
118 | # COMMAND ----------
119 |
120 | # DBTITLE 1,Acessando campos do JSON no formato string
121 | # MAGIC %sql
122 | # MAGIC -- Ops, não é tão simples assim
123 | # MAGIC select Resources.displayName,* from vw_sql_temp_string
124 |
125 | # COMMAND ----------
126 |
127 | # DBTITLE 1,FROM_JSON
128 | # MAGIC %sql
129 | # MAGIC select from_json(Resources,"ARRAY>") as Resources
130 | # MAGIC from vw_sql_temp_string
131 |
132 | # COMMAND ----------
133 |
134 | # MAGIC %sql
135 | # MAGIC select from_json(Resources,"ARRAY>, groups: ARRAY>, id: STRING, members: ARRAY>, meta: STRUCT>>") as Resources
136 | # MAGIC from vw_sql_temp_string
137 |
138 | # COMMAND ----------
139 |
140 | # MAGIC %sql
141 | # MAGIC select Resources.displayName,explode(Resources.members.display) from(
142 | # MAGIC select explode(from_json(Resources,"ARRAY>, groups: ARRAY>, id: STRING, members: ARRAY>, meta: STRUCT>>")) as Resources from vw_sql_temp_string
143 | # MAGIC ) nivel1
144 |
--------------------------------------------------------------------------------
/routines/tablesSize&Vacuum/README.md:
--------------------------------------------------------------------------------
1 | ## Para usar os scripts desse Repos, basta importar para sua pasta no Databricks.
2 |
3 | Selecionar o opção Import
4 | 
5 |
6 | Selecionar o script e importar:
7 | 
8 |
9 |
10 | | Versão | data | Descrição |
11 | |-----------|-------|----------|
12 | | `v1.0` | 2022-12-01 | Executando em clientes internos |
13 | | `v1.1` | 2023-02-25 | Liberado para mais alguns clientes e engenheiros|
14 | | `v2.0` | 2023-04-24 | Liberado publicamente |
15 |
16 | Link do post: https://www.datainaction.dev/post/databricks-tablessize-vacuum-monitore-e-reduza-custos-do-seu-delta-lake
17 |
18 | Funcionalidade e objetivo
19 |
20 | > Esse notebook tem como principal objetivo coletar informações de tamanho e realizar limpeza das tabelas no formato Delta.
21 | >
22 | > São coletadas informações do tamanho da tabela no **Storage** e cruzadas com o tamanho da **versão atual**, assim podemos estimar quanto de espaço a operação de Vacuum poderia liberar.
23 | >
24 | > **Nota**: Focado para ambientes sem Unity Catalog ainda, embora funcione, o script será adaptado para ambientes com Unity Catalog
25 | >
26 | > **Nota 2**: As primeiras execuções do Vacuum podem demorar mais se seu ambiente nunca passou por essa manutenção, as execuções posteriores serão mais rápidas, pois, menos tabelas precisarão de vacuum, isso conforme o parâmetro vacuumThreshold.
27 | >
28 | > **Nota 3**: Reforçando, a primeira execução rode com o parâmetro **runVacuum = False**, apenas para você avaliar e ter uma noção de como está seu ambiente e quanto tempo a rotina irá levar.
29 | >
30 | > **Nota 4**: Se você sofrer algum erro, me envie pelo Github, LinkeDin ou por e-mail e posso te ajudar: reginaldo.silva27@gmail.com
31 | >
32 | > **Nota 5**: Pode aumentar o custo do seu Storage em relação às transações devido às chamadas do DButils.fs.ls, por isso, use com cautela, monitore e rode no máximo 1 vez por semana.
33 | >
34 | > **Nota 6**: Testes realizados com Azure (Usando o caminho absoluto e Mount), AWS (Mount) e GCP (Mount) para gravar as tabelas de controle.
35 | >
36 | > Abaixo são os passos executados em orderm de execução:
37 | 1. Listagem de todas as tabelas existentes para determinado database ou grupo de databases, usamos um SHOW DATABASES E SHOW TABLES
38 | 2. Executado um **describe detail** para cada tabela e armazenado o resultado em uma tabela Delta para análise e monitoramento
39 | 3. É executado uma varredura (dbutils.fs.ls) nas pastas do Storage recursivamente para calcular o espaço ocupado no Storage por cada tabela, excluindo os _delta_logs
40 | 4. Executado queries de análise para avaliar quais tabelas podem se beneficiar do Vacuum
41 | 5. Executado a operação de Vacuum nas tabelas que atingem o threshold definido
42 |
43 | **Recomendação de Cluster:**
44 | > Comece com um cluster pequeno e monitore, cluster inicial: **Driver: Standard_DS4_v2 · 2 x Workers: Standard_DS3_v2 · Runtime >11.3**
45 |
46 | **Observações:**
47 | - **Existem outras formas de realizar essa operação, no entanto, essa foi a menos complexa e com melhor performance com exceção da operação Vacuum DRY RUN em Scala**
48 | - **A primeira versão desenvolvida utilizei a leitura dos Delta Logs, Jsons e checkpoints, contudo, não consegui reproduzir exatamente a operação de Vacuum DRY RUN e a performance ficou pior devido a quantidade de validações que precisei adicionar**
49 | - Nessa versão mapiei todos os arquivos marcados como Remove no log, embora, seja mais performático a precisão não era (dados não batiam) por alguns fatores, para contornar esses fatores o script ficou mais lento
50 | - Tentei reproduzir via Scala, contudo, meu conhecimento em Scala é limitado e ficou muito complexo
51 | - Falei com alguns engenheiros da comunidade Delta, mas não tive sucesso em evoluir via Scala
52 | - **Se você rodar o Vaccum Dry Run via Scala ele printa o retorno, contudo, esse retorno vai para o Stdout e ficou muito complexo de recuperar**
53 | ``%scala
54 | vacuum tablename dry run``
55 | - **Estou avaliando uma nova versão com delta.rs**
56 | - referencia:
57 |
58 | Caso você queira se aventurar com Scala, aqui está o código-fonte:
59 |
60 |
61 | Se você conseguir levantar essa quantidade de espaço de forma mais performática, me atualiza via comentário ou no Github.
62 |
63 | **Ponto de atenção:**
64 | - **Para tabelas particionadas com muitas partições o tempo de execução pode ser mais demorado, por isso monitore as primeiras execuções com cautela, o uso é de sua responsabilidade, apesar de não ter nenhum risco mapeado até o momento, apenas pode gerar mais transações para sua storage**
65 | - **Custo das transações do Storage no Azure: Read operations (per 10,000) - R$0.0258 (Dois centavos por 10 mil operações) (Preço estimado em 21/04/2023)**
66 |
67 |
Descriçao dos parametros
68 |
69 | ### Parametros de controle
70 |
71 | | Parametro | Valor | Descrição |
72 | |-----------|-------|----------|
73 | | `numThreadsParallel` | **15** | Número de threads paralelas, avalie o melhor valor para o seu ambiente, faça testes |
74 | | `vacuumThreadsParallel` | **5** | Número de threads paralelas para execução do **Vacuum**, utilize um valor menor, pois, pode dar problema no cluster, avalie o melhor valor para o seu ambiente, faça testes |
75 | | `runVacuum` | **False** | Se definido como **True** executa o Vacuum com os parâmetros configurados, o valor padrão é **False** execute a primeira vez no default para ter uma noção de como está o seu ambiente |
76 | | `vacuumHours` | **168** | Quantidade de horas que será mantido de versões após o Vacuum, defina o melhor para o seu ambiente, o padrão é 7 dias |
77 | | `vacuumThreshold` | **5x** | Executar o Vacuum apenas nas tabelas em que o storage for **5x** maior do que a versão atual, exemplo: **Uma tabela que tem 100GB de dados na versão atual e possuir 500GB no Storage, irá entrar na rotina de limpeza** |
78 | | `enableLogs` | **False** | Se definido como **True** irá gerar logs para facilitar algumas análises como, por exemplo, o tempo de duração para cada tabela e o erro se houver, contudo,nível eleva bastante o tempo de processamento se você tiver muitas tabelas |
79 | | `enableHistory` | **False** | Se definido como **True** mantém histórico de todas as execuções da rotina e cada execução possuirá um identificador único para poder relacionar entre as tabelas, se definido como **False** (valor padrão) as tabelas de logs (tableDetails e tableStorageFiles) sempre serão truncadas |
80 |
81 | ### Parametros para definição dos metadados
82 |
83 | | Parametro | Valor | Descrição |
84 | |-----------|-------|----------|
85 | | `databaseTarget` | 'bronze*' | Define quais bancos de dados serão analisados, aceita regex com **, exemplo: todos os databases que começam com a palavra bronze: 'bronze*' |
86 | | `tablesTarget` | '*' | Definir quais tabelas serão analisadas, aceita regex com **, por padrão todas serão analisadas |
87 | | `databaseCatalog` | 'db_controle' | Define em qual database será armazenado os logs, caso não exista será criado um novo |
88 | | `tableCatalog` | 'tbCatalog' | Define nome da tabela de controle para armazenar as tabelas que serão analisadas, caso não exista a tabela será criada |
89 | | `tbVacuumSummary` | 'tbVacuumSummary' | Define nome da tabela para armazenar o resultado agregado da execução, caso não exista a tabela será criada |
90 | | `tablesSizeMonitor` | 'tablesSizeMonitor' | Define nome da tabela para armazenar o resultado agregado da execução com detalhes no nível de tabela, caso não exista a tabela será criada |
91 | | `tableDetails` | 'bdaTablesDetails' | Define nome da tabela que irá armazenar o resultado do describe detail, caso não exista a tabela será criada |
92 | | `tableStorageFiles` | 'bdaTablesStorageSize' | Define nome da tabela que irá armazenar o resultado do dbutils.fs.ls |
93 | | `storageLocation` | 'abfss://[container]@[Storage].dfs.core.windows.net/pastaraiz/' [**Exemplo no Azure**]| Define endereço de storage principal, pode ser usado o valor absoluto ou um Mount (dbfs:/mnt/bronze/pastaRaiz/) |
94 | | `tableCatalogLocation` | f'database=db_controle/table_name={tableCatalog}' | Define storage da tabela de catálogo |
95 | | `tablesdetailsLocation` | f'database=db_controle/table_name={tableDetails}' | Define storage da tabela de detalhes do describe |
96 | | `tableStorageFilesLocation` | f'database=db_controle/table_name={tableStorageFiles}' | Define storage da tabela de resultado do dbutils |
97 | | `writeMode` | "overwrite" | Modo de escrita, "append" se `enableHistory` é verdadeiro, caso contrário "overwrite" |
98 | | `identifier` | str(hash(datetime.today())) | Identificador unico para cada execução, usado para vincular as tabelas com suas devidas execuções |
99 |
100 | ## Objetos criados: 1 database e 5x tabelas
101 |
102 | > 1x Database nomeado através da variáve databaseCatalog, por padrão o nome será **db_controle**
103 | > 1x Tabela de catalogo, irá armazenar a listagem, por padrão o nome será **tbCatalog**, se o parâmetro enableHistory estiver desabilitado ela será sobrescrita em cada execução
104 | > 1x Tabela para armazenar o resultado do describe detail, por padrão será chamada de **bdaTablesDetails**, se o parâmetro enableHistory estiver desabilitado ela será sobrescrita em cada execução
105 | > 1x Tabela para armazenar o resultado do List files, por padrão será chamada de **tableStorageFiles**, se o parâmetro enableHistory estiver desabilitado ela será sobrescrita em cada execução
106 | > 1x Tabela para armazenar o resultado agregado da execução com detalhes no nivel de tabela, por padrão será chamada de **tablesSizeMonitor**, essa tabela nunca é truncada
107 | > 1x Tabela para armazenar o resultado agregado da execução, por padrão será chamada de **tbVacuumSummary**, essa tabela nunca é truncada
108 |
109 | ## Monitoramento
110 |
111 | > Monitore seu ambiente através das tabelas tbVacuumSummary e tablesSizeMonitor
112 | > A tabela **tbVacuumSummary** armazena 1 linha por execução de dados sumarizados
113 | > A tabela **tablesSizeMonitor** armazena 1 linha por tabela por execução com dados sumarizados
114 |
115 |
116 | ## Benchmarch:
117 |
118 | > Ambiente com mais de 3 mil tabelas - 200 TB de Storage - 12 horas - Cluster (1xnode DS5) - 50 Threads para analysis e 10 para vacuum - **Sem logs (enableLogs=False)** - Primeira execução
119 | > Ambiente com 300 tabelas - 5 TB de Storage - 1 hora - Cluster (1xnode DS3) - 25 Threads para analysis e 10 para vacuum - **Sem logs (enableLogs=False)** - Primeira execução
120 | > Ambiente com 300 tabelas - 5 TB de Storage - 2 horas - Cluster (1xnode DS3) - 25 Threads para analysis e 10 para vacuum - **Com logs (enableLogs=True)** - Primeira execução
121 | > Ambiente com 1000 tabelas - 10 GB de Storage - **6 horas - Cluster (1xnode DS3)** - 25 Threads para analysis e 10 para vacuum - **Com logs (enableLogs=True)** - Primeira execução
122 | Ambiente com 1000 tabelas - 10 GB de Storage - 6 horas - Cluster (1xnode DS3) - 25 Threads para analysis e 10 para vacuum - **Sem Logs (enableLogs=False)** - Primeira execução
123 |
124 | ## Cases reais:
125 |
126 | > **Case 1 - Azure:** Liberado mais de 250 TB na primeira execução em um ambiente que não havia rotina
127 | > **Case 2 - GCP:** Liberado 5 TB de logs em um ambiente pequeno, onde o total de dados eram apenas 50 GB e o storage tinha 5 TB
128 | > **Case 3 - Azure:** Liberado em média 10 TB de logs por semana, utilizando em um Databricks Job com agendamento para todos os finais de semana
129 |
130 | ## Implementações futuras:
131 |
132 | > 1. Utilizar Unity Catalog
133 | > 2. Converter código para uma Lib em python
134 | > 3. Refatorar código usando a Lib e melhorando a usabilidade
135 | > 4. Minimizar custos com dbutils.fs.ls, olhando direto para o transction log
136 |
137 | ## Referencias:
138 |
139 |
140 |
141 |
142 |
143 |
144 |
145 | > ``Criado por: Reginaldo Silva``
146 | - [Blog Data In Action](https://datainaction.dev/)
147 | - [Github](https://github.com/reginaldosilva27)
148 |
--------------------------------------------------------------------------------
/tips/sparkconfs/Spark Confs.py:
--------------------------------------------------------------------------------
1 | # Databricks notebook source
2 | # DBTITLE 1,Mostrar todas as configurações disponíveis
3 | df = spark.sparkContext.getConf().getAll()
4 | i=1
5 | for d in df:
6 | print(str(i),' - ',d)
7 | i = i+1
8 |
9 | # COMMAND ----------
10 |
11 | # DBTITLE 1,Mostrar todas as ClusterTags
12 | df = spark.sparkContext.getConf().getAll()
13 | i=1
14 | for d in df:
15 | if 'clusterUsageTags' in d[0]:
16 | print(str(i),' - ',d)
17 | i=i+1
18 |
19 | # COMMAND ----------
20 |
21 | # DBTITLE 1,Cluster tags mais comuns
22 | print(
23 | ' | Description | Value | Description |\n',
24 | ' ----------------------------------------------------------------------------------------------------------------------------------------------------\n',
25 | '| spark.databricks.clusterUsageTags.cloudProvider | ',spark.conf.get('spark.databricks.clusterUsageTags.cloudProvider'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.cloudProvider'))) * ' ','| Cloud que esta operando o Databricks', '|\n',
26 | '| spark.databricks.clusterUsageTags.azureSubscriptionId | ',spark.conf.get('spark.databricks.clusterUsageTags.azureSubscriptionId'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.azureSubscriptionId'))) * ' ','| ID da assinatura do Azure', '|\n',
27 | '| spark.databricks.clusterUsageTags.managedResourceGroup | ',spark.conf.get('spark.databricks.clusterUsageTags.managedResourceGroup'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.managedResourceGroup'))) * ' ','| Grupo de recursos no Azure que é gerenciado pelo Databricks', '|\n',
28 | '| spark.databricks.clusterUsageTags.clusterId | ',spark.conf.get('spark.databricks.clusterUsageTags.clusterId'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.clusterId'))) * ' ','| ID do cluster', '|\n',
29 | '| spark.databricks.clusterUsageTags.region | ',spark.conf.get('spark.databricks.clusterUsageTags.region'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.region'))) * ' ','| Região que hospeda os Clusters', '|\n',
30 | '| spark.databricks.clusterUsageTags.workerEnvironmentId | ',spark.conf.get('spark.databricks.clusterUsageTags.workerEnvironmentId'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.workerEnvironmentId'))) * ' ','| ID do Worksapce', '|\n',
31 | '| spark.databricks.clusterUsageTags.region | ',spark.conf.get('spark.databricks.clusterUsageTags.region'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.region'))) * ' ','| Região que hospeda os Clusters', '|\n',
32 | '| spark.databricks.clusterUsageTags.clusterLogDestination | ',spark.conf.get('spark.databricks.clusterUsageTags.clusterLogDestination'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.clusterLogDestination'))) * ' ','| Caminho onde os logs serão entregues', '|\n',
33 | '| spark.databricks.clusterUsageTags.isSingleUserCluster | ',spark.conf.get('spark.databricks.clusterUsageTags.isSingleUserCluster'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.isSingleUserCluster'))) * ' ','| É um cluster de usuario unico?', '|\n',
34 | '| spark.databricks.clusterUsageTags.clusterName | ',spark.conf.get('spark.databricks.clusterUsageTags.clusterName'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.clusterName'))) * ' ','| Nome do Cluster', '|\n',
35 | '| spark.databricks.clusterUsageTags.clusterScalingType | ',spark.conf.get('spark.databricks.clusterUsageTags.clusterScalingType'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.clusterScalingType'))) * ' ','| Tem auto scale?', '|\n',
36 | '| spark.databricks.clusterUsageTags.clusterNodeType | ',spark.conf.get('spark.databricks.clusterUsageTags.clusterNodeType'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.clusterNodeType'))) * ' ','| Familia da maquina para os nodes', '|\n',
37 | '| spark.databricks.clusterUsageTags.driverNodeType | ',spark.conf.get('spark.databricks.clusterUsageTags.driverNodeType'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.driverNodeType'))) * ' ','| Familia da maquina para o Driver', '|\n',
38 | '| spark.databricks.clusterUsageTags.clusterWorkers | ',spark.conf.get('spark.databricks.clusterUsageTags.clusterWorkers'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.clusterWorkers'))) * ' ','| Quantidade de workers Online', '|\n',
39 | '| spark.databricks.clusterUsageTags.effectiveSparkVersion | ',spark.conf.get('spark.databricks.clusterUsageTags.effectiveSparkVersion'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.effectiveSparkVersion'))) * ' ','| Versão do Spark operando no Cluster', '|\n',
40 | '| spark.databricks.clusterUsageTags.clusterSku | ',spark.conf.get('spark.databricks.clusterUsageTags.clusterSku'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.clusterSku'))) * ' ','| Tipo do Cluster', '|\n',
41 | '| spark.databricks.clusterUsageTags.clusterAvailability | ',spark.conf.get('spark.databricks.clusterUsageTags.clusterAvailability'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.clusterAvailability'))) * ' ','| Tipo de VMs em uso, SPOT ou On Demand', '|\n',
42 | '| spark.databricks.clusterUsageTags.enableElasticDisk | ',spark.conf.get('spark.databricks.clusterUsageTags.enableElasticDisk'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.enableElasticDisk'))) * ' ','| Possui discos elasticos para escalar?', '|\n',
43 | '| spark.databricks.clusterUsageTags.autoTerminationMinutes | ',spark.conf.get('spark.databricks.clusterUsageTags.autoTerminationMinutes'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.autoTerminationMinutes'))) * ' ','| Desligar cluster automaticamente após X minutos', '|\n',
44 | '| spark.databricks.clusterUsageTags.runtimeEngine | ',spark.conf.get('spark.databricks.clusterUsageTags.runtimeEngine'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.runtimeEngine'))) * ' ','| Tipo da Engine em execução', '|\n',
45 | '| spark.databricks.clusterUsageTags.clusterLastActivityTime | ',spark.conf.get('spark.databricks.clusterUsageTags.clusterLastActivityTime'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.clusterLastActivityTime'))) * ' ','| Data da ultima atividade executada no cluster', '|\n',
46 | '| spark.databricks.clusterUsageTags.enableCredentialPassthrough | ',spark.conf.get('spark.databricks.clusterUsageTags.enableCredentialPassthrough'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.enableCredentialPassthrough'))) * ' ','| Cluster com Passthrough habilitado?', '|\n',
47 | '| spark.databricks.clusterUsageTags.instanceWorkerEnvNetworkType| ',spark.conf.get('spark.databricks.clusterUsageTags.instanceWorkerEnvNetworkType'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.instanceWorkerEnvNetworkType'))) * ' ','|(vnet-injection) ou Default?', '|\n',
48 | '| spark.databricks.clusterUsageTags.enableLocalDiskEncryption | ',spark.conf.get('spark.databricks.clusterUsageTags.enableLocalDiskEncryption'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.enableLocalDiskEncryption'))) * ' ','| Criptografica local?', '|\n',
49 | '| park.databricks.clusterUsageTags.clusterOwnerOrgId | ',spark.conf.get('spark.databricks.clusterUsageTags.clusterOwnerOrgId'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.clusterOwnerOrgId'))) * ' ','| ID da organização, faz parte da URL do Workspace', '|\n',
50 | '| spark.databricks.clusterUsageTags.clusterPythonVersion | ',spark.conf.get('spark.databricks.clusterUsageTags.clusterPythonVersion'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.clusterPythonVersion'))) * ' ','| Versão do Python rodando no Cluster', '|\n',
51 | '| spark.databricks.clusterUsageTags.enableDfAcls | ',spark.conf.get('spark.databricks.clusterUsageTags.enableDfAcls'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.enableDfAcls'))) * ' ','| Possui ACL habilitado?', '|\n',
52 | '| spark.databricks.clusterUsageTags.instanceWorkerEnvId | ',spark.conf.get('spark.databricks.clusterUsageTags.instanceWorkerEnvId'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.instanceWorkerEnvId'))) * ' ','| ID da Instancia', '|\n',
53 | '| spark.databricks.clusterUsageTags.clusterUnityCatalogMode | ',spark.conf.get('spark.databricks.clusterUsageTags.clusterUnityCatalogMode'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.clusterUnityCatalogMode'))) * ' ','| Utiliza Unity Catalog?', '|\n',
54 | '| spark.databricks.clusterUsageTags.enableSqlAclsOnly | ',spark.conf.get('spark.databricks.clusterUsageTags.enableSqlAclsOnly'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.enableSqlAclsOnly'))) * ' ','| ACL com SQL habilitado?', '|\n',
55 | '| spark.databricks.clusterUsageTags.clusterPinned | ',spark.conf.get('spark.databricks.clusterUsageTags.clusterPinned'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.clusterPinned'))) * ' ','| Cluster esta pinado?', '|\n',
56 | '| spark.databricks.clusterUsageTags.privateLinkEnabled | ',spark.conf.get('spark.databricks.clusterUsageTags.privateLinkEnabled'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.privateLinkEnabled'))) * ' ','| Possui Private Link habilitado?', '|\n',
57 | '| spark.databricks.clusterUsageTags.clusterCreator | ',spark.conf.get('spark.databricks.clusterUsageTags.clusterCreator'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.clusterCreator'))) * ' ','| Cluster criador por', '|\n',
58 | '| spark.databricks.clusterUsageTags.clusterNumCustomTags | ',spark.conf.get('spark.databricks.clusterUsageTags.clusterNumCustomTags'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.clusterNumCustomTags'))) * ' ','| Quantidade de tags customizadas', '|\n',
59 | '| spark.databricks.clusterUsageTags.clusterAllTags | ',spark.conf.get('spark.databricks.clusterUsageTags.clusterAllTags'),(40-len(spark.conf.get('spark.databricks.clusterUsageTags.clusterAllTags'))) * ' ','| Quantidade de tags customizadas', '|\n',
60 | ' ----------------------------------------------------------------------------------------------------------------------------------------------------\n',
61 | 'Links Reference:\n',
62 | 'https://spark.apache.org/docs/latest/configuration.html \n',
63 | 'https://books.japila.pl/delta-lake-internals/'
64 | )
65 |
66 | # COMMAND ----------
67 |
68 | # DBTITLE 1,Spark confs comuns
69 | print(
70 | ' | Description | Value | Description |\n',
71 | ' ----------------------------------------------------------------------------------------------------------------------------------------------------\n',
72 | '| spark.databricks.cloudProvider | ',spark.conf.get('spark.databricks.cloudProvider'),(40-len(spark.conf.get('spark.databricks.cloudProvider'))) * ' ','| Cloud que esta operando o Databricks', '|\n',
73 | '| spark.databricks.workspaceUrl | ',spark.conf.get('spark.databricks.workspaceUrl'),(40-len(spark.conf.get('spark.databricks.workspaceUrl'))) * ' ','| URL para acessar o Worksapce', '|\n',
74 | '| spark.app.startTime | ',spark.conf.get('spark.app.startTime'),(40-len(spark.conf.get('spark.app.startTime'))) * ' ','| Hora de inicio da aplicação Spark', '|\n',
75 | '| spark.app.name | ',spark.conf.get('spark.app.name'),(40-len(spark.conf.get('spark.app.name'))) * ' ','| Nome da aplicação Spark', '|\n',
76 | '| spark.app.id | ',spark.conf.get('spark.app.id'),(40-len(spark.conf.get('spark.app.id'))) * ' ','| Id da aplicação criada pelo Spark ', '|\n',
77 | '| spark.databricks.clusterSource | ',spark.conf.get('spark.databricks.clusterSource'),(40-len(spark.conf.get('spark.databricks.clusterSource'))) * ' ','| Cluster criado via UI, JOB or API', '|\n',
78 | '| spark.driver.maxResultSize | ',spark.conf.get('spark.driver.maxResultSize'),(40-len(spark.conf.get('spark.driver.maxResultSize'))) * ' ','| Tamanho máximo do retorno de uma ação, exemplo Collect(), caso contrario será abortado para evitar problemas no Driver', '|\n',
79 | '| spark.sql.sources.default | ',spark.conf.get('spark.sql.sources.default'),(40-len(spark.conf.get('spark.sql.sources.default'))) * ' ','| Padrão de fonte utilizada, no Spark puro o default é Parquet', '|\n',
80 | '| spark.databricks.delta.multiClusterWrites.enabled | ',spark.conf.get('spark.databricks.delta.multiClusterWrites.enabled'),(40-len(spark.conf.get('spark.databricks.delta.multiClusterWrites.enabled'))) * ' ','| Permite escrita por mais de um cluster paralelo', '|\n',
81 | '| spark.databricks.workerNodeTypeId | ',spark.conf.get('spark.databricks.workerNodeTypeId'),(40-len(spark.conf.get('spark.databricks.workerNodeTypeId'))) * ' ','| Familia da VM utilizada nos Workers do Cluster', '|\n',
82 | '| spark.driver.host | ',spark.conf.get('spark.driver.host'),(40-len(spark.conf.get('spark.driver.host'))) * ' ','| IP da VM do Driver', '|\n',
83 | '| spark.master | ',spark.conf.get('spark.master'),(40-len(spark.conf.get('spark.master'))) * ' ','| Gerenciador do Cluster', '|\n',
84 | '| spark.databricks.driverNodeTypeId | ',spark.conf.get('spark.databricks.driverNodeTypeId'),(40-len(spark.conf.get('spark.databricks.driverNodeTypeId'))) * ' ','| Familia da VM utilizada no Driver do Cluster', '|\n',
85 | '| spark.executor.memory | ',spark.conf.get('spark.executor.memory'),(40-len(spark.conf.get('spark.executor.memory'))) * ' ','| Quantidade de memoria RAM nos Workers', '|\n',
86 | '| spark.sql.hive.metastore.version | ',spark.conf.get('spark.sql.hive.metastore.version'),(40-len(spark.conf.get('spark.sql.hive.metastore.version'))) * ' ','| Versão do Metastore', '|\n',
87 | '| spark.databricks.automl.serviceEnabled | ',spark.conf.get('spark.databricks.automl.serviceEnabled'),(40-len(spark.conf.get('spark.databricks.automl.serviceEnabled'))) * ' ','| Validar se o serviço de ML esta habilitado', '|\n',
88 | ' ----------------------------------------------------------------------------------------------------------------------------------------------------\n',
89 | 'Links Reference:\n',
90 | 'https://spark.apache.org/docs/latest/configuration.html \n',
91 | 'https://books.japila.pl/delta-lake-internals/'
92 | )
93 |
94 | # COMMAND ----------
95 |
96 | # DBTITLE 1,Environment Variables
97 | import os
98 | i=1
99 | for var in os.environ.items():
100 | print(str(i),' - ',var)
101 | i = i+1
102 |
--------------------------------------------------------------------------------
/tips/DatabricksAcademy/Learning.md:
--------------------------------------------------------------------------------
1 | # Mastering Databricks - Tudo que voce precisa saber sobre Databricks
2 |
3 | # Table of Contents
4 | 1. [Introdução](#Introdução)
5 | 2. [Fundamentals](#Fundamentals)
6 | 3. [Learning Paths](#Learning-Paths)
7 | 4. [Cursos Complementares](#Cursos-Complementares)
8 | 5. [Accreditation e Badges](#Accreditation-e-Badges)
9 | 6. [Certificações oficiais](#Certificações-oficiais)
10 | 7. [Cursos Legendados](#Cursos-Legendados)
11 | 8. [Ordem recomendada de estudo - Data Engineer](#Ordem-recomendada-de-estudo-para-Data-Engineer)
12 | 9. [Ordem recomendada para Certificação](#Ordem-recomendada-para-Certificação)
13 |
14 |
15 | ## Introdução
16 | Aqui temos um compilado de cursos dentro da plataforma **Databricks Academy** que você pode aproveitar 100% FREE (0800), **são mais de 50 mil reais em cursos**.
17 |
18 | Não está listado todos os cursos da plataforma, mas sim, os que considero essenciais.
19 |
20 | ### **ATENÇÃO**:
21 | Existem **dois portais** de estudo:
22 |
**Partner**: Aqui estão liberados praticamente todos os cursos e materias FREE para empresas que são Partners, você precisa acessar com o e-mail da sua empresa, para saber se sua empresa é Parter ou como se tornar um, entre em contato com um Account Manager Databricks
23 |
**Customer**: Para quem não é Parter temos um conteúdo um pouco maislimitado, mas quase todos os essenciais são FREE, **APROVEITE**
24 |
**OBS: Deixarei uma TAG na frente dos links destacando de qual Portal é o curso: [PARTNER], [CUSTOMER]**
25 |
26 |
Para descobrir se sua empresa é Partner, busque ela nesse portal, se ela for, sinta-se presenteado, são mais de **50 mil** reais em cursos totalmente FREE.
27 |
https://www.databricks.com/company/partners
28 |
29 | 
30 |
31 | #### Acessando o Portal:
32 | https://www.databricks.com/br/learn/training/login
33 | 
34 |
35 |
36 | ## Fundamentals
37 |
38 | > Aqui são os cursos introdutórios sobre Databricks e Generative AI, são cursos focados nos fundamentos, essencial que você não pule essa etapda.
39 |
40 | - What is Big Data?: **[PARTNER]**
41 | > https://partner-academy.databricks.com/learn/course/internal/view/elearning/100/what-is-big-data
42 |
43 | - Databricks Fundamentals Learning Plan: **[PARTNER]**
44 | > https://partner-academy.databricks.com/learn/learning_plan/view/215/databricks-fundamentals-learning-plan
45 |
46 | - Databricks Fundamentals Learning Plan: **[CUSTOMER]**
47 | > https://customer-academy.databricks.com/learn/learning_plan/view/215/databricks-fundamentals-learning-plan
48 |
49 | - Databricks Generative AI Fundamentals Learning Plan: **[PARTNER]**
50 | > https://partner-academy.databricks.com/learn/lp/275/Databricks%2520Generative%2520AI%2520Fundamentals%2520Learning%2520Plan
51 |
52 | - Databricks Generative AI Fundamentals Learning Plan: **[CUSTOMER]**
53 | > https://customer-academy.databricks.com/learn/learning_plan/view/275/databricks-generative-ai-fundamentals-learning-plan
54 |
55 | ## Learning Paths
56 |
57 | - Apache Spark Developer Learning Plan: **[PARTNER]**
58 | > https://partner-academy.databricks.com/learn/lp/160/Apache%2520Spark%2520Developer%2520Learning%2520Plan
59 |
60 | - Apache Spark Developer Learning Plan: **[CUSTOMER]**
61 | > https://customer-academy.databricks.com/learn/learning_plan/view/160/apache-spark-developer-learning-plan
62 |
63 | - Data Engineer Learning Plan: **[PARTNER]**
64 | > https://partner-academy.databricks.com/learn/lp/10/Data%2520Engineer%2520Learning%2520Plan
65 |
66 | - Data Engineer Learning Plan: **[CUSTOMER]**
67 | > https://customer-academy.databricks.com/learn/learning_plan/view/10/data-engineer-learning-plan
68 |
69 | - Data Analyst Learning Plan: **[PARTNER]**
70 | > https://partner-academy.databricks.com/learn/lp/78/Data%2520Analyst%2520Learning%2520Plan
71 |
72 | - Data Analyst Learning Plan: **[CUSTOMER]**
73 | > https://customer-academy.databricks.com/learn/learning_plan/view/78/data-analyst-learning-plan
74 |
75 | - Generative AI Engineering Pathway: **[PARTNER]**
76 | > https://partner-academy.databricks.com/learn/learning_plan/view/315/generative-ai-engineering-pathway
77 |
78 | - Generative AI Engineering Pathway: **[CUSTOMER]**
79 | > https://customer-academy.databricks.com/learn/learning_plan/view/315/generative-ai-engineering-pathway
80 |
81 | - Machine Learning Practitioner Learning Plan: **[PARTNER]**
82 | > https://partner-academy.databricks.com/learn/learning_plan/view/11/machine-learning-practitioner-learning-plan
83 |
84 | - Machine Learning Practitioner Learning Plan: **[CUSTOMER]**
85 | > https://customer-academy.databricks.com/learn/learning_plan/view/11/machine-learning-practitioner-learning-plan
86 |
87 | - Azure Databricks Platform Architect Learning Plan: **[PARTNER]**
88 | > https://partner-academy.databricks.com/learn/lp/254/Azure%2520Databricks%2520Platform%2520Architect%2520Learning%2520Plan
89 |
90 | - Azure Databricks Platform Architect Learning Plan: **[CUSTOMER]**
91 | > https://customer-academy.databricks.com/learn/learning_plan/view/254/azure-databricks-platform-architect-learning-plan
92 |
93 | - AWS Databricks Platform Architect Learning Plan: **[PARTNER]**
94 | > https://partner-academy.databricks.com/learn/lp/230/AWS%2520Databricks%2520Platform%2520Architect%2520Learning%2520Plan
95 |
96 | - AWS Databricks Platform Architect Learning Plan: **[CUSTOMER]**
97 | > https://customer-academy.databricks.com/learn/learning_plan/view/230/aws-databricks-platform-architect-learning-plan
98 |
99 | - GCP Databricks Platform Architect Learning Plan: **[PARTNER]**
100 | > https://partner-academy.databricks.com/learn/lp/266/GCP%2520Databricks%2520Platform%2520Architect%2520Learning%2520Plan
101 |
102 | - GCP Databricks Platform Architect Learning Plan: **[CUSTOMER]**
103 | > https://customer-academy.databricks.com/learn/learning_plan/view/266/gcp-databricks-platform-architect-learning-plan
104 |
105 | - Platform Administrator Learning Plan: **[PARTNER]**
106 | > https://partner-academy.databricks.com/learn/lp/207/Platform%2520Administrator%2520Learning%2520Plan
107 |
108 | - Platform Administrator Learning Plan: **[CUSTOMER]**
109 | > https://customer-academy.databricks.com/learn/learning_plan/view/207/platform-administrator-learning-plan
110 |
111 | ## Cursos Complementares
112 |
113 | - Databricks Specialist Sessions (Muito conteúdo top): **[PARTNER]**
114 | > https://partner-academy.databricks.com/learn/course/1456/Databricks%2520Specialist%2520Sessions
115 |
116 | - Databricks Specialist Sessions (Muito conteúdo top): **[CUSTOMER]**
117 | > https://customer-academy.databricks.com/learn/course/internal/view/elearning/1456/databricks-specialist-sessions
118 |
119 | - Advanced Data Engineering with Databricks (Focado para certificação Professional): **[PARTNER]**
120 | > https://partner-academy.databricks.com/learn/course/2268/Advanced%2520Data%2520Engineering%2520with%2520Databricks
121 |
122 | - Advanced Data Engineering with Databricks (Focado para certificação Professional): **[CUSTOMER]**
123 | > https://customer-academy.databricks.com/learn/course/internal/view/elearning/2268/advanced-data-engineering-with-databricks
124 |
125 | - Unity Catalog Essentials: **[PARTNER]**
126 | > https://partner-academy.databricks.com/learn/learning_plan/view/211/unity-catalog-essentials
127 |
128 | - Unity Catalog Essentials: **[CUSTOMER]**
129 | > https://customer-academy.databricks.com/learn/learning_plan/view/211/unity-catalog-essentials
130 |
131 | - Preparing for UC Upgrades: **[PARTNER]**
132 | > https://partner-academy.databricks.com/learn/learning_plan/view/292/preparing-for-uc-upgrades
133 |
134 | - FY 24 Tech Summit: Partner Content: **[PARTNER]**
135 | > https://partner-academy.databricks.com/learn/learning_plan/view/294/fy-24-tech-summit-partner-content
136 |
137 | - Escape to the Lakehouse: Data Engineering Edition: **[PARTNER]**
138 | > https://partner-academy.databricks.com/learn/course/internal/view/elearning/1979/escape-to-the-lakehouse-data-engineering-edition
139 |
140 | - Escape to the Lakehouse: Data Warehousing Edition: **[PARTNER]**
141 | > https://partner-academy.databricks.com/learn/course/internal/view/elearning/1978/escape-to-the-lakehouse-data-warehousing-edition
142 |
143 | - Databricks Partner Essentials: **[PARTNER]**
144 | > https://partner-academy.databricks.com/learn/course/1263/Databricks%2520Partner%2520Essentials
145 |
146 |
147 | ## Accreditation e Badges
148 |
149 | - Databricks Fundamentals Accreditation:
150 | > https://partner-academy.databricks.com/learn/course/2308/databricks-fundamentals-accreditation;lp=215
151 |
152 | - Generative AI Fundamentals Accreditation:
153 | > https://partner-academy.databricks.com/learn/course/1811/generative-ai-fundamentals-accreditation;lp=275
154 | 
155 |
156 | 
157 |
158 | - Azure Databricks Platform Architect Accreditation:
159 | > https://partner-academy.databricks.com/learn/course/1752/azure-databricks-platform-architect-accreditation;lp=254
160 |
161 | - AWS Databricks Platform Architect Accreditation:
162 | > https://partner-academy.databricks.com/learn/lp/230/AWS%2520Databricks%2520Platform%2520Architect%2520Learning%2520Plan
163 |
164 | - GCP Databricks Platform Architect Accreditation:
165 | > https://partner-academy.databricks.com/learn/course/1756/gcp-databricks-platform-architect-accreditation;lp=266
166 | 
167 |
168 |
169 |
170 | - Databricks Accredited Platform Administrator Accreditation:
171 | > https://partner-academy.databricks.com/learn/course/1229/databricks-accredited-platform-administrator-accreditation;lp=207
172 | 
173 |
174 | ## Certificações oficiais
175 |
176 | - Databricks Certified Data Analyst Associate:
177 | > https://www.databricks.com/learn/certification/data-analyst-associate
178 | 
179 |
180 |
181 |
182 | - Databricks Certified Data Engineer Associate:
183 | > https://www.databricks.com/learn/certification/data-engineer-associate
184 |
185 | - Databricks Certified Data Engineer Professional:
186 | > https://www.databricks.com/learn/certification/data-engineer-professional
187 | 
188 |
189 |
190 |
191 |
192 | - Databricks Certified Machine Learning Associate:
193 | > https://www.databricks.com/learn/certification/machine-learning-associate
194 |
195 | - Databricks Certified Machine Learning Professional:
196 | > https://www.databricks.com/learn/certification/machine-learning-professional
197 | 
198 |
199 |
200 |
201 |
202 | - Databricks Certified Associate Developer for Apache Spark:
203 | > https://www.databricks.com/learn/certification/apache-spark-developer-associate
204 |
205 | - Databricks Certified Hadoop Migration Architect:
206 | > https://www.databricks.com/learn/certification/hadoop-migration-architect
207 | 
208 |
209 |
210 | ## Cursos Legendados
211 | ### Nota: São cursos com legenda em português.
212 |
213 | - Databricks Fundamentals Learning Plan - Portuguese BR: **[PARTNER]**
214 | > https://partner-academy.databricks.com/learn/learning_plan/view/317/plano-de-aprendizado-dos-fundamentos-da-databricks-databricks-fundamentals-learning-plan-portuguese-br
215 |
216 | - Get Started with Databricks for Data Engineering - Portuguese BR: **[PARTNER]**
217 | > https://partner-academy.databricks.com/learn/course/internal/view/elearning/2331/get-started-with-databricks-for-data-engineering-portuguese-br
218 |
219 | - Get Started with Databricks for Data Engineering - Portuguese BR: **[CUSTOMER]**
220 | > https://customer-academy.databricks.com/learn/course/internal/view/elearning/2331/get-started-with-databricks-for-data-engineering-portuguese-br
221 |
222 | - Data Engineering with Databricks - Portuguese BR: **[PARTNER]**
223 | > https://partner-academy.databricks.com/learn/course/2263/play/16173
224 |
225 | - Data Engineering with Databricks - Portuguese BR: **[CUSTOMER]**
226 | > https://customer-academy.databricks.com/learn/course/internal/view/elearning/2263/data-engineering-with-databricks-portuguese-br
227 |
228 | - Databricks Generative AI Fundamentals Learning Plan - Portuguese BR: **[PARTNER]**
229 | > https://partner-academy.databricks.com/learn/learning_plan/view/314/plano-de-aprendizado-fundamentais-de-ia-generativa-da-databricks-databricks-generative-ai-fundamentals-learning-plan-portuguese-br
230 |
231 | - Databricks Generative AI Fundamentals Learning Plan - Portuguese BR: **[CUSTOMER]**
232 | > https://customer-academy.databricks.com/learn/learning_plan/view/314/plano-de-aprendizado-fundamentais-de-ia-generativa-da-databricks-databricks-generative-ai-fundamentals-learning-plan-portuguese-br
233 |
234 | ## Ordem recomendada de estudo para Data Engineer
235 |
236 | A ordem abaixo é baseado na MINHA opinião, não existe ordem 100% correta, mas existem algumas ordens mais lógicas.
237 |
238 | 1. What is Big Data?
239 | 2. Databricks Fundamentals Learning Plan
240 | 3. Apache Spark Developer Learning Plan
241 | 4. Data Engineer Learning Plan
242 | 5. Data Analyst Learning Plan
243 | 6. Platform Administrator Learning Plan
244 | 7. [Cloud] Databricks Platform Architect Learning Plan
245 | 8. Advanced Data Engineering with Databricks
246 | 9. Databricks Specialist Sessions
247 | 10. Unity Catalog Essentials
248 |
249 | ## Ordem recomendada para Certificação
250 |
251 | A ordem abaixo é baseado na MINHA opinião, não existe ordem 100% correta, mas existem algumas ordens mais lógicas.
252 |
253 | 1. Databricks Certified Associate Developer for Apache Spark
254 | 2. Databricks Certified Data Engineer Associate
255 | 3. Databricks Certified Data Analyst Associate
256 | 4. Databricks Certified Data Engineer Professional
257 |
258 |
259 |
260 |
261 |
262 |
--------------------------------------------------------------------------------
/tips/UpgradeMethods/UpgradeUC_Examples.sql:
--------------------------------------------------------------------------------
1 | -- Databricks notebook source
2 | -- MAGIC %md
3 | -- MAGIC ##Tabela de migração: Estrategias por tipo de tabela
4 | -- MAGIC
5 | -- MAGIC | Id | Tipo HMS | Location | Tipo UC | Método |
6 | -- MAGIC |----|----------|----------------|--------------------|--------------------------|
7 | -- MAGIC | 1 | Managed | DBFS Root | Managed/External | CTAS / DEEP CLONE |
8 | -- MAGIC | 2 | Managed | DBFS Root | Managed/External | CTAS / DEEP CLONE |
9 | -- MAGIC | 3 | Hive SerDe | DBFS Root | Managed/External | CTAS / DEEP CLONE |
10 | -- MAGIC | 4 | Managed | Mount | External | SYNC com Convert |
11 | -- MAGIC | 5 | Managed | Mount | Managed | CTAS / DEEP CLONE |
12 | -- MAGIC | 6 | External | Mount | External | SYNC |
13 | -- MAGIC | 7 | External | Mount | Managed | CTAS / DEEP CLONE |
14 | -- MAGIC | 8 | Managed | Cloud Storage | External | SYNC com Convert |
15 | -- MAGIC | 9 | Managed | Cloud Storage | Managed | CTAS / DEEP CLONE |
16 | -- MAGIC | 10 | External | Cloud Storage | External | SYNC |
17 | -- MAGIC | 11 | External | Cloud Storage | Managed | CTAS / DEEP CLONE |
18 | -- MAGIC
19 | -- MAGIC ## Observação importante
20 | -- MAGIC - **set spark.databricks.sync.command.enableManagedTable=true;**
21 | -- MAGIC - Ao usar essa opção, você não pode dropar a tabela no HMS, pois, o dados serão excluídos do Storage
22 | -- MAGIC - Caso queira dropar, use o script Scala para trocar ela de Managed para External
23 | -- MAGIC
24 | -- MAGIC ## Tabelas Managed vs External
25 | -- MAGIC
26 | -- MAGIC - **Tabelas Managed**:
27 | -- MAGIC - Dados e metadados são gerenciados pelo Unity Catalog.
28 | -- MAGIC - Os dados são armazenados no local especificado pelo catálogo Unity (tipicamente em armazenamento cloud).
29 | -- MAGIC - A exclusão de uma tabela managed remove também os dados.
30 | -- MAGIC - Se for HMS os dados são removidos imediatamente
31 | -- MAGIC - Se for no UC os dados são mantidos por mais 30 dias
32 | -- MAGIC - Aqui voce pode usar o UNDROP até 7 dias
33 | -- MAGIC
34 | -- MAGIC - **Tabelas External**:
35 | -- MAGIC - Apenas os metadados são gerenciados pelo Unity Catalog, os dados permanecem no armazenamento externo (geralmente em um bucket ou outro recurso cloud).
36 | -- MAGIC - A exclusão de uma tabela external remove apenas os metadados; os dados permanecem no armazenamento original.
37 | -- MAGIC - Permite que os dados sejam compartilhados entre diferentes sistemas ou aplicações.
38 | -- MAGIC
39 | -- MAGIC ### DBFS Root vs Mount vs Cloud Storage
40 | -- MAGIC
41 | -- MAGIC - **DBFS Root**:
42 | -- MAGIC - O sistema de arquivos distribuído do Databricks (Databricks File System).
43 | -- MAGIC - Armazenamento temporário e volátil, com possíveis limitações em operações de longa duração.
44 | -- MAGIC - Os dados ficam fisicamente no storage da Databricks que voce não tem acesso
45 | -- MAGIC
46 | -- MAGIC - **Mount**:
47 | -- MAGIC - Uma forma de acessar o armazenamento externo (como S3, ADLS) no DBFS como se fosse um diretório local.
48 | -- MAGIC - Os dados permanecem no armazenamento externo, mas podem ser acessados dentro de Databricks via caminhos montados.
49 | -- MAGIC
50 | -- MAGIC - **Cloud Storage**:
51 | -- MAGIC - Armazenamento na nuvem (ex: AWS S3, Azure Data Lake, Google Cloud Storage) onde os dados podem ser armazenados e acessados diretamente.
52 | -- MAGIC - Mais flexível para armazenamento de grande volume e soluções a longo prazo.
53 | -- MAGIC
54 | -- MAGIC ### Métodos CTAS, DEEP CLONE e SYNC
55 | -- MAGIC
56 | -- MAGIC - **CTAS (Create Table As Select)**:
57 | -- MAGIC - Método usado para criar uma nova tabela a partir dos resultados de uma consulta SQL.
58 | -- MAGIC - A nova tabela pode ser criada com dados agregados ou filtrados.
59 | -- MAGIC - Exemplo de uso: `CREATE TABLE nova_tabela AS SELECT * FROM tabela_existente WHERE condição`.
60 | -- MAGIC
61 | -- MAGIC - **DEEP CLONE**:
62 | -- MAGIC - Método utilizado para clonar tabelas, incluindo seus dados, metadados e histórico de transações.
63 | -- MAGIC - Utilizado para cópia rápida de tabelas, útil em cenários de backup ou migração.
64 | -- MAGIC - Exemplo: `DEEP CLONE origem DESTINO` cria uma cópia completa da tabela de origem.
65 | -- MAGIC
66 | -- MAGIC - **SYNC**:
67 | -- MAGIC - Sincroniza tabelas external com o Unity Catalog, garantindo que o catálogo reflita as alterações feitas diretamente no armazenamento.
68 | -- MAGIC - Essencial para manter a consistência entre os metadados no Unity Catalog e o armazenamento externo.
69 | -- MAGIC - Útil para cenários onde os dados podem ser alterados por fora do Databricks.
70 | -- MAGIC
71 | -- MAGIC
72 | -- MAGIC Post Databricks:
73 | -- MAGIC https://www.databricks.com/blog/migrating-tables-hive-metastore-unity-catalog-metastore#appendix
74 | -- MAGIC
75 | -- MAGIC Notebook oficial:
76 | -- MAGIC https://notebooks.databricks.com/notebooks/uc-upgrade-scenario-with-examples-for-blog.dbc?_gl=1*1nrxwtq*_gcl_au*OTUxMzE5NDg3LjE2OTM0NjcxNDM.
77 | -- MAGIC
78 |
79 | -- COMMAND ----------
80 |
81 | -- MAGIC %md
82 | -- MAGIC ##Scenario 1: Managed tables on HMS with DBFS Root location
83 |
84 | -- COMMAND ----------
85 |
86 | drop database if exists hive_metastore.hmsdb_upgrade_db cascade;
87 | create database if not exists hive_metastore.hmsdb_upgrade_db;
88 |
89 | -- COMMAND ----------
90 |
91 | desc schema extended hive_metastore.hmsdb_upgrade_db;
92 |
93 | -- COMMAND ----------
94 |
95 | drop table if exists hive_metastore.hmsdb_upgrade_db.people_parquet;
96 | create table if not exists hive_metastore.hmsdb_upgrade_db.people_parquet
97 | using parquet
98 | as
99 | select * from parquet.`dbfs:/databricks-datasets/learning-spark-v2/people/people-10m.parquet/` limit 100;
100 |
101 | -- COMMAND ----------
102 |
103 | desc extended hive_metastore.hmsdb_upgrade_db.people_parquet;
104 |
105 | -- COMMAND ----------
106 |
107 | drop schema if exists demo_uc_demo.uc_upgrade_db cascade;
108 |
109 | -- COMMAND ----------
110 |
111 | create schema if not exists demo_uc_demo.uc_upgrade_db managed location "abfss://bronze@datalakedatainactiondev.dfs.core.windows.net/unitycatalog/demo_uc/uc_upgrade_db";
112 |
113 | -- COMMAND ----------
114 |
115 | -- DBTITLE 1,Create UC managed Delta table using CTAS (Preferred)
116 | -- Pq não deep clone? DEEP CLONE é recomendado para tabelas DELTA
117 | drop table if exists demo_uc_demo.uc_upgrade_db.people_delta;
118 | create table if not exists
119 | demo_uc_demo.uc_upgrade_db.people_delta
120 | as
121 | select * from hive_metastore.hmsdb_upgrade_db.people_parquet;
122 |
123 | -- COMMAND ----------
124 |
125 | desc extended demo_uc_demo.uc_upgrade_db.people_delta;
126 |
127 | -- COMMAND ----------
128 |
129 | -- DBTITLE 1,Alternatively Create UC External table (with the same HMS file format) using CTAS
130 | drop table if exists demo_uc_demo.uc_upgrade_db.people_parquet_ext;
131 | create table if not exists demo_uc_demo.uc_upgrade_db.people_parquet_ext
132 | using parquet
133 | location "abfss://bronze@datalakedatainactiondev.dfs.core.windows.net/unitycatalog/demo_uc/uc_upgrade_db/people_parquet_ext"
134 | as
135 | select * from hive_metastore.hmsdb_upgrade_db.people_parquet;
136 |
137 | -- COMMAND ----------
138 |
139 | desc extended demo_uc_demo.uc_upgrade_db.people_parquet_ext;
140 |
141 | -- COMMAND ----------
142 |
143 | -- MAGIC %md
144 | -- MAGIC ##Scenario 2: External tables on HMS with DBFS Root location
145 |
146 | -- COMMAND ----------
147 |
148 | -- MAGIC %md
149 | -- MAGIC ## Scenario 3: HMS Hive SerDe table
150 |
151 | -- COMMAND ----------
152 |
153 | -- MAGIC %md
154 | -- MAGIC ## Scenario 4: Managed table on HMS with mounted file paths to External UC Table
155 |
156 | -- COMMAND ----------
157 |
158 | -- MAGIC %python
159 | -- MAGIC dbutils.fs.mounts()
160 |
161 | -- COMMAND ----------
162 |
163 | drop database if exists hive_metastore.hmsdb_upgrade_db cascade;
164 | create database if not exists hive_metastore.hmsdb_upgrade_db location "dbfs:/mnt/landing/hmsdb_upgrade_db/"
165 |
166 | -- COMMAND ----------
167 |
168 | -- DBTITLE 1,Managed Delta HMS table
169 | drop table if exists hive_metastore.hmsdb_upgrade_db.people_delta;
170 | create table if not exists hive_metastore.hmsdb_upgrade_db.people_delta
171 | as
172 | select * from delta.`dbfs:/databricks-datasets/learning-spark-v2/people/people-10m.delta` limit 100;
173 |
174 | -- COMMAND ----------
175 |
176 | desc extended hive_metastore.hmsdb_upgrade_db.people_delta;
177 |
178 | -- COMMAND ----------
179 |
180 | select current_version();
181 |
182 | -- COMMAND ----------
183 |
184 | drop schema if exists demo_uc_demo.uc_upgrade_db cascade;
185 | create schema if not exists demo_uc_demo.uc_upgrade_db managed location "abfss://bronze@datalakedatainactiondev.dfs.core.windows.net/unitycatalog/demo_uc/uc_upgrade_db";
186 |
187 | -- COMMAND ----------
188 |
189 | sync table demo_uc_demo.uc_upgrade_db.people_delta from hive_metastore.hmsdb_upgrade_db.people_delta DRY RUN;
190 |
191 | -- COMMAND ----------
192 |
193 | set spark.databricks.sync.command.enableManagedTable=true;
194 |
195 | -- COMMAND ----------
196 |
197 | describe extended hive_metastore.hmsdb_upgrade_db.people_delta;
198 |
199 | -- COMMAND ----------
200 |
201 | sync table demo_uc_demo.uc_upgrade_db.people_delta from hive_metastore.hmsdb_upgrade_db.people_delta;
202 |
203 | -- COMMAND ----------
204 |
205 | desc extended demo_uc_demo.uc_upgrade_db.people_delta;
206 |
207 | -- COMMAND ----------
208 |
209 | select * from demo_uc_demo.uc_upgrade_db.people_delta;
210 |
211 | -- COMMAND ----------
212 |
213 | -- DBTITLE 1,Convert HMS Managed Table to External Table
214 | -- MAGIC %scala
215 | -- MAGIC import org.apache.spark.sql.catalyst.catalog.{CatalogTable, CatalogTableType}
216 | -- MAGIC import org.apache.spark.sql.catalyst.TableIdentifier
217 | -- MAGIC
218 | -- MAGIC val tableName = "people_delta"
219 | -- MAGIC val dbName = "hmsdb_upgrade_db"
220 | -- MAGIC
221 | -- MAGIC val oldTable: CatalogTable = spark.sessionState.catalog.getTableMetadata(TableIdentifier(tableName, Some(dbName)))
222 | -- MAGIC val alteredTable: CatalogTable = oldTable.copy(tableType = CatalogTableType.EXTERNAL)
223 | -- MAGIC spark.sessionState.catalog.alterTable(alteredTable)
224 |
225 | -- COMMAND ----------
226 |
227 | desc extended hive_metastore.hmsdb_upgrade_db.people_delta;
228 |
229 | -- COMMAND ----------
230 |
231 | -- Arquivos não serão apagados
232 | drop table hive_metastore.hmsdb_upgrade_db.people_delta;
233 |
234 | -- COMMAND ----------
235 |
236 | select * from demo_uc_demo.uc_upgrade_db.people_delta;
237 |
238 | -- COMMAND ----------
239 |
240 | desc extended demo_uc_demo.uc_upgrade_db.people_delta;
241 |
242 | -- COMMAND ----------
243 |
244 | sync table demo_uc_demo.uc_upgrade_db.people_delta from hive_metastore.hmsdb_upgrade_db.people_delta DRY RUN;
245 |
246 | -- COMMAND ----------
247 |
248 | -- MAGIC %md
249 | -- MAGIC ## Scenario 5: Managed table on HMS with mounted file paths to Managed UC Table
250 |
251 | -- COMMAND ----------
252 |
253 | drop database if exists hive_metastore.hmsdb_upgrade_db cascade;
254 | create database if not exists hive_metastore.hmsdb_upgrade_db location "dbfs:/mnt/landing/hmsdb_upgrade_db/"
255 |
256 | -- COMMAND ----------
257 |
258 | drop table if exists hive_metastore.hmsdb_upgrade_db.people_delta;
259 | create table if not exists hive_metastore.hmsdb_upgrade_db.people_delta
260 | as
261 | select * from delta.`dbfs:/databricks-datasets/learning-spark-v2/people/people-10m.delta` limit 100;
262 |
263 | -- COMMAND ----------
264 |
265 | desc extended hive_metastore.hmsdb_upgrade_db.people_delta;
266 |
267 | -- COMMAND ----------
268 |
269 | drop schema if exists demo_uc_demo.uc_upgrade_db cascade;
270 | create schema if not exists demo_uc_demo.uc_upgrade_db managed location "abfss://bronze@datalakedatainactiondev.dfs.core.windows.net/unitycatalog/demo_uc/uc_upgrade_db/uc_upgrade_schema_2/";
271 |
272 | -- COMMAND ----------
273 |
274 | set spark.databricks.sync.command.enableManagedTable=false;
275 |
276 | -- COMMAND ----------
277 |
278 | sync table demo_uc_demo.uc_upgrade_db.people_delta from hive_metastore.hmsdb_upgrade_db.people_delta DRY RUN;
279 |
280 | -- COMMAND ----------
281 |
282 | -- OU DEEP CLONE
283 | drop table if exists demo_uc_demo.uc_upgrade_db.people_delta;
284 | create table if not exists demo_uc_demo.uc_upgrade_db.people_delta
285 | as
286 | select * from hive_metastore.hmsdb_upgrade_db.people_delta;
287 |
288 | -- COMMAND ----------
289 |
290 | desc extended demo_uc_demo.uc_upgrade_db.people_delta;
291 |
292 | -- COMMAND ----------
293 |
294 | -- MAGIC %md
295 | -- MAGIC ## Scenario 6: External table on HMS with mounted file paths to External UC Table
296 |
297 | -- COMMAND ----------
298 |
299 | drop database if exists hive_metastore.hmsdb_upgrade_db cascade;
300 | create database if not exists hive_metastore.hmsdb_upgrade_db location "dbfs:/mnt/landing/hmsdb_upgrade_db/"
301 |
302 | -- COMMAND ----------
303 |
304 | drop table if exists hive_metastore.hmsdb_upgrade_db.people_delta;
305 | create table if not exists hive_metastore.hmsdb_upgrade_db.people_delta
306 | location "dbfs:/mnt/landing/hmsdb_upgrade_db/people_delta"
307 | as
308 | select * from delta.`dbfs:/databricks-datasets/learning-spark-v2/people/people-10m.delta` limit 100;
309 |
310 | -- COMMAND ----------
311 |
312 | desc extended hive_metastore.hmsdb_upgrade_db.people_delta;
313 |
314 | -- COMMAND ----------
315 |
316 | drop schema if exists demo_uc_demo.uc_upgrade_db cascade;
317 | create schema if not exists demo_uc_demo.uc_upgrade_db managed location "abfss://bronze@datalakedatainactiondev.dfs.core.windows.net/unitycatalog/uc_upgrade_schema_2/";
318 |
319 | -- COMMAND ----------
320 |
321 | sync table demo_uc_demo.uc_upgrade_db.people_delta from hive_metastore.hmsdb_upgrade_db.people_delta DRY RUN;
322 |
323 | -- COMMAND ----------
324 |
325 | sync table demo_uc_demo.uc_upgrade_db.people_delta from hive_metastore.hmsdb_upgrade_db.people_delta;
326 |
327 | -- COMMAND ----------
328 |
329 | desc extended demo_uc_demo.uc_upgrade_db.people_delta;
330 |
331 | -- COMMAND ----------
332 |
333 | -- MAGIC %md
334 | -- MAGIC ## Scenario 7: External table on HMS with mounted file paths to Managed UC Table
335 |
336 | -- COMMAND ----------
337 |
338 | -- MAGIC %md
339 | -- MAGIC ## Scenario 8: Managed table on HMS with cloud storage file paths to External UC Table
340 |
341 | -- COMMAND ----------
342 |
343 | drop database if exists hive_metastore.hmsdb_upgrade_db cascade;
344 | create database if not exists hive_metastore.hmsdb_upgrade_db location "abfss://bronze@datalakedatainactiondev.dfs.core.windows.net/unitycatalog/hmsdb_upgrade_db/"
345 |
346 | -- COMMAND ----------
347 |
348 | drop table if exists hive_metastore.hmsdb_upgrade_db.people_delta;
349 | create table if not exists hive_metastore.hmsdb_upgrade_db.people_delta
350 | as
351 | select * from delta.`dbfs:/databricks-datasets/learning-spark-v2/people/people-10m.delta` limit 100;
352 |
353 | -- COMMAND ----------
354 |
355 | desc extended hive_metastore.hmsdb_upgrade_db.people_delta;
356 |
357 | -- COMMAND ----------
358 |
359 | set spark.databricks.sync.command.enableManagedTable=true;
360 |
361 | -- COMMAND ----------
362 |
363 | drop schema if exists demo_uc_demo.uc_upgrade_db cascade;
364 | create schema if not exists demo_uc_demo.uc_upgrade_db managed location "abfss://bronze@datalakedatainactiondev.dfs.core.windows.net/unitycatalog/uc_upgrade_schema_10/";
365 |
366 | -- COMMAND ----------
367 |
368 | sync table demo_uc_demo.uc_upgrade_db.people_delta from hive_metastore.hmsdb_upgrade_db.people_delta DRY RUN;
369 |
370 | -- COMMAND ----------
371 |
372 | sync table demo_uc_demo.uc_upgrade_db.people_delta from hive_metastore.hmsdb_upgrade_db.people_delta;
373 |
374 | -- COMMAND ----------
375 |
376 | desc extended demo_uc_demo.uc_upgrade_db.people_delta;
377 |
378 | -- COMMAND ----------
379 |
380 | -- MAGIC %scala
381 | -- MAGIC import org.apache.spark.sql.catalyst.catalog.{CatalogTable, CatalogTableType}
382 | -- MAGIC import org.apache.spark.sql.catalyst.TableIdentifier
383 | -- MAGIC
384 | -- MAGIC val tableName = "people_delta"
385 | -- MAGIC val dbName = "hmsdb_upgrade_db"
386 | -- MAGIC
387 | -- MAGIC val oldTable: CatalogTable = spark.sessionState.catalog.getTableMetadata(TableIdentifier(tableName, Some(dbName)))
388 | -- MAGIC val alteredTable: CatalogTable = oldTable.copy(tableType = CatalogTableType.EXTERNAL)
389 | -- MAGIC spark.sessionState.catalog.alterTable(alteredTable)
390 |
391 | -- COMMAND ----------
392 |
393 | select * from demo_uc_demo.uc_upgrade_db.people_delta ;
394 |
395 | -- COMMAND ----------
396 |
397 | desc extended demo_uc_demo.uc_upgrade_db.people_delta ;
398 |
399 | -- COMMAND ----------
400 |
401 | -- MAGIC %md
402 | -- MAGIC ## Scenario 9: Managed table on HMS with cloud storage file paths to Managed UC Table
403 |
404 | -- COMMAND ----------
405 |
406 | -- MAGIC %md
407 | -- MAGIC ## Scenario 10: External table on HMS with cloud storage file paths to External UC Table
408 |
409 | -- COMMAND ----------
410 |
411 | drop database if exists hive_metastore.hmsdb_upgrade_db cascade;
412 | create database if not exists hive_metastore.hmsdb_upgrade_db location "abfss://bronze@datalakedatainactiondev.dfs.core.windows.net/unitycatalog/hms/hmsdb_upgrade_db/"
413 |
414 | -- COMMAND ----------
415 |
416 | drop table if exists hive_metastore.hmsdb_upgrade_db.people_delta;
417 | create table if not exists hive_metastore.hmsdb_upgrade_db.people_delta
418 | location "abfss://bronze@datalakedatainactiondev.dfs.core.windows.net/unitycatalog/hms/hmsdb_upgrade_db/people_delta"
419 | as
420 | select * from delta.`dbfs:/databricks-datasets/learning-spark-v2/people/people-10m.delta` limit 100;
421 |
422 | -- COMMAND ----------
423 |
424 | desc extended hive_metastore.hmsdb_upgrade_db.people_delta;
425 |
426 | -- COMMAND ----------
427 |
428 | create catalog if not exists demo_uc_demo
429 |
430 | -- COMMAND ----------
431 |
432 | drop schema if exists demo_uc_demo.uc_upgrade_db cascade;
433 | create schema if not exists demo_uc_demo.uc_upgrade_db managed location "abfss://bronze@datalakedatainactiondev.dfs.core.windows.net/unitycatalog/demo_uc_demo/uc_upgrade_db/";
434 |
435 | -- COMMAND ----------
436 |
437 | sync table demo_uc_demo.uc_upgrade_db.people_delta from hive_metastore.hmsdb_upgrade_db.people_delta DRY RUN;
438 |
439 | -- COMMAND ----------
440 |
441 | sync table demo_uc_demo.uc_upgrade_db.people_delta from hive_metastore.hmsdb_upgrade_db.people_delta;
442 |
443 | -- COMMAND ----------
444 |
445 | desc extended demo_uc_demo.uc_upgrade_db.people_delta;
446 |
447 | -- COMMAND ----------
448 |
449 | select * from demo_uc_demo.uc_upgrade_db.people_delta;
450 |
451 | -- COMMAND ----------
452 |
453 | -- MAGIC %md
454 | -- MAGIC ## Scenario 11: External table on HMS with cloud storage file paths to Managed UC Table
455 |
--------------------------------------------------------------------------------