本文屬于【Azure 架構(gòu)師學(xué)習(xí)筆記】系列。
本文屬于【Azure Databricks】系列。
接上文 【Azure 架構(gòu)師學(xué)習(xí)筆記】- Azure Databricks (5) - Unity Catalog 簡(jiǎn)介

UC的關(guān)鍵特性

之所以DataBricks要用UC， 很大程度是對(duì)安全的管控。從上文可以了解到它的四大特性：

1. 數(shù)據(jù)訪問控制： 誰可以訪問什么數(shù)據(jù)
2. 數(shù)據(jù)訪問審計(jì)： 收集訪問數(shù)據(jù)的行為
3. 數(shù)據(jù)血緣： 收集上游來源和下游消費(fèi)者
4. 數(shù)據(jù)發(fā)現(xiàn)： 可用于查詢和發(fā)現(xiàn)已授權(quán)的資產(chǎn)

UC開啟前后的變化

這是一個(gè)很重要的圖，如果不是從0開始使用UC 而是遷移，那么很有必要了解前后發(fā)生了什么事。

從下圖可以看出，UC 把User/Group management, Metastore, Access controls 從過去單個(gè)workspace中提取出來集中管理。workspace只負(fù)責(zé)計(jì)算資源的管理。

這種變化會(huì)使得原有在單個(gè)workspace上的配置遷移到UC 內(nèi)部，這個(gè)過程會(huì)出現(xiàn)很多問題和改動(dòng)， 所以要有心理準(zhǔn)備在遷移過程中會(huì)花費(fèi)不少時(shí)間。

接下來我們先搭建環(huán)境，以便后續(xù)重現(xiàn)很多問題。

創(chuàng)建UC

首先假設(shè)你已經(jīng)有了一個(gè)ADB， 并具有了Admin的權(quán)限。然后進(jìn)去ADB的workspace，從右上角如下圖所示的“Manage Account”進(jìn)去配置界面。

然后從下圖所示點(diǎn)擊“data”進(jìn)入常見Metastore界面。

點(diǎn)擊“Create metastore”

配置必填信息，對(duì)于非必填的選項(xiàng)（在稍微舊一點(diǎn)的版本中這四個(gè)都是必填項(xiàng)）我們可以看看它的說明，對(duì)于實(shí)際項(xiàng)目而言，我們最好建立一個(gè)單獨(dú)的Storage Account（ADLS Gen2 類型）來存儲(chǔ)。

接下來快速演示一下，創(chuàng)建一個(gè)ADLS Gen 2 ，過程略。然后創(chuàng)建一個(gè)container， 我這里叫uccontainer， 并在其內(nèi)部創(chuàng)建一個(gè)目錄名為：folder

然后從endpoint處找到“Data Lake Storage”的endpoint值， 這個(gè)值以"Container名字@endpoint名字/目錄名"的格式填入，如我這里：
uccontainer@georgesa202311.dfs.core.windows.net/folder 為錄入值。

接下來看access connector，如果上面指定了ADLS ， 那么這個(gè)值就要同時(shí)提供。

從portal上搜索并點(diǎn)擊進(jìn)去創(chuàng)建。

可以簡(jiǎn)單默認(rèn)創(chuàng)建。

獲取下圖中的值。填入上面metastore的創(chuàng)建界面中。

在點(diǎn)擊創(chuàng)建時(shí)，可能會(huì)出現(xiàn)以下報(bào)錯(cuò)，這是因?yàn)橐肓祟~外的Storage Account后需要賦權(quán)：

授權(quán)ADLS Gen2

在所用的ADLS 上點(diǎn)擊IAM， 選擇“storage blob data contributor”：

授權(quán)給Accessconnector：

授權(quán)成功：

除了RBAC 外，還要授權(quán)ACL：

這里把Access Connector授予Read， Write 和Execute權(quán)限：

除了Access Permissions之外，還要配置Default permissions，這是針對(duì)后續(xù)新增加的子目錄，如果沒有這個(gè)配置，權(quán)限僅針對(duì)當(dāng)前配置有效。

配置完畢之后，再次點(diǎn)擊創(chuàng)建，可以看到創(chuàng)建metastore成功：

啟用metastore

按下圖步驟啟用metastore

啟用成功。

點(diǎn)擊【open】即可開始使用UC。

從下面圖中可以看到前一章提到的一些關(guān)于UC 的內(nèi)容。

也可以在此處進(jìn)行控制訪問。

小結(jié)

到此為止，我們有了一個(gè)初步的環(huán)境，接下來將繼續(xù)深入研究UC。文章來源地址http://www.zghlxwxcb.cn/news/detail-794726.html

到了這里，關(guān)于【Azure 架構(gòu)師學(xué)習(xí)筆記】- Azure Databricks (6) - 配置Unity Catalog的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！