在企業(yè)級(jí)應(yīng)用中，數(shù)據(jù)的安全性和隱私保護(hù)是極其重要的。Spark 作為數(shù)棧底層計(jì)算引擎之一，必須確保數(shù)據(jù)只能被授權(quán)的人員訪問(wèn)，避免出現(xiàn)數(shù)據(jù)泄露和濫用的情況。為了實(shí)現(xiàn)Spark SQL 對(duì)數(shù)據(jù)的精細(xì)化管理及提高數(shù)據(jù)的安全性和可控性，數(shù)?；?Apache Ranger 實(shí)現(xiàn)了 Spark SQL 對(duì)數(shù)據(jù)處理的權(quán)限控制。

本文基于 Apahce Spark 2.4.8 和 Apache Ranger 2.2 進(jìn)行原理講解，和大家聊聊「袋鼠云一站式大數(shù)據(jù)基礎(chǔ)軟件數(shù)棧」基于 Ranger 在 Spark SQL 權(quán)限控制上的實(shí)踐探索之路。

基于Ranger實(shí)現(xiàn)Spark SQL權(quán)限控制

Apache Ranger 是一個(gè)開源的權(quán)限管理框架，可以提供對(duì) Hadoop 生態(tài)系統(tǒng)的安全訪問(wèn)控制。Ranger 為開發(fā)者提供了一種可擴(kuò)展的框架，可以進(jìn)行統(tǒng)一的數(shù)據(jù)安全管理，內(nèi)置包括對(duì) Hadoop、Hive、HBase、Kafka 等多個(gè)組件的訪問(wèn)控制。

Ranger 內(nèi)置并沒(méi)有提供 Spark 的權(quán)限控制插件，需要開發(fā)者自己實(shí)現(xiàn)，基于 Ranger 數(shù)棧實(shí)現(xiàn)了 Spark SQL 對(duì)庫(kù)、表、列和 UDF 的訪問(wèn)權(quán)限控制、行級(jí)別權(quán)限控制和數(shù)據(jù)脫敏三方面的權(quán)限管理與控制。接下來(lái)我們分兩部分對(duì)其實(shí)現(xiàn)原理進(jìn)行講解，分別是自定義 Ranger 插件和 Spark SQL Extensions 機(jī)制。

自定義 Ranger 插件

在 Ranger 中添加一個(gè)新服務(wù)的權(quán)限校驗(yàn)可分為兩部分：第一部分是為 Ranger 增加新服務(wù)模塊；第二部分是在新服務(wù)中增加 Ranger 權(quán)限校驗(yàn)插件。

● Ranger 增加新服務(wù)模塊

Ranger 增加新服務(wù)模塊是在 Ranger Admin Web UI 界面增加對(duì)應(yīng)服務(wù)模塊，用來(lái)為對(duì)應(yīng)服務(wù)添加對(duì)應(yīng)資源的授權(quán)策略。新服務(wù)模塊增加可以分為以下三個(gè)步驟：

? 為新服務(wù)定義描述文件，文件名為 ranger-servicedef-< serviceName>.json，在描述文件中定義了服務(wù)的名字、在 ranger admin web 界面中顯示的名稱、新服務(wù)訪問(wèn)類定義、需要用來(lái)進(jìn)行權(quán)限校驗(yàn)的資源列表和需要進(jìn)行校驗(yàn)的訪問(wèn)類型列表等。

ranger-servicedef-< serviceName>.json 內(nèi)容主要部分參數(shù)解析如下：

{
  "id":"服務(wù)id,需要保證唯一",
  "name":"服務(wù)名",
  "displayName":"在Ranger Admin Web UI上顯示的服務(wù)名",
  "implClass":"在Ranger Admin內(nèi)部用于訪問(wèn)新服務(wù)的實(shí)現(xiàn)類",
  // 定義新服務(wù)用于權(quán)限校驗(yàn)的資源列表，如Hive中的database、table
  "resources":[
    {
      "itemId": "資源id, 從1開始遞增",
      "name": "資源名",
      "type": "資源類型，通常為string和path",
      "level": "資源層級(jí)，同一層級(jí)的會(huì)在一個(gè)下拉框展示",
      "mandatory": "是否為必選",
      "lookupSupported": "是否支持檢索",
      "recursiveSupported": false,
      "excludesSupported": true,
      "matcher": "org.apache.ranger.plugin.resourcematcher.RangerDefaultResourceMatcher",
      "validationRegEx":"",
      "validationMessage": "",
      "uiHint":"提示信息",
      "label": "Hive Database",
      "description": "資源描述信息"
    }
  ],
  // 定義資源需要進(jìn)行校驗(yàn)的訪問(wèn)類型列表，如select、create
  "accessTypes":[
    {
      "itemId": "訪問(wèn)類型id, 從1開始遞增",
      "name": "訪問(wèn)類型名稱",
      "label": "訪問(wèn)類型在Web界面上的顯示名稱"
    }
  ],
  "configs":[
    {
      "itemId": "配置參數(shù)id, 從1開始遞增",
      "name": "配置參數(shù)名稱",
      "type": "參數(shù)類型",
      "mandatory": "是否必填",
      "validationRegEx":"",
      "validationMessage": "",
      "uiHint":"提示信息",
      "label": "在Web界面上的顯示名稱"
    }
  ]
}

? 開發(fā) Ranger 中新服務(wù)模塊對(duì)應(yīng)的實(shí)現(xiàn)類，并將該類名填寫到 ranger-servicedef-< serviceName>.json 中 implClass 字段上。新服務(wù)模塊的實(shí)現(xiàn)類需要繼承抽象類 RangerBaseService，RangerBaseService 是 Ranger 中所有服務(wù)的基類，它定義了一組公共方法和屬性，以便所有服務(wù)都可以共享和繼承。RangerBaseService 提供了基本功能，如訪問(wèn)控制，資源管理和審計(jì)跟蹤等。

開發(fā)新服務(wù)模塊的實(shí)現(xiàn)類是比較容易的，通過(guò)繼承 RangerBaseService 并實(shí)現(xiàn) validateConfig 和 lookupResource 兩個(gè)方法即可，validateConfig 方法是用來(lái)驗(yàn)證服務(wù)的配置是否正確，lookupResource 方法定義了加載資源的方法。

? 第一步和第二部完成后分別將配置文件 ranger-servicedef-< serviceName>.json 和新服務(wù)模塊對(duì)應(yīng)的實(shí)現(xiàn)類 jar 包放到 Ranger Admin 的 CLASSPATH 中，并使用 Ranger Admin 提供的 REST API 向 Ranger 注冊(cè)定義的服務(wù)類型，這樣就能在 Ranger Admin UI 界面看到新服務(wù)的模塊并能通過(guò)界面配置對(duì)應(yīng)權(quán)限控制。

● 新服務(wù)中增加 Ranger 權(quán)限校驗(yàn)插件

新服務(wù)中要實(shí)現(xiàn) Ranger 的權(quán)限校驗(yàn)需要開發(fā)對(duì)應(yīng)的權(quán)限控制插件并注冊(cè)到新服務(wù)中，該插件實(shí)現(xiàn)的時(shí)候需要在服務(wù)中找到一個(gè)切入點(diǎn)來(lái)攔截資源的訪問(wèn)請(qǐng)求并調(diào)用 Ranger API 來(lái)授權(quán)訪問(wèn)。接下來(lái)介紹一下 Ranger 權(quán)限校驗(yàn)插件開發(fā)中比較重要的4個(gè)類：

? RangerBasePlugin：Ranger 權(quán)限校驗(yàn)的核心類，主要負(fù)責(zé)拉取策略、策略緩存更新及完成資源訪問(wèn)的權(quán)限校驗(yàn)

? RangerAccessResourceImpl：對(duì)鑒權(quán)資源進(jìn)行封裝的實(shí)現(xiàn)類，調(diào)用鑒權(quán)接口時(shí)需要構(gòu)造這么一個(gè)類

? RangerAccessRequestImpl：請(qǐng)求資源訪問(wèn)的實(shí)現(xiàn)類，包含鑒權(quán)資源的封裝對(duì)象、用戶、用戶組、訪問(wèn)類型等信息，調(diào)用鑒權(quán)接口 isAccessAllowed 時(shí)需要將 RangerAccessRequestImpl 作為參數(shù)傳入

? RangerDefaultAuditHandler：審計(jì)日志的處理類

實(shí)現(xiàn) Ranger 權(quán)限校驗(yàn)插件分為以下步驟：

? 編寫目標(biāo)類繼承 RangerBasePlugin，通常只需要在目標(biāo)類實(shí)現(xiàn)的構(gòu)造方法中調(diào)用父類的構(gòu)造函數(shù)并填入對(duì)應(yīng)的服務(wù)類型名稱和重寫 RangerBasePlugin 的 init 方法并在重寫的 init 方法中調(diào)用父類的 init 方法。

RangerBasePlugin 的 init 方法中實(shí)現(xiàn)了策略的拉取并會(huì)啟動(dòng)一個(gè)后臺(tái)線程定時(shí)更新本地緩存的策略。

? 編寫承上啟下的類，用于配置在目標(biāo)服務(wù)中能夠攔截目標(biāo)服務(wù)所有的資源請(qǐng)求并能調(diào)用 RangerBasePlugin 的 isAccessAllowed 方法進(jìn)行資源請(qǐng)求鑒權(quán)。對(duì)于 Spark SQL 實(shí)現(xiàn) Ranger 的權(quán)限校驗(yàn)來(lái)說(shuō)我們基于 Spark SQL 的 Extensions 機(jī)制(后文會(huì)進(jìn)行講解)，通過(guò)自定義一個(gè) Spark Extensions 注冊(cè)到 Spark 中來(lái)在 SQL 語(yǔ)法解析階段通過(guò)遍歷生成的抽象語(yǔ)法樹完成資源訪問(wèn)的權(quán)限校驗(yàn)。

Spark SQL Extensions 機(jī)制

Spark SQL Extensions 是在 SPARK-18127 中被引入，提供了一種靈活的機(jī)制，使得 Spark 用戶可以在 SQL 解析的 Parser、Analyzer、Optimizer 以及 Planner 等階段進(jìn)行自定義擴(kuò)展，包括自定義 SQL 語(yǔ)法解析、新增數(shù)據(jù)源等等。

SparkSessionExtensions 為 Spark SQL Extensions 機(jī)制的核心類，SparkSessionExtensions 保存了用戶自定義的擴(kuò)展規(guī)則，包含以下方法：

? buildResolutionRules：構(gòu)建擴(kuò)展規(guī)則添加到 Analyzer 的 resolution 階段

? injectResolutionRule：向 Analyzer 的 resolution 階段注冊(cè)擴(kuò)展規(guī)則生成器

? buildPostHocResolutionRules：構(gòu)建擴(kuò)展規(guī)則添加到 Analyzer 的 post-hoc resolution 階段

? injectPostHocResolutionRule：向 Analyzer 的 post-hoc resolution 階段注冊(cè)擴(kuò)展規(guī)則生成器

? buildCheckRules：構(gòu)建擴(kuò)展檢查規(guī)則，該規(guī)則將會(huì)在 analysis 階段之后運(yùn)行，用于檢查 LogicalPlan 是否存在問(wèn)題

? injectCheckRule：注冊(cè)擴(kuò)展檢查規(guī)則生成器

? buildOptimizerRules：構(gòu)建擴(kuò)展優(yōu)化規(guī)則，將在 optimizer 階段被調(diào)用執(zhí)行

? injectOptimizerRule：注冊(cè)擴(kuò)展優(yōu)化規(guī)則生成器

? buildPlannerStrategies：構(gòu)建擴(kuò)展物理執(zhí)行計(jì)劃策略，用于將 LogicalPlan 轉(zhuǎn)換為可執(zhí)行文件

? injectPlannerStrategy：注冊(cè)擴(kuò)展物理執(zhí)行計(jì)劃策略生成器

? buildParser：構(gòu)建擴(kuò)展解析規(guī)則

? injectParser：注冊(cè)擴(kuò)展解析規(guī)則生成器

基于 Spark SQL Extensions 機(jī)制實(shí)現(xiàn)自定義規(guī)則會(huì)很容易，首先編寫類實(shí)現(xiàn) Function1[SparkSessionExtensions, Unit] ，SparkSessionExtensions 作為函數(shù)入?yún)?，調(diào)用 SparkSessionExtensions 對(duì)應(yīng)方法將自定義的解析規(guī)則注冊(cè)到對(duì)應(yīng)的 SQL 解析階段執(zhí)行，然后將編寫的類通過(guò)參數(shù) spark.sql.extensions 指定注冊(cè)到 Spark 中。

Spark SQL權(quán)限控制在數(shù)棧中的實(shí)踐

Spark 在數(shù)棧中主要應(yīng)用于離線數(shù)倉(cāng)的場(chǎng)景，對(duì)離線數(shù)據(jù)進(jìn)行批處理。大多數(shù)場(chǎng)景下數(shù)據(jù)大多都是存在業(yè)務(wù)庫(kù)中的如 MySQL、Oracle 等，在數(shù)棧上會(huì)先使用 ChunJun 進(jìn)行數(shù)據(jù)采集將數(shù)據(jù)從業(yè)務(wù)庫(kù)同步到 Hive 庫(kù)的 ODS 層，然后通過(guò) Hive 或者 Spark 引擎進(jìn)行數(shù)據(jù)的批處理計(jì)算，最后再通過(guò) ChunJun 將結(jié)果數(shù)據(jù)同步到對(duì)應(yīng)業(yè)務(wù)庫(kù)中。

對(duì)應(yīng)的業(yè)務(wù)庫(kù)大多都是關(guān)系型數(shù)據(jù)庫(kù)，每個(gè)關(guān)系型數(shù)據(jù)庫(kù)也都已經(jīng)具有非常完善的權(quán)限管理機(jī)制，在早期的數(shù)棧中是缺少對(duì) Hive 上數(shù)據(jù)的安全管控的，這也就導(dǎo)致 Hive 上的數(shù)據(jù)可以被每個(gè)用戶獲取查看，缺少了數(shù)據(jù)隱私保護(hù)。

為了解決 Hive 數(shù)據(jù)安全的問(wèn)題，我們選擇了使用 Ranger 來(lái)對(duì) Hive 進(jìn)行權(quán)限控制。

Ranger 是一個(gè)非常全面的數(shù)據(jù)安全管理框架，它提供了 Web UI 供用戶進(jìn)行權(quán)限策略設(shè)置，使得 Ranger 更加易用。Ranger 安全相關(guān)的功能也十分豐富，管控力度更細(xì)，支持?jǐn)?shù)據(jù)庫(kù)表級(jí)別權(quán)限管理，也支持行級(jí)別過(guò)濾和數(shù)據(jù)脫敏等非常實(shí)用的功能。對(duì) Ranger 進(jìn)行擴(kuò)展也比較靈活，在 Ranger 上能夠很輕松實(shí)現(xiàn)一個(gè)新服務(wù)的權(quán)限管控。

在數(shù)棧上 Spark 用來(lái)處理 Hive 中的數(shù)據(jù)，Hive 使用 Ranger 進(jìn)行了數(shù)據(jù)的權(quán)限管控，所以為了保證數(shù)據(jù)安全數(shù)?；?Ranger 自研了 Spark SQL 的權(quán)限管控插件。

上文我們提到為一個(gè)新服務(wù)自定義 Ranger 權(quán)限管控插件分為兩部分來(lái)完成，第一部分是在 Ranger Admin Web UI 界面增加對(duì)應(yīng)的服務(wù)模塊，考慮到 Spark 只用來(lái)處理 Hive 中的數(shù)據(jù)所以在權(quán)限策略這個(gè)地方應(yīng)該要和 Hive 保持一致，所以在 Spark SQL 基于 Ranger 實(shí)現(xiàn)權(quán)限控制插件時(shí)沒(méi)有重復(fù)造輪子而是直接復(fù)用 HADOOP SQL 服務(wù)模塊，和 Hive 共同使用同一套策略，所以我們只需要在 Spark 端開發(fā) Ranger 的權(quán)限管理插件。

基于 Spark SQL Extensions 機(jī)制，我們編寫了類 RangerSparkSQLExtension，并在該類中將實(shí)現(xiàn)好的鑒權(quán) Rule、行級(jí)過(guò)濾 Rule 和數(shù)據(jù)脫敏 Rule 通過(guò)調(diào)用 SparkSessionExtensions.injectOptimizerRule 方法注冊(cè)將到 SQL 解析的 Optimizer 階段。

以數(shù)據(jù)脫敏 Rule 為例，當(dāng)匹配到數(shù)據(jù)脫敏的 Rule 后，該 Rule 會(huì)為 Logical Plan 增加一個(gè) Project 節(jié)點(diǎn)并增加 masking_function 函數(shù)調(diào)用的邏輯。通過(guò)下圖展示匹配數(shù)據(jù)脫敏 Rule 前后的變化，以 select name from t1 where id = 1 為例：

總結(jié)

數(shù)棧一直致力于數(shù)據(jù)的安全和隱私保護(hù)，實(shí)現(xiàn) Spark SQL 基于 Ranger 的權(quán)限控制是數(shù)棧在數(shù)據(jù)安全探索的其中一點(diǎn)。本文講述了基于 Ranger 實(shí)現(xiàn) Spark SQL 權(quán)限校驗(yàn)的原理，基于 Ranger 賦予了 Spark SQL 在權(quán)限管控方面，更強(qiáng)的管控力度、更豐富的能力。

未來(lái)在保證安全的前提下數(shù)棧將對(duì)性能進(jìn)行進(jìn)一步的優(yōu)化，比如將權(quán)限校驗(yàn) Rule 注冊(cè)到 SQL 優(yōu)化器上，可能會(huì)被執(zhí)行多次增加，這樣就會(huì)增加一些不必要的鑒權(quán)。期待大家對(duì)數(shù)棧的持續(xù)關(guān)注。

《數(shù)棧產(chǎn)品白皮書》：https://www.dtstack.com/resources/1004?src=szsm

《數(shù)據(jù)治理行業(yè)實(shí)踐白皮書》下載地址：https://www.dtstack.com/resources/1001?src=szsm

想了解或咨詢更多有關(guān)袋鼠云大數(shù)據(jù)產(chǎn)品、行業(yè)解決方案、客戶案例的朋友，瀏覽袋鼠云官網(wǎng)：https://www.dtstack.com/?src=szbky

同時(shí)，歡迎對(duì)大數(shù)據(jù)開源項(xiàng)目有興趣的同學(xué)加入「袋鼠云開源框架釘釘技術(shù)qun」，交流最新開源技術(shù)信息，qun號(hào)碼：30537511，項(xiàng)目地址：https://github.com/DTStack文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-446812.html

到了這里，關(guān)于提高數(shù)據(jù)的安全性和可控性，數(shù)?；?Ranger 實(shí)現(xiàn)的 Spark SQL 權(quán)限控制實(shí)踐之路的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！