動手點關注

干貨不迷路

?

?1. 背景

火山引擎對于用戶敏感數據尤為重視，在火山引擎提供的數據分析產品中，廣泛采用差分隱私技術對用戶敏感信息進行保護。此類數據產品通常構建于 ClickHouse 等數據引擎之上，以 SQL 查詢方式來執(zhí)行計算邏輯，且查詢邏輯往往較為復雜，因此對差分隱私的應用提出了以下要求：

• 零改造、零感知：最大程度避免影響業(yè)務現(xiàn)有查詢方式，最好做到業(yè)務零感知、零改造；

• 良好、靈活的適配性：能夠適配不同數據引擎的查詢語法，以及能夠處理包含多層嵌套、多重計算、多表連接等情形的復雜 SQL 語句；

• 安全性與可用性平衡：能夠根據業(yè)務數據質量要求，計算合理的隱私預算，在安全性和數據可用性之間保持平衡；

針對以上需求，火山引擎安全研究團隊開發(fā)了 Jeddak-DPSQL：一種基于差分隱私的 SQL 代理工具。Jeddak-DPSQL 能夠兼容多種數據引擎和SQL方言，內嵌多種差分噪聲擾動算法，具備隱私預算管理能力，并且能夠與底層數據引擎結合，在數據分析師無感的情況下，對 SQL 語句進行自動化分析和結果加噪處理。作為數據安全和隱私合規(guī)治理的標準能力之一，Jeddak-DPSQL 已經在抖音集團相關業(yè)務中得到了普遍應用與驗證。

在實際解決公司內部面臨的問題風險后，我們決定對 Jeddak-DPSQL 進行開源，希望能夠為同樣面臨該類問題的企業(yè)和個人提供一定參考和幫助，同時也希望能夠有更多的外部開發(fā)者能夠一起對該開源項目進行共建，完善 Jeddak-DPSQL 產品功能，共同構建更完備的應用生態(tài)。

2. 全面了解 Jeddak-DPSQL

2.1 Jeddak-DPSQL 介紹

Jeddak-DPSQL 采用中心化差分隱私 （Centralized Differential Privacy，簡稱 CDP，適用于數據管理者可信的場景） 模式，以中間件的形式接收 SQL 統(tǒng)計查詢請求，返回滿足差分隱私的查詢結果。一個典型的查詢請求處理流程如下：

• 首先，核心服務接受客戶提交的 SQL 查詢語句，對該語句進行解析和重寫，以便于計算隱私噪聲(如將 AVG 計算改為 SUM/COUNT）；

• 然后，核心服務調用元數據管理服務，計算重寫后的 SQL 查詢所對應的數據表敏感度，同時在數據庫上執(zhí)行重寫后的 SQL 查詢，得到原始的查詢結果；

• 最后，核心服務調用隱私預算管理服務得到為該查詢分配的隱私預算，并結合敏感度在原始的查詢結果中添加噪聲并返回。

2.2 Jeddak-DPSQL 解決的問題

案例背景

假設有一個數據庫 business，存儲用戶消費數據，使用 clickhouse 引擎，其中一個表 user 存儲用戶信息，表中存在以下列：uid，name，age，sex，city，代表用戶id、姓名、年齡、性別、城市。

查詢需求

我們要查詢用戶數量和平均年齡的城市分布，使用 SQL 語句 1：

SELECT??COUNT(*)?AS?cnt，AVG(age)?as?agev,?city
FROM?business.user
group?by?city

風險

如果不應用隱私保護技術，可能面臨差分攻擊的風險，比如攻擊者通過某渠道得知張三的 uid 為 803719，構造下面的 SQL 語句 2：

SELECT??COUNT(*)?AS?cnt，AVG(age)?as?agev,?city
FROM?business.user
WHERE?uid?!=?803719
group?by?city

通過執(zhí)行上面的 SQL 語句1和 SQL 語句2，可分別得到兩個查詢結果：

那么就可以通過比較兩次查詢結果得知張三所在的城市是北京，年齡大約 61 歲（120008x49.3276 = 5919706.62，120007x49.3275 = 5919645.29，5919706.62 - 5919645.29 約等于 61）

以上是一個簡單的例子，現(xiàn)實場景中，攻擊者可能通過背景知識構造更多樣、更復雜的查詢語句達到竊取隱私的目的。

因此，在上述 SQL 查詢場景下，可以通過接入 Jeddak-DPSQL 對 SQL 進行分析和重寫，最終執(zhí)行重寫后的 SQL 能夠保證返回給使用者的數據滿足差分隱私要求，進而達到對個人隱私保護的效果。

2.3 Jeddak-DPSQL 在火山引擎的應用驗證

1. Jeddak-DPSQL已接入火山引擎的增長分析（finder)、A/B 測試等產品，間接服務300+外部客戶，日均處理查詢請求 200+。Jeddak-DPSQL服務不僅幫助業(yè)務滿足了隱私保護和業(yè)務合規(guī)的需求，同時也成為創(chuàng)新型隱私計算技術應用的典范案例。

2. 開放隱私計算 OpenMPC 對外公布了“隱私計算 2021 年度優(yōu)秀應用案例 TOP 10”。火山引擎 云安全憑借“融合 差分隱私 的火山引擎 DPSQL 服務”案例，成功入選 TOP 10。

3. 如何使用 Jeddak-DPSQL

git 開源項目地址： https://github.com/bytedance/Jeddak-DPSQL

3.1 下載

git?clone?https://github.com/bytedance/Jeddak-DPSQL

3.2 快速部署

完成 Jeddak-DPSQL 下載后，按照 README 中的部署引導部分完成服務部署，整個部署過程包括以下步驟：

• 服務依賴包安裝：進入項目根目錄，使用 pip install -r requirements.txt 安裝服務所需完整 pip 包

• MetaData 存儲準備：在使用DPSQL 時，需要維護源數據表的 MetaData 信息，為后續(xù)加噪計算敏感度作準備。Jeddak-DPSQL 使用 Mysql 對相應元數據信息進行存儲，因此需要用戶提前在自己的Mysql數據庫中創(chuàng)建相應的表

• 隱私預算消耗存儲準備：使用 Jeddak-DPSQL 系統(tǒng)過程，可以記錄對表級別的數據查詢時的隱私預算消耗。主要通過Mysql進行記錄，因此需要用戶提前在自己的Mysql數據庫中創(chuàng)建相應的表

• 數據庫連接配置：Jeddak-DPSQL 中使用數據庫主要有 Mysql 和 Redis，因此需要對這兩個數據庫連接地址進行配置

• 服務啟動：完成上述配置后可以在項目根目錄運行 bootstrap.sh 腳本啟動服務

3.3 正式使用

完成 Jeddak-DPSQL 部署后，按照 README 中的快速開始部分可以進行功能體驗，整個過程如下：

• 選擇要測試的數據源(Hive 或 ClickHouse)，導入要進行查詢測試的原始數據集

• 初始化metadata和隱私預算

? ? 1.?生成 metadata

???2. 啟動dpsql服務后， 調用接口 /api/v1/metadata/generate，生成metadata，可參考：

def?meta_generate():
??args?=?{
??????"db_config":?{
??????????"host":?<hive_host>,
??????????"database":?<hive_dbname>,
??????????"username":?<hive_username>,
??????????"password":?<hive_password>
??????},
??????"table_name":?"us_accidents_dec21_updated",
??????"db_type":?db_type
??}
??route_path?=?"/api/v1/metadata/generate"#?local?service,??host:127.0.0.1,?port:5000url?=?"http://%s:%s/%s"?%?(host,?port,?route_path)
??headers?=?{"content-type":?"application/json"}
??r?=?requests.post(url,?json=args,?headers=headers)

if?__name__?==?'__main__':
???meta_generate()

3. 確認metadata 生成完成

4. 調用 /api/v1/metadata/get 接口，確認 metadata 生成完成

def?meta_get():
????args?=?{
????????"prefix":?<hive_host>,
????????"db_name":?<hive_dbname>,
????????"table_name":?"us_accidents_dec21_updated"
????}
????route_path?=?"/api/v1/metadata/get"#?local?service,??host:127.0.0.1,?port:5000url?=?"http://%s:%s/%s"?%?(host,?port,?route_path)
????headers?=?{"content-type":?"application/json"}
????r?=??requests.get(url,?json=args,?headers=headers)
????print(r.text)

• ?調用隱私保護查詢接口，獲得經過差分隱私保護的查詢結果

def?query_sql_noise(sql,?data_source):
??????key?=?{
??????????"sql":?sql,
??????????"dbconfig":?{
??????????????"reader":?data_source,
??????????????"host":?<hive_host>,
??????????????"database":?<hive_dbname>,
??????????????"port":?<hive_port>
??????????},
??????????"queryconfig":?{
?????????????"traceid":?"traceid",
??????????}
??????}
??????route_path?=?"/api/v1/query"url?=?"http://%s:%s/%s"?%?(host,?port,?route_path)
??????headers?=?{"content-type":?"application/json"}
??????r?=?requests.post(url,?json=key,?headers=headers)
??????return?res
if?__name__?==?"__main__":
??????sql?=?"select?count(severityc)?from?menu_page?group?by?severity"
??????section?=?"hivereader"
??????res?=?query_sql_noise(sql,?section)
??????print(res)

更多接口使用方式可以參考項目 README 中的 API Documentation 部分

4. 后續(xù)計劃

由于當前是 Jeddak-DPSQL 的首個開源版本，因此還存在很多不完善的地方，希望大家能夠多多諒解。Jeddak-DPSQL 計劃進行長期維護，歡迎大家使用，也希望有更多的外部開發(fā)者能夠一起對該開源項目進行共建，完善產品功能，構建更完備的應用生態(tài)。

5. 關于安全研究

火山引擎安全研究部門的愿景是創(chuàng)新突破前沿安全理論技術，賦能數字經濟。部門當前以數據安全中心私有化單品-可信隱私計算產品 Jeddak 為載體，從可信計算、聯(lián)邦學習、多方安全計算、差分隱私、密文計算、共識計算等方向著手，開展隱私計算技術的前沿研究和應用探索。基于這些領域最新前沿理論技術，創(chuàng)新研發(fā)、突破瓶頸，實現(xiàn)數據全生命周期安全與隱私保護，以及可信隱私計算等應用服務落地：賦能業(yè)務、保駕護航；更進一步打破數據孤島，推動數據多源融合與流通交易，發(fā)揮數據價值。文章來源地址http://www.zghlxwxcb.cn/news/detail-567683.html