數(shù)倉(cāng)維度層DWS層構(gòu)建

01：項(xiàng)目回顧

1. ODS層與DWD層的功能與區(qū)別是什么？

   • ODS：原始數(shù)據(jù)層
     • 存儲(chǔ)格式：AVRO
     • 數(shù)據(jù)內(nèi)容：基本與原始數(shù)據(jù)是一致的
   • DWD：明細(xì)數(shù)據(jù)層
     • 存儲(chǔ)格式：Orc
     • 數(shù)據(jù)內(nèi)容：基于與ODS層是一致的

2. ODS層的需求是什么？

   • 自動(dòng)化建庫(kù)建表

   • 建表

     create table one_make_ods.表名
     tableproperties(schema文件)
     

     • 表名
     • 表的注釋
     • 表對(duì)應(yīng)的HDFS地址
     • Schema文件的地址

3. DWD層的需求是什么？

   • 自動(dòng)化建庫(kù)建表

   • 建表

     create table one_make_dwd.表名(
     	字段信息
     )
     location
     

     • 表名
     • 表的注釋
     • 表對(duì)應(yīng)的HDFS地址
     • 字段信息

4. 怎么獲取表的Schema信息？

   • 表的注釋、Schema信息
   • ODS：Oracle中獲取表的注釋、Schema文件從Sqoop生成的
   • DWD：Oracle中獲取表的信息
     • TableMeta：表名，表的注釋，列的信息：List
     • ColumnMeta：列名、列的注釋、列的類型、長(zhǎng)度、精度

5. 如何使用Python構(gòu)建Oracle和Hive的連接？

   • Oracle：cx_Oracle
     • conn（host,port,user,passwd,sid）
   • Hive/SparkSQL：pyHive
     • SparkSQL用法
     • 編程方式：python文件 | jar包
       • 流程
         • step1：SparkSession
         • step2：讀取數(shù)據(jù)源
         • step3：處理
           • 注冊(cè)視圖
           • spark.sql(“”)
       • spark-submit
       • 優(yōu)點(diǎn)：靈活
       • 場(chǎng)景：DSL
     • 提交SQL：ThriftServer
       • 場(chǎng)景：SQL，調(diào)度開發(fā)
       • 流程
         • JDBC | PyHive | Beeline：代碼中開發(fā)
         • spark-sql -f xxxx.sql：SQL文件的運(yùn)行

6. 如果實(shí)現(xiàn)SQL語(yǔ)句的執(zhí)行？

   • step1： 先構(gòu)建服務(wù)端的遠(yuǎn)程連接

     • 服務(wù)端地址：主機(jī)名 + 端口
     • 用戶名和密碼

   • step2：基于這個(gè)連接構(gòu)建一個(gè)游標(biāo)

   • step3：通過游標(biāo)來執(zhí)行SQL語(yǔ)句：execute(String：SQL)

   • step4：釋放資源

7. 集中問題

   • 連接構(gòu)建不上
     • 映射不對(duì)：spark.bigdata.cn：Can not Connect[46.xxx.xxxx.xx，10001]
       • 修改host文件
       • 修改config.txt：node1
     • 服務(wù)端問題：spark.bigdata.cn：Can not Connect[192.168.88.100，10001]
       • Spark的TriftServer沒有啟動(dòng)
         • 啟動(dòng)完成先用dg或者beeline先測(cè)試一下
       • ThriftServer：依賴于MetaStore + YARN
         • 檢查YARN：本質(zhì)就是一個(gè)Spark程序：實(shí)時(shí)程序，不停止的
     • Oracle：cx_Oracle + 本地客戶端：D:\instantclient_12_2
   • 安裝
     • Python版本：Python 3.7.4
     • 命令sasl

02：項(xiàng)目目標(biāo)

1. 回顧維度建模
   • 建模流程：劃分主題域和主題
   • 維度設(shè)計(jì)：構(gòu)建維度矩陣
   • 維度模型：雪花模型、星型模式
2. 項(xiàng)目中的建模流程和維度設(shè)計(jì)
   • 劃分了哪些主題域，每個(gè)主題域有哪些主題？
   • 每個(gè)主題基于哪些維度進(jìn)行分析？
3. 維度層構(gòu)建
   • 時(shí)間維度
   • 地區(qū)維度
   • 油站維度
   • 服務(wù)網(wǎng)點(diǎn)維度
   • 組織機(jī)構(gòu)維度
   • 倉(cāng)庫(kù)維度
   • 物流維度

03：維度建模回顧：建模流程

• 目標(biāo)：掌握維度建模的建模流程

• 實(shí)施

  • step1-需求調(diào)研：業(yè)務(wù)調(diào)研和數(shù)據(jù)調(diào)研

    • 了解整個(gè)業(yè)務(wù)實(shí)現(xiàn)的過程
    • 收集所有數(shù)據(jù)使用人員對(duì)于數(shù)據(jù)的需求
    • 整理所有數(shù)據(jù)來源

  • step2-劃分主題域：面向業(yè)務(wù)將業(yè)務(wù)劃分主題域及主題

    • 用戶域、店鋪域
    • 商品域、交易域、
    • 客服域、信用風(fēng)控域、采購(gòu)分銷域

  • step3-構(gòu)建維度總線矩陣：明確每個(gè)業(yè)務(wù)主題對(duì)應(yīng)的維度關(guān)系

  • step4-明確指標(biāo)統(tǒng)計(jì)：明確所有原生指標(biāo)與衍生指標(biāo)

    • 原生指標(biāo)：基于某一業(yè)務(wù)事件行為下的度量，是業(yè)務(wù)定義中不可再拆分的指標(biāo)，如支付總金額

    • 衍生指標(biāo)：基于原子指標(biāo)添加了維度：近7天的支付總金額等

  • step5-定義事實(shí)與維度規(guī)范

    • 命名規(guī)范、類型規(guī)范、設(shè)計(jì)規(guī)范等

  • step6-代碼開發(fā)

    • 實(shí)現(xiàn)具體的代碼開發(fā)

    • 只要知道指標(biāo)的計(jì)算方式，基于維度分組計(jì)算指標(biāo)

• 小結(jié)文章來源地址http://www.zghlxwxcb.cn/news/detail-478100.html

  • 掌握維度建模的建模流程

04：維度建?；仡櫍壕S度設(shè)計(jì)

• 目標(biāo)：掌握維度建模中維度的設(shè)計(jì)

• 實(shí)施

  • 功能：基于組合維度來更加細(xì)化我們的指標(biāo)，來更加精確的發(fā)現(xiàn)問題
    • 指標(biāo)如果不基于組合維度進(jìn)行分析得到，指標(biāo)的結(jié)果是沒有意義的
  • 實(shí)現(xiàn)：開發(fā)中維度就是指標(biāo)聚合時(shí)的分組字段
  • 特點(diǎn)
    • 數(shù)據(jù)量小
    • 很少發(fā)生變化
  • 采集方式：全量
  • 常見維度
    • 時(shí)間維度：年、季度、月、周、天、小時(shí)
    • 地區(qū)維度：國(guó)家、省份、城市
    • 平臺(tái)維度：網(wǎng)站、APP、小程序、H5
    • 操作系統(tǒng)維度：Windows、Mac OS、Android、Linux、IOS
    • ……

• 小結(jié)

  • 掌握維度建模中維度的設(shè)計(jì)

05：維度建?；仡櫍壕S度模型

• 目標(biāo)：掌握維度設(shè)計(jì)的常用模型

• 路徑

  • step1：雪花模型
  • step2：星型模型
  • step3：星座模型

• 實(shí)施

  • 雪花模型

    • 設(shè)計(jì)：部分維度通過其他維度間接關(guān)聯(lián)事實(shí)表
    • 優(yōu)點(diǎn)：避免數(shù)據(jù)的冗余
    • 缺點(diǎn)：關(guān)聯(lián)層次比較多，數(shù)據(jù)大的情況下，底層層層Join，查詢數(shù)據(jù)性能降低

    

  • 星型模型

    • 設(shè)計(jì)：所有維度表直接關(guān)聯(lián)事實(shí)表
    • 優(yōu)點(diǎn)：每次查詢時(shí)候，直接獲取對(duì)應(yīng)的數(shù)據(jù)結(jié)果，不用關(guān)聯(lián)其他的維度子表，可以提高性能
    • 缺點(diǎn)：數(shù)據(jù)冗余度相比雪花模型較高

    

  • 星座模型

    • 星座模型：基于星型模型的演變，多個(gè)事實(shí)共同使用一個(gè)維度表

      

• 小結(jié)

  • 掌握維度設(shè)計(jì)的常用模型

到了這里，關(guān)于助力工業(yè)物聯(lián)網(wǎng)，工業(yè)大數(shù)據(jù)之?dāng)?shù)倉(cāng)維度層DWS層構(gòu)建【十二】的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！