語(yǔ)數(shù)精選簡(jiǎn)介

語(yǔ)數(shù)精選來(lái)源于語(yǔ)數(shù)社區(qū)星球球友提問(wèn)，主要沉淀一些大家工作和學(xué)習(xí)過(guò)程中存在的一些共性問(wèn)題，希望能夠更好的幫助到球友和粉絲。

本期精選問(wèn)題

• 作為數(shù)倉(cāng)開(kāi)發(fā)，需要學(xué)習(xí)哪些大數(shù)據(jù)基礎(chǔ)知識(shí)？
• 當(dāng)整個(gè)數(shù)據(jù)鏈路過(guò)長(zhǎng)時(shí)，如何進(jìn)行模型優(yōu)化？

站在數(shù)倉(cāng)開(kāi)發(fā)角度，大數(shù)據(jù)技術(shù)需要學(xué)哪些

語(yǔ)興回答

1. 語(yǔ)言層面（必學(xué)）：java學(xué)習(xí)Java 的基礎(chǔ)，多線程，反射，juc ，鎖，內(nèi)部類，代碼塊那些，都要好好掌握，還有幾個(gè)類String 類，StringUntil 類，object 類，b站看韓順平的課。

2. 開(kāi)源組件層面（選學(xué)）：會(huì)用抽取工具完成日常數(shù)據(jù)同步（這里離線建議學(xué)sea tunnel或datax ，實(shí)時(shí)建議學(xué)flink cdc），調(diào)度工具（這里建議學(xué)dolphin scheduler或Azkaban），了解olap其中一種即可（這里查詢olap建議學(xué)impala olap庫(kù)建議學(xué)Doris）。

3. 計(jì)算引擎（選學(xué)）：如果有時(shí)間建議看看flink群里有flink基礎(chǔ)學(xué)習(xí)資料，還有左哥這邊提供的flink進(jìn)階講解。

4. 數(shù)倉(cāng)建設(shè)思想（重中之重，必學(xué)）：跟著我b站課程-數(shù)倉(cāng)建設(shè)學(xué)習(xí)路線，了解數(shù)倉(cāng)日常都在做什么，數(shù)倉(cāng)版圖有哪些內(nèi)容，如何去做。

5. 云端數(shù)據(jù)平臺(tái)（選學(xué)）：這里要了解平時(shí)開(kāi)發(fā)流程步驟，如何操作等，到時(shí)候我會(huì)給你安排賬號(hào)使用，結(jié)合著課程學(xué)習(xí)一周即可。

6. 題（必學(xué)）：由于你要準(zhǔn)備校招，這里建議在java學(xué)會(huì)基礎(chǔ)上把leetcode簡(jiǎn)單和中等的題刷一下，弄懂會(huì)寫即可，投入70%，其次sql層面把踏踏實(shí)實(shí)練sql中帶星號(hào)的題都弄懂會(huì)寫，投入30%。

7. 八股文（必學(xué)）：把語(yǔ)興小灶面試題帶星的看懂，準(zhǔn)備八股。

當(dāng)數(shù)據(jù)鏈路比較長(zhǎng)時(shí)，如何進(jìn)行模型優(yōu)化

語(yǔ)興回答

球友提到：有時(shí)候加字段面對(duì)數(shù)據(jù)鏈路比較長(zhǎng)的情況下，有什么好的模型優(yōu)化方法沒(méi)有（意思是鏈路過(guò)長(zhǎng)可能dwd到dwd再到ads這類）

其實(shí)在生產(chǎn)環(huán)境dwd大多數(shù)都不同層依賴，ads下游存在相互依賴情況，但盡可能要避開(kāi)，通過(guò)一個(gè)數(shù)據(jù)模型支持即可這里我提供一張圖供大家參考，但dwd出現(xiàn)平層依賴情況就要考慮dwd表是否具備擴(kuò)展性要不要重構(gòu)。

我們可以從圖中看到業(yè)務(wù)方想要的內(nèi)容，他想讓我們從ods補(bǔ)充字段然后添加到dwd然后在ads出標(biāo)簽，但后續(xù)他又會(huì)通過(guò)where處理或者引用也不做什么邏輯處理，增加多個(gè)下游表，其實(shí)后續(xù)的表價(jià)值也不大只是做了引用，所以建議無(wú)論是數(shù)倉(cāng)內(nèi)部同學(xué)開(kāi)發(fā)還是數(shù)分做ads后續(xù)數(shù)據(jù)表處理如果沒(méi)有任何大的標(biāo)簽變化（例如基于ads處理好的標(biāo)簽再做case when等判斷）就不要往后繼續(xù)開(kāi)發(fā)數(shù)據(jù)表，如果業(yè)務(wù)方只是想過(guò)濾建議在看板側(cè)過(guò)濾。

免費(fèi)體系課：

1. 數(shù)倉(cāng)建設(shè)學(xué)習(xí)路線：https://space.bilibili.com/405479587/channel/collectiondetail?sid=995312

2. 數(shù)倉(cāng)建設(shè)實(shí)踐路線：https://space.bilibili.com/405479587/channel/collectiondetail?sid=1191377

3. 語(yǔ)興小灶：https://space.bilibili.com/405479587/channel/collectiondetail?sid=1367677

4. 踏踏實(shí)實(shí)練SQL：https://space.bilibili.com/405479587/channel/collectiondetail?sid=1077391

5. 語(yǔ)興的問(wèn)題解答：https://space.bilibili.com/405479587/channel/collectiondetail?sid=1704755

6. 實(shí)時(shí)專項(xiàng)（超哥講解）：https://space.bilibili.com/405479587/channel/collectiondetail?sid=1965322

關(guān)于語(yǔ)數(shù)

歡迎加入語(yǔ)數(shù)知識(shí)星球社區(qū)! 社區(qū)致力于推動(dòng)數(shù)據(jù)技術(shù)的發(fā)展，為初學(xué)者和專業(yè)人士提供一個(gè)共享知識(shí)、經(jīng)驗(yàn)和資源的社區(qū)平臺(tái)，最重要一點(diǎn)，語(yǔ)數(shù)星球尊重原創(chuàng)，打造數(shù)據(jù)相關(guān)原創(chuàng)星球內(nèi)容，跟隨我們，腳踏實(shí)地一點(diǎn)一滴成長(zhǎng)。

語(yǔ)數(shù)目前已更專項(xiàng)課程

1. 語(yǔ)興原創(chuàng)簡(jiǎn)歷項(xiàng)目（目前已更新11個(gè)簡(jiǎn)歷，可直接套用）
2. 語(yǔ)興的求職之路（手把手從簡(jiǎn)歷->面試->入職后）
3. 左美美：實(shí)時(shí)技術(shù)基礎(chǔ)與源碼剖析（flink專項(xiàng)作業(yè)）
4. 左美美：Flink實(shí)時(shí)風(fēng)控項(xiàng)目（flink體系課+作業(yè)）
5. 超哥：平臺(tái)研發(fā)技術(shù)（玩轉(zhuǎn)平臺(tái)開(kāi)發(fā)）
6. 汪哥：生產(chǎn)真實(shí)場(chǎng)景專項(xiàng)課程（生產(chǎn)真實(shí)場(chǎng)景剖析）
7. 孟哥：數(shù)倉(cāng)項(xiàng)目與面試（從面試官角度帶你看項(xiàng)目）

歡迎感興趣的同學(xué)咨詢語(yǔ)數(shù)，語(yǔ)數(shù)每周都會(huì)安排直播，帶你從更高層面，提升技術(shù)水平。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-843194.html

到了這里，關(guān)于以數(shù)倉(cāng)視角切入學(xué)習(xí)路線，大數(shù)據(jù)真正需要學(xué)習(xí)的內(nèi)容有哪些？的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！