其他內(nèi)容：
【數(shù)據(jù)分析師求職面試指南】必備基礎(chǔ)知識(shí)整理
【數(shù)據(jù)分析師求職面試指南】必備編程技能整理之Hive SQL必備用法
【數(shù)據(jù)分析師求職面試指南】實(shí)戰(zhàn)技能部分

必備技能

數(shù)據(jù)人員如何創(chuàng)造價(jià)值

• 基于歷史數(shù)據(jù)和業(yè)務(wù)背景構(gòu)建指標(biāo)體系或者模型。
• 基于指標(biāo)體系，監(jiān)控線上業(yè)務(wù)數(shù)據(jù)并制定相應(yīng)的監(jiān)控規(guī)則。
• 輸出數(shù)據(jù)分析報(bào)告或者提供可執(zhí)行策略，推動(dòng)業(yè)務(wù)的發(fā)展。

完整的指標(biāo)體系構(gòu)建

Q1：要構(gòu)建一套指標(biāo)體系，整體思路：
構(gòu)建指標(biāo)體系應(yīng)該“縱向”和“橫向”相結(jié)合
- 縱向指的是梳理出分析問題的整個(gè)流程，比如對(duì)于電商產(chǎn)品，需要分析出用戶從進(jìn)入網(wǎng)站到最終下單的整個(gè)流程；對(duì)于工具類產(chǎn)品，則需要關(guān)注用戶使用過程中的體驗(yàn)以及用戶流失情況。
- 還需要橫向拓展不同的維度，如基于用戶畫像的人群分類、根據(jù)不同業(yè)務(wù)背景的時(shí)間拓展以及業(yè)務(wù)線的劃分。
最后將縱向和橫向的結(jié)果相結(jié)合，就得到了一套完整的指標(biāo)體系。

Q2：用戶行為的核心節(jié)點(diǎn)有哪些？如何有針對(duì)性地設(shè)計(jì)指標(biāo)？
? 了解用戶行為的核心節(jié)點(diǎn)，實(shí)際上就是縱向分析的過程。互聯(lián)網(wǎng)公司大多針對(duì)C端用戶進(jìn)行分析，這里就以C端用戶(consumer （消費(fèi)者）)為例進(jìn)行介紹。對(duì)于C端用戶，核心的三個(gè)節(jié)點(diǎn)是新增、活躍、留存/流失，大多數(shù)分析都是圍繞這三個(gè)節(jié)點(diǎn)進(jìn)行的。
可以看到，針對(duì)新增、活躍、留存/流失這些節(jié)點(diǎn)，可以縱向設(shè)計(jì)出很多指標(biāo)，但主要是絕對(duì)數(shù)量和百分比。

• 對(duì)于新增用戶，指標(biāo)有新增用戶數(shù)量、新增用戶留存率、新增用戶活躍率等。
• 對(duì)于活躍用戶，指標(biāo)有活躍用戶數(shù)量、活躍用戶中的新增用戶數(shù)量、活躍用戶中的老用戶數(shù)量等。
• 對(duì)于老用戶，指標(biāo)有老用戶數(shù)量、老用戶流失率、老用戶喚醒率等。
• 對(duì)于流失用戶，指標(biāo)有流失用戶數(shù)量、流失用戶與新增用戶比率等。

這樣就可以針對(duì)用戶的整體行為節(jié)點(diǎn)進(jìn)行比較完整的指標(biāo)設(shè)計(jì)，其中活躍用戶部分是需要重點(diǎn)關(guān)注的，通過對(duì)從新增到流失整個(gè)流程指標(biāo)的構(gòu)建，可以清晰地看出在哪個(gè)環(huán)節(jié)最終活躍用戶數(shù)增加了或者減少了。

Q_4：對(duì)于活躍用戶，應(yīng)該如何進(jìn)行相應(yīng)的指標(biāo)設(shè)計(jì)及路徑分析？
?對(duì)于活躍用戶，要研究其活躍行為，從而提高用戶的體驗(yàn)。針對(duì)不同類型的產(chǎn)品，需要進(jìn)行相應(yīng)的細(xì)分設(shè)計(jì)。
比如對(duì)于電商產(chǎn)品，需要關(guān)注的是從來訪用戶到用戶最終成功支付的整個(gè)流程，如圖5-2所示。
?可以看到，針對(duì)這個(gè)流程的每一步都可以統(tǒng)計(jì)出相應(yīng)的用戶數(shù)量以及上一步的轉(zhuǎn)化率，比如來訪用戶數(shù)量、點(diǎn)擊用戶數(shù)量、加入購(gòu)物車用戶數(shù)量、下單用戶數(shù)量、支付用戶數(shù)量、最終成功支付用戶數(shù)量，以及各種轉(zhuǎn)化率，如點(diǎn)擊/曝光轉(zhuǎn)化率、下單/點(diǎn)擊轉(zhuǎn)化率、下單/加購(gòu)轉(zhuǎn)化率、支付/下單轉(zhuǎn)化率、成功支付/支付轉(zhuǎn)化率。這些指標(biāo)就構(gòu)成了一個(gè)完整的縱向指標(biāo)體系，通過這些指標(biāo)可以清晰地看出哪個(gè)環(huán)節(jié)存在問題。
?對(duì)于電商產(chǎn)品，除了要關(guān)心用戶數(shù)量，金額也是要關(guān)心的指標(biāo)。從加購(gòu)開始，每個(gè)環(huán)節(jié)在用戶數(shù)量的基礎(chǔ)上都需要增加金額指標(biāo)以及相應(yīng)的客單價(jià)指標(biāo)。

?對(duì)于短視頻，需要分為視頻的觀看者和視頻的發(fā)布者兩個(gè)獨(dú)立的用戶群體進(jìn)行分析。
對(duì)于視頻的觀看者，需要考慮的是各種行為數(shù)據(jù)，相對(duì)路徑比較短，如圖5-3所示。針對(duì)用戶的這些行為設(shè)計(jì)相關(guān)的指標(biāo)，比如觀看視頻的數(shù)量、整體時(shí)長(zhǎng)、點(diǎn)贊視頻占比、評(píng)論視頻占比等，這些指標(biāo)刻畫了用戶觀看視頻的體驗(yàn)情況。
? 對(duì)于視頻的發(fā)布者，則需要關(guān)注整個(gè)流程，看在某個(gè)環(huán)節(jié)的轉(zhuǎn)化上是否存在問題，造成發(fā)布的視頻數(shù)量減少，如圖5-4所示。

*以上就是構(gòu)建指標(biāo)體系的縱向部分，其中包括了用戶從新增到流失/留存的整個(gè)流程，這是比較通用的指標(biāo)體系建立方法。（面試前需要對(duì)所要應(yīng)聘部門的業(yè)務(wù)有所了解，梳理出產(chǎn)品中用戶的生命周期以及活躍用戶的行為情況。）

Q_5：有了明確的用戶行為路徑及相關(guān)指標(biāo)后，如何進(jìn)一步分析？
? 除了縱向分析，還需要橫向分析，橫向分析是指對(duì)于同一個(gè)指標(biāo)，基于不同的維度進(jìn)行相應(yīng)的拓展，常用的維度包括時(shí)間維度和用戶維度。

Q_6：針對(duì)時(shí)間維度的分析，需要注意的點(diǎn)有哪些？
?對(duì)于時(shí)間維度，常用的分析方法是關(guān)注最近一段時(shí)間的數(shù)據(jù)，時(shí)間的長(zhǎng)短要根據(jù)業(yè)務(wù)的具體特性來確定。對(duì)于一些高頻的App或者功能，通常關(guān)注最近1～7天的整體數(shù)據(jù)情況即可，也可以是自然周。對(duì)于一些相對(duì)低頻的App或者功能，則需要將時(shí)間拉長(zhǎng)，關(guān)注最近15天、30天、90天甚至更長(zhǎng)時(shí)間的整體數(shù)據(jù)，也可以是自然月、季度甚至自然年。

? 另外，與時(shí)間維度相關(guān)的有同比和環(huán)比的概念。因?yàn)閱渭兊仃P(guān)注一段時(shí)間的數(shù)據(jù)并不能很好地看出趨勢(shì)情況，需要與之前的數(shù)據(jù)進(jìn)行對(duì)比。對(duì)于同比和環(huán)比的概念，在實(shí)際應(yīng)用中不需要進(jìn)行很明確的劃分。常用的對(duì)比方法是對(duì)比當(dāng)日與上日、本周與上周、本月與上月的數(shù)據(jù)。對(duì)于一些周期性比較強(qiáng)的產(chǎn)品，則需要先確定產(chǎn)品的周期，比如有些產(chǎn)品會(huì)受到周末的影響，此時(shí)比較合理的對(duì)比方法是用本日的數(shù)據(jù)與上周同一日的數(shù)據(jù)進(jìn)行對(duì)比；有些產(chǎn)品會(huì)受到大型節(jié)假日的影響，此時(shí)針對(duì)節(jié)假日數(shù)據(jù)，就需要與上一個(gè)大型節(jié)假日的數(shù)據(jù)進(jìn)行對(duì)比。

? 對(duì)于一些對(duì)實(shí)時(shí)性要求高的產(chǎn)品，需要將數(shù)據(jù)指標(biāo)細(xì)化到小時(shí)級(jí)別。

?除了時(shí)間維度，還有一種常用的拓展方法，就是基于用戶畫像的用戶維度進(jìn)行拓展。用戶畫像是互聯(lián)網(wǎng)公司中常用到的分析工具，通過用戶畫像可以有效了解各個(gè)群體的行為情況，也可以基于用戶畫像拓展出相應(yīng)的指標(biāo)。

Q_7：列舉常用的用戶維度拓展方法。
? 有很多通用的用戶維度拓展方法，比如對(duì)于用戶所在地，可以分為城市、省份，甚至華東、華南等大區(qū)；對(duì)于用戶的基本屬性，可以分為年齡、性別、職業(yè)等；對(duì)于用戶使用的設(shè)備情況，可以分為終端類型、客戶端版本、廠商、機(jī)型等；對(duì)于新老用戶，也可以拓展出一些指標(biāo)。對(duì)于新用戶，需要關(guān)注的是用戶來源渠道，通常分為自然新增用戶、活動(dòng)新增用戶、廣告新增用戶等渠道，通過對(duì)渠道的劃分，可以在一定程度上避免一些大型活動(dòng)對(duì)新增用戶分析帶來的影響；對(duì)于老用戶，根據(jù)用戶的生命周期進(jìn)行劃分，通常分為有效用戶、活躍用戶、忠誠(chéng)用戶、沉睡用戶和流失用戶，可以對(duì)產(chǎn)品整體趨勢(shì)有一個(gè)清晰的了解。
?
Q_8：×××最近有所下降，如何進(jìn)行分析？
針對(duì)這個(gè)問題，需要充分利用前面所講的指標(biāo)體系，按照如下步驟進(jìn)行分析。
（1）梳理與該問題相關(guān)的流程，確定縱向指標(biāo)體系。比如是支付金額有所下降，就需要梳理：曝光→點(diǎn)擊→下單→支付這樣完整的用戶路徑，以各個(gè)環(huán)節(jié)的轉(zhuǎn)化率和用戶量為核心指標(biāo)。
（2）針對(duì)核心指標(biāo)，確定所要對(duì)比的時(shí)間維度，比如基于所要分析的產(chǎn)品確定與前一天或者前一周的數(shù)據(jù)進(jìn)行對(duì)比，發(fā)現(xiàn)問題所在。
（3）確定問題所在的環(huán)節(jié)后，針對(duì)該環(huán)節(jié)以用戶維度進(jìn)行拓展，如基本屬性、所在地、設(shè)備情況、新老用戶等，確定引起該問題的用戶群體，并針對(duì)這部分用戶進(jìn)行相應(yīng)的策略調(diào)整。
除了上述問題，對(duì)于“新版產(chǎn)品或者某個(gè)運(yùn)營(yíng)活動(dòng)上線后，如何評(píng)估效果”等問題，也可以采用相同的方法進(jìn)行分析，只做微調(diào)即可。
?總結(jié)起來，整個(gè)思路就是：梳理路徑→確定對(duì)比的指標(biāo)→選取對(duì)比的時(shí)間維度→針對(duì)問題環(huán)節(jié)拓展用戶維度。

數(shù)據(jù)監(jiān)控集報(bào)表設(shè)計(jì)

? 前面介紹了指標(biāo)體系的構(gòu)建，通過指標(biāo)體系可以有效地指導(dǎo)產(chǎn)品人員和運(yùn)營(yíng)人員進(jìn)行決策。但是真正執(zhí)行時(shí)還需要基于指標(biāo)體系來構(gòu)建有效的數(shù)據(jù)監(jiān)控體系，將指標(biāo)體系落地，其最重要的產(chǎn)出就是報(bào)表。??

Q_1：現(xiàn)在需要監(jiān)控?cái)?shù)據(jù)并設(shè)計(jì)相應(yīng)的報(bào)表，應(yīng)該考慮哪些問題？
?實(shí)際上，關(guān)于數(shù)據(jù)監(jiān)控及相應(yīng)報(bào)表的設(shè)計(jì)，有很多需要思考的地方，可以總結(jié)成三個(gè)問題：看什么、怎么看、給誰(shuí)看。
?監(jiān)控?cái)?shù)據(jù)和設(shè)計(jì)報(bào)表的基礎(chǔ)就是前面構(gòu)建的指標(biāo)體系，但是僅僅將指標(biāo)簡(jiǎn)單地羅列出來顯然是不夠的，下面就以一個(gè)產(chǎn)品的日常數(shù)據(jù)報(bào)表為例來介紹“看什么”。

Q_2：如何避免在報(bào)表中簡(jiǎn)單地羅列數(shù)字，提高信息量？
假如一個(gè)產(chǎn)品的基本數(shù)據(jù)報(bào)表包含了活躍用戶數(shù)、新增用戶數(shù)、老用戶流失率等指標(biāo)，這樣的數(shù)據(jù)報(bào)表給人的感覺更像是流水賬，起不到任何對(duì)數(shù)據(jù)進(jìn)行監(jiān)控的作用，其中的指標(biāo)是好還是不好，不能很直觀地看出來。

? 因此，需要根據(jù)實(shí)際情況在報(bào)表中增加對(duì)比數(shù)據(jù)，與1天、7天或者30天前的數(shù)據(jù)進(jìn)行對(duì)比，這樣能夠快速、直觀地了解數(shù)據(jù)的變化。能夠很快地通過報(bào)表數(shù)據(jù)清晰地了解指標(biāo)的變化情況，相比于單純地展示數(shù)據(jù)，可讀性大大增加
同時(shí)，可以將周同比數(shù)據(jù)中低于5%、高于5%或者其他閾值的數(shù)據(jù)，用不同的顏色進(jìn)行標(biāo)注，通常用紅色標(biāo)注高于閾值的數(shù)據(jù)，用綠色標(biāo)注低于閾值的數(shù)據(jù)。

可以看到，經(jīng)過兩次調(diào)整，報(bào)表的可讀性得到了有效提升，同時(shí)增加了傳遞的信息量。在日常工作中應(yīng)根據(jù)業(yè)務(wù)變化，不斷地對(duì)報(bào)表內(nèi)容以及數(shù)據(jù)監(jiān)控的策略進(jìn)行相應(yīng)的調(diào)整，包括對(duì)比的數(shù)據(jù)和閾值等，以適應(yīng)業(yè)務(wù)發(fā)展的需要。另外，報(bào)表不僅僅是表格形式，折線圖、柱形圖等圖表也可以用作數(shù)據(jù)監(jiān)控報(bào)表。

? 在解決了“看什么”的問題后，接下來要考慮的就是“怎么看”。

Q_3：常用的報(bào)表輸出方式有哪些？
? 一種方式是通過數(shù)據(jù)看板平臺(tái)輸出

? 另一種方式是通過郵件發(fā)送報(bào)表。相比于數(shù)據(jù)看板，郵件報(bào)表所能傳遞的信息量要少一些；但由于郵件是日常工作中不可或缺的一部分，不同于數(shù)據(jù)看板需要主動(dòng)關(guān)注，郵件報(bào)表屬于“被動(dòng)接收”，傳遞信息更加快速、直接，通常都會(huì)設(shè)置為定時(shí)任務(wù)，在固定時(shí)間發(fā)送報(bào)表給相關(guān)人員。

接下來要考慮的就是“給誰(shuí)看”，這是將報(bào)表功能最大化的核心問題。
?
報(bào)表的受眾主要分為三類：領(lǐng)導(dǎo)層、業(yè)務(wù)層和客戶，三者雖然都要關(guān)注報(bào)表數(shù)據(jù)，但是關(guān)注點(diǎn)不同，因此要基于各自的需要提供相應(yīng)的數(shù)據(jù)和展現(xiàn)方式。

Q_4：針對(duì)不同的人群，如何設(shè)計(jì)相應(yīng)的報(bào)表？??
領(lǐng)導(dǎo)層，提供給領(lǐng)導(dǎo)層的一定是最核心的指標(biāo)數(shù)據(jù)，并且要采用最直觀的展現(xiàn)方式。由于領(lǐng)導(dǎo)層每天要接收大量的來自不同業(yè)務(wù)線或者部門的信息，需要在短時(shí)間內(nèi)獲取最直觀的業(yè)務(wù)數(shù)據(jù)，以便制定下一步的策略。因此，提供給領(lǐng)導(dǎo)層的通常是郵件報(bào)表，并且在郵件報(bào)表中選取最核心的指標(biāo)數(shù)據(jù)，將變化趨勢(shì)直觀地表現(xiàn)出來，使領(lǐng)導(dǎo)層對(duì)核心數(shù)據(jù)的變化情況一目了然。(就是說不要弄花里胡哨的東西)

業(yè)務(wù)層，不同于領(lǐng)導(dǎo)層關(guān)注最核心的指標(biāo)數(shù)據(jù)，業(yè)務(wù)層需要對(duì)所有的相關(guān)數(shù)據(jù)都能夠做到及時(shí)監(jiān)控和分析，因此提供給業(yè)務(wù)層的數(shù)據(jù)務(wù)必要全面，能夠?qū)⒏鱾€(gè)維度的信息都展現(xiàn)出來。所以，通常將提供給業(yè)務(wù)層的數(shù)據(jù)集中展現(xiàn)在數(shù)據(jù)看板中，并且可以根據(jù)需要進(jìn)行實(shí)時(shí)或者準(zhǔn)實(shí)時(shí)更新，當(dāng)數(shù)據(jù)出現(xiàn)波動(dòng)或者異常時(shí)，能夠第一時(shí)間通知到業(yè)務(wù)方進(jìn)行排查。

客戶，比如電商公司提供相應(yīng)的報(bào)表給店鋪或者供應(yīng)商，指導(dǎo)其進(jìn)行策略調(diào)整，也會(huì)采用數(shù)據(jù)看板，但是信息量會(huì)有所減少，因?yàn)橐?strong>排除敏感數(shù)據(jù)和次要信息，主要圍繞如何幫助他們提高銷售額或者達(dá)到其他目標(biāo)而更加有針對(duì)性地展示相關(guān)數(shù)據(jù)。

如果在簡(jiǎn)歷中提到有過設(shè)計(jì)報(bào)表的經(jīng)歷，那么在面試中通常會(huì)被要求介紹相關(guān)工作內(nèi)容，因此需要候選人多多思考這方面的內(nèi)容，避免給面試官留下“流水賬”的印象。

設(shè)計(jì)一份優(yōu)質(zhì)的數(shù)據(jù)分析報(bào)告

?這里要講的數(shù)據(jù)分析報(bào)告，能夠聚焦于某個(gè)點(diǎn)給出分析數(shù)據(jù)，比如新功能上線后的數(shù)據(jù)分析報(bào)告、運(yùn)營(yíng)活動(dòng)效果的分析報(bào)告等。
?關(guān)于數(shù)據(jù)分析報(bào)告的設(shè)計(jì)，需要考慮一個(gè)最核心的問題，就是如何提高質(zhì)量。

Q_1：如何提高數(shù)據(jù)分析報(bào)告的質(zhì)量？
? （1）明確整體分析思路??。好的數(shù)據(jù)分析報(bào)告都依賴于一個(gè)明確的思路，需要在開始設(shè)計(jì)報(bào)告前就整理出一個(gè)基本的框架，然后在設(shè)計(jì)過程中進(jìn)行適當(dāng)?shù)奶砑?。切勿在開始設(shè)計(jì)數(shù)據(jù)分析報(bào)告前不做規(guī)劃，“邊做邊加”，否則效率會(huì)大打折扣。

?舉個(gè)例子，現(xiàn)在分析一次電商營(yíng)銷活動(dòng)的效果，首先需要對(duì)分析維度進(jìn)行拆解，如分為活動(dòng)的整體效果、各個(gè)商品的銷售情況、各類人群的銷售情況。然后需要確定衡量這次活動(dòng)的核心指標(biāo)，如點(diǎn)擊率（點(diǎn)擊人數(shù)/曝光人數(shù)）、支付轉(zhuǎn)化率（支付人數(shù)/點(diǎn)擊人數(shù)）、點(diǎn)擊單價(jià)（支付金額/點(diǎn)擊人數(shù)）、客單價(jià)（支付金額/支付人數(shù)）等。
? 以上就是一次電商營(yíng)銷活動(dòng)效果分析報(bào)告的設(shè)計(jì)思路，包含了對(duì)分析維度的拆解（也稱為下鉆）和核心指標(biāo)的確定，有了一個(gè)清晰的框架，接下來就可以基于此進(jìn)行數(shù)據(jù)的提取、分析以及可視化操作了。

? 整體分析結(jié)構(gòu)

（2）結(jié)論提前，清晰明了。 在一份數(shù)據(jù)分析報(bào)告中，運(yùn)營(yíng)方和決策層最關(guān)心的就是結(jié)論以及相應(yīng)的策略，這是報(bào)告中最有價(jià)值的部分。
但也不是說簡(jiǎn)單地將所有的結(jié)論羅列出來就可以了
這種結(jié)論看起來像流水賬，出現(xiàn)了太多的數(shù)據(jù)，并且很多是沒有價(jià)值的。比如男上裝等四個(gè)品類的占比，這樣的數(shù)據(jù)羅列毫無(wú)價(jià)值，而是應(yīng)該給出和一個(gè)標(biāo)桿進(jìn)行對(duì)比的數(shù)據(jù)。再比如“女性用戶整體指標(biāo)符合預(yù)期”，其本身并不具有特別大的價(jià)值，在結(jié)論中應(yīng)該主要關(guān)注那些變化比較明顯的點(diǎn)。對(duì)結(jié)論進(jìn)行合理的修改，修改后的結(jié)果如圖所示。

? 可以看到，剔除了一些無(wú)關(guān)緊要的數(shù)據(jù)，在整體結(jié)論中只放最核心的問題或者閃光點(diǎn)，并且給出相應(yīng)的策略。
（3）注意圖表的信息量。作為支撐分析的論據(jù)，需要在數(shù)據(jù)分析報(bào)告中使用大量的圖表，但是很多時(shí)候會(huì)存在圖表的信息量過少或者過多的情況—如果信息量過少，則無(wú)法很好地展示數(shù)據(jù)；如果信息量過多，則會(huì)影響他人的理解，無(wú)法直觀地看數(shù)據(jù)。
以上圖中提到的“男性用戶點(diǎn)擊率比平均水平低”這個(gè)點(diǎn)為例，證明這是造成男上裝銷售額偏低的主要原因，可以使用漏斗圖，看各個(gè)環(huán)節(jié)的轉(zhuǎn)化率，并且能夠與歷史數(shù)據(jù)進(jìn)行對(duì)比

基于互聯(lián)網(wǎng)大數(shù)據(jù)的應(yīng)用

A B 測(cè)試

? 目前在互聯(lián)網(wǎng)公司中AB測(cè)試具有不可替代的作用，也是數(shù)據(jù)分析師需要掌握的重要技能。由于AB測(cè)試涉及很多統(tǒng)計(jì)學(xué)知識(shí)，因此需要花一定的時(shí)間來仔細(xì)研究。

Q_1：簡(jiǎn)述AB測(cè)試。
? AB測(cè)試是指為了評(píng)估模型/項(xiàng)目的效果，在App/PC端同時(shí)設(shè)計(jì)多個(gè)版本，在同一時(shí)間維度下，分別讓組成成分相同（相似）的訪客群組隨機(jī)訪問這些版本，收集各群組的用戶體驗(yàn)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，最后分析評(píng)估出最好的版本正式采用。
?
AB測(cè)試的整個(gè)過程分成三個(gè)部分：試驗(yàn)分組、進(jìn)行試驗(yàn)、分析結(jié)果。
? 直觀上看，分組是整個(gè)測(cè)試中比較簡(jiǎn)單的部分，但實(shí)際上它是測(cè)試中最重要??的一個(gè)環(huán)節(jié)，如果分組不合理，之后的試驗(yàn)都是徒勞。

Q_2：介紹常用的AB測(cè)試的分組方法。
? 常用的分組方法包括基于設(shè)備號(hào)、用戶唯一標(biāo)識(shí)（如用戶id等）的尾號(hào)或者其他指標(biāo)進(jìn)行分組，如按照尾號(hào)為奇數(shù)或者偶數(shù)分成兩組，在分組過程中不需要對(duì)這些唯一標(biāo)識(shí)進(jìn)行處理。另外一種方法就是基于這些唯一標(biāo)識(shí)，通過一個(gè)固定的Hash函數(shù)對(duì)用戶唯一標(biāo)識(shí)進(jìn)行Hash取模、分桶，將用戶均勻地分配至若干個(gè)試驗(yàn)桶中。可以將桶簡(jiǎn)單地理解為小組，通 常會(huì)分為100個(gè)組或者1000個(gè)組，相比于直接基于唯一標(biāo)識(shí)進(jìn)行分組，這種方法能夠進(jìn)一步將用戶打散，提高分組的效果。
? 上面介紹了將用戶進(jìn)行分組的方法，在進(jìn)行單個(gè)試驗(yàn)的情況下，可以將通過Hash函數(shù)得到的桶編號(hào)1～100，在試驗(yàn)中將編號(hào)1～50分為A組，將編號(hào)51～100分為B組， 然后進(jìn)行對(duì)比。但是在實(shí)際工作中，通常會(huì)出現(xiàn)多個(gè)試驗(yàn)并行的情況，并且由于網(wǎng)站或者App的流量是有限的，同一批用戶可能會(huì)同時(shí)作為多個(gè)試驗(yàn)的數(shù)據(jù)源，此時(shí)進(jìn)行分組就要全方位地考慮目前正在進(jìn)行的試驗(yàn)情況。

Q_3：面對(duì)多個(gè)試驗(yàn)并行的情況，如何保證分組的合理性？
? 這里需要引入==“域”==的概念。對(duì)于所有的用戶，需要在所有的試驗(yàn)開始前將其劃分為不同的域，不同域之間的用戶相互獨(dú)立，交集為空。對(duì)于一些比較重要的試驗(yàn)，可以專門為其劃分出一部分用戶，在該試驗(yàn)進(jìn)行期間，不會(huì)針對(duì)這些用戶進(jìn)行其他試驗(yàn)，這稱為“獨(dú)占域” 。在進(jìn)行試驗(yàn)時(shí)，只需要基于這些用戶的Hash值分組即可。

? 與“獨(dú)占域”對(duì)應(yīng)的是“共享域”，即針對(duì)域中的用戶會(huì)同時(shí)進(jìn)行多組AB測(cè)試，此時(shí)在分組的時(shí)候就需要考慮分層。為了方便理解，這里將每一個(gè)試驗(yàn)作為單獨(dú)的一層，根據(jù)試驗(yàn)開始的時(shí)間，將試驗(yàn)按照從上層到下層的順序進(jìn)行排列，下一層試驗(yàn)進(jìn)行分組時(shí)，需要將上一層試驗(yàn)各個(gè)分組的用戶打散，如圖5-17所示。??

? 可以看到，第二層分組開始時(shí)，充分考慮了第一層的各個(gè)分組，將第一層各個(gè)分組的用戶隨機(jī)選取50%進(jìn)入第二層的分組中，這樣保證了第二層用戶的隨機(jī)性。依此類推，各個(gè)層在分組時(shí)都需要將上一層分組的用戶打散。
? 綜上所述，分組情況總結(jié)如圖5-18所示。

?需要注意的是，在同一個(gè)共享域不可以同時(shí)進(jìn)行過多的試驗(yàn)，即使基于正交的方法可以保證隨機(jī)性，但通常最多也不要超過7個(gè)試驗(yàn)同時(shí)進(jìn)行，同時(shí)也要思考是否有辦法驗(yàn)證分組的隨機(jī)性。

對(duì)用戶進(jìn)行合理的分組之后，接下來就正式進(jìn)入AB測(cè)試的實(shí)施階段了。

Q_4：如何充分證明AB測(cè)試分組的隨機(jī)性？
? 在AB測(cè)試中，理論上，即使通過基于正交的方法可以保證用戶分組的隨機(jī)性，但是為了防止意外情況的發(fā)生，還需要引入==“AA測(cè)試”==的概念，進(jìn)一步保證分組的隨機(jī)性。通常分組情況如圖5-19所示。

? 以上就是一個(gè)典型的試驗(yàn)分組策略。通常用A版本表示老版本，B版本表示新版本，按照6∶4的比例進(jìn)行劃分，同時(shí)從A版本中劃分20%的用戶進(jìn)行AA測(cè)試。最終驗(yàn)證結(jié)果時(shí)，首先要保證AA測(cè)試通過，確保分組的合理性，然后看AB測(cè)試是否通過；如果AA測(cè)試沒有通過，那么AB測(cè)試的結(jié)果就沒有任何意義。

Q_5：簡(jiǎn)述AB測(cè)試背后的理論支撐。
? 這里需要考慮AB測(cè)試所運(yùn)用的核心原理：根據(jù)中心極限定理，當(dāng)數(shù)據(jù)量足夠大時(shí)，可以認(rèn)為樣本均值近似服從正態(tài)分布。然后結(jié)合假設(shè)檢驗(yàn)的內(nèi)容，推翻或接受原假設(shè)。
?
? 最后要做的就是分析試驗(yàn)結(jié)果，這一部分要用到中心極限定理和假設(shè)檢驗(yàn)。

Q_6：如何通過AB測(cè)試證明新版本用戶的轉(zhuǎn)化率高于老版本用戶的轉(zhuǎn)化率？

用戶畫像

? 用戶畫像是互聯(lián)網(wǎng)公司大數(shù)據(jù)體系中非常重要的一個(gè)部分，通過用戶畫像，可以對(duì)用戶進(jìn)行全面分析——既可以利用用戶畫像“千人千面”地推薦相關(guān)產(chǎn)品，又可以基于用戶畫像分析產(chǎn)品目標(biāo)用戶，以及針對(duì)不同屬性的用戶采取不同的召回策略。
? 關(guān)于用戶畫像數(shù)據(jù)的計(jì)算、獲取、存儲(chǔ)有一套比較完善的系統(tǒng)，稱為數(shù)據(jù)管理平臺(tái)（DMP）。這部分內(nèi)容只要了解即可，數(shù)據(jù)分析師關(guān)注更多的是用戶畫像數(shù)據(jù)的加工和應(yīng)用。
? 在獲取用戶畫像數(shù)據(jù)的過程中，與數(shù)據(jù)分析師工作密切相關(guān)的內(nèi)容如圖所示。

Q_1：用戶畫像的數(shù)據(jù)源有哪些？
? 用戶畫像的數(shù)據(jù)源主要有兩種，其中一種是用戶基本屬性數(shù)據(jù)，如性別、年齡、地域等；另一種是用戶行為數(shù)據(jù)，如瀏覽、下單、觀看等。

? 用戶基本屬性數(shù)據(jù)往往會(huì)存在缺失或者不準(zhǔn)確，這部分?jǐn)?shù)據(jù)大多來自用戶注冊(cè)時(shí)所填寫的信息，并且不是強(qiáng)制性填寫的，所以會(huì)存在一定的偏差。
? 用戶行為數(shù)據(jù)則體現(xiàn)出用戶近期的一些行為，對(duì)“近期”的定義要參照不同的產(chǎn)品屬性，比如對(duì)于旅游類低頻App來說，最近30天或者更久的數(shù)據(jù)都是需要關(guān)注的；而對(duì)于短視頻這種產(chǎn)品，則通常需要關(guān)注30天甚至7天之內(nèi)的數(shù)據(jù)。

Q_2 ：獲取到用戶畫像數(shù)據(jù)后，如何加工呢？
? 一是通過分析計(jì)算，比如分析用戶最近一段時(shí)間的消費(fèi)金額、消費(fèi)頻次等，獲得其活躍度以及相應(yīng)的偏好，或者通過分析用戶近期的登錄地址或者訂單地址等判斷其所在地。
? 二是建立相應(yīng)的數(shù)據(jù)挖掘模型，預(yù)測(cè)用戶基本屬性，如性別、年齡等，有效彌補(bǔ)基本屬性數(shù)據(jù)的缺失以及偏差。比如在電商領(lǐng)域，可以根據(jù)用戶近期瀏覽嬰幼兒類產(chǎn)品的情況，再結(jié)合深度學(xué)習(xí)模型判斷該用戶（或其家人）所處的孕期，之后進(jìn)行更加準(zhǔn)確的商品推薦。

? 通過數(shù)據(jù)加工，可以獲得一個(gè)完善的標(biāo)簽池，其中包含了大量的用戶屬性信息。比如對(duì)于用戶小王，通過標(biāo)簽池，我們可以了解到小王的性別、年齡、居住城市以及該城市的等級(jí)（一線、二線、三線）等，同時(shí)也可以了解到小王近期的活躍度，并且會(huì)基于活躍度劃分相應(yīng)的等級(jí)，小王的一些偏好也能通過計(jì)算獲得，如小王喜歡看的視頻類型、關(guān)注的商品類型、對(duì)價(jià)格的敏感度、對(duì)不同類型活動(dòng)的喜愛程度等。

? 很多人對(duì)用戶畫像的理解可能就限于此，認(rèn)為用戶畫像只是豐富標(biāo)簽池的過程，所謂的基于用戶畫像分析也不過是將所有的標(biāo)簽數(shù)據(jù)進(jìn)行對(duì)比，得到相關(guān)的結(jié)果，比如男性用戶和女性用戶的占比以及各自的轉(zhuǎn)化率等。實(shí)際上，這只是對(duì)標(biāo)簽數(shù)據(jù)的應(yīng)用，還不能算是用戶畫像層面的應(yīng)用。只有根據(jù)需要將這些標(biāo)簽數(shù)據(jù)進(jìn)行有效的整合，重復(fù)使用這些數(shù)據(jù)，才能算是用戶畫像層面的應(yīng)用。??

Q_3：如何利用標(biāo)簽池中的數(shù)據(jù)，根據(jù)用戶畫像進(jìn)行相應(yīng)的分析？
? 舉例說明，假如現(xiàn)在有一個(gè)新產(chǎn)品需要推薦，目標(biāo)用戶是大城市的白領(lǐng)女性，這時(shí)就要通過標(biāo)簽池中的數(shù)據(jù)來刻畫“大城市的白領(lǐng)女性”這一特征。
首先預(yù)測(cè)性別，篩選出女性用戶，居住在一線城市，然后排除對(duì)價(jià)格敏感度較高的用戶，并且要求近期活躍度偏高。同時(shí)這部分用戶通常對(duì)品質(zhì)要求比較高，因此可以基于此選取出在商品偏好中品質(zhì)占比較高的用戶，這樣就可以刻畫出“大城市的白領(lǐng)女性”這一用戶群體，并且將后續(xù)的活動(dòng)消息優(yōu)先發(fā)送給這部分用戶。
?
用戶畫像在互聯(lián)網(wǎng)公司中應(yīng)用非常廣泛，候選人需要對(duì)用戶畫像有深刻的理解。

完整的數(shù)據(jù)挖掘項(xiàng)目流程

?在工作中運(yùn)用的數(shù)據(jù)挖掘模型要求更加敏捷且可操作性強(qiáng)，也因此需要更加全面地評(píng)估模型并選取合適的模型。一個(gè)完整的數(shù)據(jù)挖掘項(xiàng)目流程分為如下7步。

1. ?分析問題，明確目標(biāo)

?這里以一個(gè)風(fēng)險(xiǎn)訂單識(shí)別模型為例，實(shí)際上很多互聯(lián)網(wǎng)公司都是中間商，需要連接用戶與供應(yīng)商，將用戶的訂單提供給供應(yīng)商，由供應(yīng)商履行訂單。但是在這個(gè)過程中，很容易會(huì)因?yàn)楦鞣N原因使得訂單無(wú)法順利完成，這樣的訂單可以稱為風(fēng)險(xiǎn)訂單。
通過數(shù)據(jù)挖掘模型，可以提前預(yù)估訂單風(fēng)險(xiǎn)的大小，采取有效措施規(guī)避風(fēng)險(xiǎn)，減少風(fēng)險(xiǎn)訂單的數(shù)量。這樣既可以減少經(jīng)濟(jì)損失，又可以提升用戶體驗(yàn)。

2.模型可行性分析

? 并不是所有的問題都需要使用數(shù)據(jù)挖掘模型或者能夠通過數(shù)據(jù)挖掘模型來解決。在建模之前需要進(jìn)行可行性分析，沒有進(jìn)行可行性分析就盲目地套用模型，最終很可能會(huì)導(dǎo)致白白地費(fèi)時(shí)費(fèi)力。

Q_1：在建模之前，需要從哪些方面分析可行性？
? 上述風(fēng)險(xiǎn)訂單識(shí)別問題最終可以被轉(zhuǎn)化為二分類問題，將歷史上的風(fēng)險(xiǎn)訂單標(biāo)記為1，將非風(fēng)險(xiǎn)訂單標(biāo)記為0，通過模型對(duì)所有訂單的風(fēng)險(xiǎn)性進(jìn)行打分，打分區(qū)間為0～1。通過模型訓(xùn)練得到閾值，對(duì)超過閾值的訂單進(jìn)行人工/自動(dòng)干預(yù)，這樣就將業(yè)務(wù)問題轉(zhuǎn)化為了使用模型可以解決的問題。

? 當(dāng)然，雖然可以用模型來解決問題，但是也要考慮兩個(gè)重要因素，即KPI和歷史數(shù)據(jù)量。

KPI（關(guān)鍵績(jī)效指標(biāo)）：在建模前需要明確業(yè)務(wù)方為項(xiàng)目制定的KPI，并且計(jì)算為了實(shí)現(xiàn)KPI模型要達(dá)到的準(zhǔn)確率、召回率等。如果通過計(jì)算得知模型所要達(dá)到的效果是難以實(shí)現(xiàn)的，那么顯然需要調(diào)整KPI或者進(jìn)行其他操作。

歷史數(shù)據(jù)量：這是一個(gè)重要的判斷模型是否可行的因素，再?gòu)?qiáng)大的模型，也需要通過訓(xùn)練足夠的歷史數(shù)據(jù)，從中進(jìn)行學(xué)習(xí)，最終才能輸出相應(yīng)的結(jié)果。當(dāng)歷史數(shù)據(jù)量非常少時(shí)，需要考慮補(bǔ)充數(shù)據(jù)或者選取對(duì)數(shù)據(jù)量要求較低且復(fù)雜度較低的模型。判斷模型可行性的流程如圖5-24所示。

3.選取模型

前面對(duì)一些常見的模型已經(jīng)做了介紹[1 基礎(chǔ)知識(shí)]

4.選擇變量

在確定了模型之后，下一步要做的就是提取并選擇變量。準(zhǔn)備變量的過程也是非常重要的，通過討論變量可以使大家對(duì)業(yè)務(wù)有更深的理解，常見的步驟包括：

• 通過PRD文檔、業(yè)務(wù)方需求文檔，建立變量池；
• 組織變量討論會(huì)，拓寬對(duì)業(yè)務(wù)的認(rèn)知，豐富變量池 ；
• 借助SQL語(yǔ)句從數(shù)據(jù)庫(kù)中提取變量，一小部分?jǐn)?shù)據(jù)由業(yè)務(wù)方直接通過表格提供。

Q_2：常見的變量分類方法有哪些？
T+1變量：前一天或更早的數(shù)據(jù)，主要是歷史數(shù)據(jù)，對(duì)時(shí)效性要求不高。例如：用戶、供應(yīng)商標(biāo)簽畫像數(shù)據(jù)，包括用戶信用等級(jí)、供應(yīng)商合作等級(jí)、規(guī)模大小等；用戶、供應(yīng)商歷史風(fēng)險(xiǎn)訂單及其他相關(guān)數(shù)據(jù)，如供應(yīng)商被投訴情況等。

實(shí)時(shí)變量：短時(shí)間內(nèi)獲取的最新數(shù)據(jù)。通常延遲在5分鐘之內(nèi)，對(duì)實(shí)時(shí)性有較高要求。比如用戶當(dāng)天的行為數(shù)據(jù)，如App的打開、操作數(shù)據(jù)，在條件允許時(shí)可以使用GPS數(shù)據(jù)。還有供應(yīng)商實(shí)時(shí)庫(kù)存緊張程度，通常用0～1之間的值來刻畫。

? 可以參考此前指標(biāo)體系的拓展方法，對(duì)變量也進(jìn)行相應(yīng)的拓展，如以時(shí)間、用戶等維度進(jìn)行拓展，如圖5-25所示。

5.特征工程

在選擇好變量之后，對(duì)這些變量進(jìn)行處理，稱為特征工程。

Q_3：在數(shù)據(jù)挖掘項(xiàng)目中特征工程包括哪些方面？
（1）驗(yàn)證邏輯：這是特征工程中必要的步驟，特別是在添加某一變量使模型效果得到了極大提升之后。常見的邏輯錯(cuò)誤如下：

• 因果關(guān)系倒置，將結(jié)果作為變量放入模型中，例如，通過用戶評(píng)論情況判斷訂單是否被履行，實(shí)際上是后置數(shù)據(jù)，只有訂單被履行的用戶才會(huì)發(fā)表評(píng)論，相當(dāng)于用結(jié)果證明過程。
• 忽略模型上線后變量計(jì)算時(shí)效性.
• 在取數(shù)過程中出現(xiàn)錯(cuò)誤

（2）缺失值處理：對(duì)于一些模型（如XGBoost模型），在符合邏輯、確保缺失值具有一定意義的前提下，可以不做處理，其他情況都需要進(jìn)行處理。在風(fēng)險(xiǎn)訂單模型中，通常服務(wù)統(tǒng)計(jì)指標(biāo)缺失的供應(yīng)商為低頻供應(yīng)商，保留其空值，在一定程度上反而是最好的處理方法。

常見的缺失值處理方法如下：

• 用特定值表示（如-9999）。
• 統(tǒng)計(jì)插值（均值、中值、眾數(shù)），適用于數(shù)值型變量。
• 模型插值：SKNN，參考最臨近的k個(gè)值進(jìn)行填補(bǔ)；EM聚類，選擇不存在缺失值的變量進(jìn)行聚類，根據(jù)所在類的其他值進(jìn)行填補(bǔ)。

（3）異常值處理：判斷業(yè)務(wù)邏輯在取數(shù)計(jì)算過程中是否出現(xiàn)錯(cuò)誤，Hive取數(shù)時(shí)的join操作可能會(huì)因?yàn)?strong>一對(duì)多的對(duì)應(yīng)關(guān)系而出現(xiàn)重復(fù)數(shù)據(jù)，需要隨時(shí)驗(yàn)證數(shù)據(jù)的唯一性。

• 統(tǒng)計(jì)方法：3σ、盒形圖、分位數(shù)。
• 模型方法：iForest（孤立森林），每次隨機(jī)劃分屬性和劃分點(diǎn)（值）時(shí)都是隨機(jī)的，計(jì)算樣本所處節(jié)點(diǎn)的深度，深度越小越可能為異常值。

常見的異常值處理方法如下：

• 刪除異常數(shù)據(jù)所在的記錄。
• 將異常值記為缺失值，用填補(bǔ)缺失值的方法進(jìn)行處理。

6.建立模型&效果評(píng)估

建立模型和效果評(píng)估這部分內(nèi)容在前面的Python、R的章節(jié)中都有所介紹，這里不再贅述。

7.模型上線&迭代

模型線下訓(xùn)練好之后，接下來需要做的就是正式上線。

Q_4：在模型上線前以及上線后，都需要做哪些工作？
? 在模型正式上線前，通常需要將模型封裝成特定的模型文件交由開發(fā)部門，開發(fā)部門定時(shí)調(diào)用模型文件。當(dāng)然，有些模型如線性回歸模型上線時(shí)，就無(wú)須交付模型文件，只需提供變量對(duì)應(yīng)的參數(shù)即可。目前比較常用的方法是將機(jī)器學(xué)習(xí)/數(shù)據(jù)挖掘模型打包成PMML文件。
? ==PMML（Predictive Model Markup Language）==是一種通用的基于XML的預(yù)測(cè)模型標(biāo)記語(yǔ)言，由DMG組織發(fā)布，使用它能夠做到：

• 任何語(yǔ)言都可以調(diào)用模型。
• 不存在調(diào)用的通信消耗。
• 直接部署上線，無(wú)須二次開發(fā)。
• 支持?jǐn)?shù)據(jù)轉(zhuǎn)換，比如標(biāo)準(zhǔn)化與one-hot編碼等。

? 在模型上線前需要提前制定好監(jiān)控策略，保證模型效果在可控范圍內(nèi)。
? 實(shí)際上，模型上線只是整個(gè)環(huán)節(jié)中的一環(huán)，并不代表項(xiàng)目結(jié)束，還要針對(duì)模型上線后的表現(xiàn)進(jìn)行迭代及修正。隨著模型的上線，此前很多有著非常重要作用的變量其重要性逐漸減弱，比如具備某一類屬性的供應(yīng)商因?yàn)槟Ｐ偷纳暇€而被重點(diǎn)監(jiān)控，該屬性之后所起到的重要作用會(huì)有較大的減弱。
? 我們需要時(shí)刻保持對(duì)模型的迭代，并在相應(yīng)的代碼管理平臺(tái)及時(shí)更新代碼，做好模型版本編號(hào)，以此形成一個(gè)完整的閉環(huán)，如圖5-26所示。
文章來源地址http://www.zghlxwxcb.cn/news/detail-411253.html

到了這里，關(guān)于【數(shù)據(jù)分析師求職面試指南】實(shí)戰(zhàn)技能部分的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！