導(dǎo)讀：走向身邊的AB實(shí)驗(yàn)。

作者：木羊同學(xué)

來(lái)源：大數(shù)據(jù)DT（ID：hzdashuju）

“AB實(shí)驗(yàn)”是一個(gè)從統(tǒng)計(jì)學(xué)中借來(lái)的工具。我和大家一樣，每次只要看到“統(tǒng)計(jì)學(xué)”這三個(gè)字，下意識(shí)就覺(jué)得這事和我沒(méi)啥關(guān)系，然后手就忍不住想要點(diǎn)擊下一條文章。不過(guò)且慢，開(kāi)篇我說(shuō)AB實(shí)驗(yàn)是一個(gè)從統(tǒng)計(jì)學(xué)中借來(lái)的工具，借來(lái)給誰(shuí)用呢？給我們自己用。所以下面不會(huì)介紹太多的統(tǒng)計(jì)學(xué)知識(shí)，主要講講AB實(shí)驗(yàn)?zāi)芎臀覀儼l(fā)生怎樣的故事。

01 什么是AB實(shí)驗(yàn)

開(kāi)始之前總得介紹兩句什么是AB實(shí)驗(yàn)。簡(jiǎn)單來(lái)說(shuō)，AB實(shí)驗(yàn)就是“對(duì)照”，過(guò)程分三步：首先設(shè)置實(shí)驗(yàn)組和對(duì)照組，然后用一段時(shí)間來(lái)收集數(shù)據(jù)，最后比較二者的不同效果。所以，AB實(shí)驗(yàn)也叫“對(duì)照實(shí)驗(yàn)”。

臨床醫(yī)學(xué)上有個(gè)詞叫雙盲測(cè)試，隨機(jī)將病人分成兩組，分別服用實(shí)驗(yàn)藥品和安慰劑，經(jīng)過(guò)一段時(shí)間后比照兩組的治療效果。這就是AB實(shí)驗(yàn)的最早來(lái)源。

這些都是很熟悉的詞，原理也不復(fù)雜，相信大家都理解了什么是AB實(shí)驗(yàn)。不過(guò)，這里有個(gè)陷阱。如果真的以為AB實(shí)驗(yàn)只能用于在實(shí)驗(yàn)室里做實(shí)驗(yàn)，是那些穿白大褂的人才需要關(guān)注的事，那就被名字給騙了。

AB實(shí)驗(yàn)遠(yuǎn)不止于實(shí)驗(yàn)。AB實(shí)驗(yàn)有兩個(gè)核心價(jià)值：定性因果和定量增長(zhǎng)。這兩個(gè)詞可能過(guò)于正式，我覺(jué)得不妨換另外四個(gè)字概括，那就是“減少爭(zhēng)執(zhí)”。

02 爭(zhēng)執(zhí)之源

我們都不喜歡爭(zhēng)執(zhí)，但我們又都免不了爭(zhēng)執(zhí)，究其原因恐怕是觀點(diǎn)難免存在沖突。拿件具體的事說(shuō)吧，現(xiàn)在準(zhǔn)備開(kāi)發(fā)一款產(chǎn)品，開(kāi)始大家目標(biāo)很一致，那就是成功。不過(guò)，接下來(lái)分歧就來(lái)了。什么樣的產(chǎn)品才能取得成功呢？眾多紛紜，大家心目中的成功產(chǎn)品都不一樣，甚至還有矛盾之處，然后就開(kāi)始了爭(zhēng)執(zhí)。

我們經(jīng)常能看到一些分析，說(shuō)某某產(chǎn)品的成功因素是什么什么，感覺(jué)這個(gè)時(shí)代已經(jīng)把通往成功的道路都統(tǒng)統(tǒng)標(biāo)繪了出來(lái)，或者干脆就有一本《成功字典》，要成功只要照著查就行。

但是，事實(shí)真的如此嗎？市場(chǎng)不斷推出新的產(chǎn)品，許多最終都不怎么成功。雖然老話常說(shuō)“失敗是成功之母”，不過(guò)，應(yīng)該沒(méi)有哪個(gè)產(chǎn)品是抱著給成功當(dāng)媽的決心推出市場(chǎng)的。既然大家都想成功，似乎大家也都知道該怎么成功，那為什么還會(huì)失敗呢？

失敗如果沒(méi)有立即失業(yè)，那么通常是要開(kāi)一個(gè)總結(jié)會(huì)的，總結(jié)一下到底是什么原因?qū)е铝耸?。失敗的總結(jié)會(huì)是很不好開(kāi)的，開(kāi)著開(kāi)著可能就變成各個(gè)部門(mén)扯皮推諉。那么，成功的總結(jié)會(huì)好不好開(kāi)呢？也不好開(kāi)，不同部門(mén)也會(huì)各自邀功，都說(shuō)這次的成功主要是自己某某工作的結(jié)果。

什么導(dǎo)致失敗，什么導(dǎo)致成功，這些都是定性因果。如果再在定性因果上加上量的變化關(guān)系，譬如說(shuō)已知因素A導(dǎo)致因素B，現(xiàn)在A增加了5個(gè)單位，想要知道B能增加幾個(gè)單位，這就是定量增長(zhǎng)。

定性因果和定量增加都是企業(yè)關(guān)注的問(wèn)題，特別是現(xiàn)在都在提企業(yè)數(shù)字化轉(zhuǎn)型，如果各條業(yè)務(wù)線都能建立量化因果模型，那么，接下來(lái)用數(shù)據(jù)驅(qū)動(dòng)增長(zhǎng)自然水到渠成。

但是，這很不容易，定性因果首先就很不容易，而且很容易成為爭(zhēng)執(zhí)的源頭。企業(yè)都開(kāi)總結(jié)會(huì)，但是不同人不同部門(mén)總結(jié)的因果關(guān)系很可能都不一樣。同一個(gè)產(chǎn)品成功了，甲部門(mén)說(shuō)是因?yàn)锳、B、C三點(diǎn)，乙部門(mén)說(shuō)是因?yàn)镈、E兩點(diǎn)，又說(shuō)要不是因?yàn)橛蠧，結(jié)果還會(huì)更好一些。

大家觀點(diǎn)不一樣，甚至還有沖突，結(jié)果自然只能爭(zhēng)執(zhí)，一旦牽扯了部門(mén)利益，要找到一個(gè)大家都能接受的觀點(diǎn)就更不容易——再說(shuō)了，大家都能接受就表示是正確了嗎？

03 選擇之困

總結(jié)因果當(dāng)然不僅僅只是為了總結(jié)因果，還將影響一個(gè)更大的問(wèn)題，那就是選擇。做一款產(chǎn)品有很多的環(huán)節(jié)需要我們選擇，如果還是重要環(huán)節(jié)，那我們要做的選擇就叫做重要決策。決策的好壞，可能直接決定了這款產(chǎn)品的生死。

據(jù)說(shuō)很多現(xiàn)代人都得了一個(gè)不是病癥的病癥，叫選擇困難癥。選擇困難嗎？困難，也不困難。在游戲里面，每一個(gè)選項(xiàng)后面都標(biāo)識(shí)了效果，譬如說(shuō)這個(gè)加3點(diǎn)攻擊力，那個(gè)加1點(diǎn)生命值，選了之后有哪些效果一清二楚。

可惜，現(xiàn)實(shí)不是這樣的，選項(xiàng)后面可沒(méi)有那些閃閃發(fā)光的標(biāo)記。當(dāng)然，我們還是會(huì)想知道該怎么選，也想出了一些辦法，主要來(lái)說(shuō)有兩種。一種叫集思廣益，讓大家來(lái)選。召開(kāi)一個(gè)討論會(huì)讓大家發(fā)表意見(jiàn)，不過(guò)，原意是想從四個(gè)選項(xiàng)中選一個(gè)，結(jié)果經(jīng)過(guò)一番唇槍舌戰(zhàn)，選項(xiàng)又多了三個(gè)。

況且，對(duì)于產(chǎn)品設(shè)計(jì)來(lái)說(shuō)，人多并不意味著正確。有一個(gè)詞叫“委員會(huì)設(shè)計(jì)”（Design by committee），聽(tīng)起來(lái)像是夸獎(jiǎng)，但其實(shí)是個(gè)貶義詞。一個(gè)產(chǎn)品為了妥協(xié)多方意見(jiàn)，最終導(dǎo)致臃腫不堪，我們就會(huì)把它稱(chēng)為委員會(huì)設(shè)計(jì)。

類(lèi)似的案例有很多，有時(shí)你會(huì)遇到一些產(chǎn)品，設(shè)計(jì)雜亂無(wú)章，看起來(lái)像是鐵了心要得罪評(píng)審老師的畢業(yè)設(shè)計(jì)，但一看名字居然是出自某個(gè)知名大企業(yè)，不用感到太過(guò)意外，也許你遇到的就是“委員會(huì)設(shè)計(jì)”。

那另一種方式就是叫領(lǐng)導(dǎo)拍板，讓領(lǐng)導(dǎo)來(lái)選。這里的“領(lǐng)導(dǎo)”不只是行政上的領(lǐng)導(dǎo)，也包括權(quán)威專(zhuān)家。領(lǐng)導(dǎo)知道的總是要多一點(diǎn)，是不是總結(jié)因果的水平也更高一些呢？

不能說(shuō)錯(cuò)，但肯定不對(duì)，因?yàn)樘觳乓彩菚?huì)犯錯(cuò)的。譬如說(shuō)喬布斯，最初iMac在選擇外殼時(shí)有幾種方案，其中一種是采用半透明塑料制作，樣子非常好看，但成本是其它的三倍。大家都反對(duì)，喬布斯力排眾議選擇了這個(gè)方案，最終iMac大獲成功，還奠定了蘋(píng)果“設(shè)計(jì)優(yōu)先”的傳統(tǒng)。

這似乎是一個(gè)領(lǐng)導(dǎo)拍板的成功案例。不過(guò)，我們反過(guò)來(lái)想一下，假如iMac最終慘敗收?qǐng)觯虑闀?huì)變成怎樣呢？后人再說(shuō)這件事的時(shí)候，就變成了喬布斯“一意孤行”，大家已經(jīng)正確預(yù)判到了結(jié)果，但他置若罔聞，最終翻車(chē)也就理所當(dāng)然。

這并不完全是假設(shè)。了解的同學(xué)應(yīng)該知道，蘋(píng)果也好喬布斯本人也好，都是狠狠地翻過(guò)幾次車(chē)的，原因正是喬布斯“一意孤行”。讀到這里我總是會(huì)想，“力排眾議”和“一意孤行”有沒(méi)有可能說(shuō)的根本就是同一件事。不過(guò)無(wú)論怎樣，哪怕領(lǐng)導(dǎo)水平真的很高，交給領(lǐng)導(dǎo)選擇也未必就能十拿九穩(wěn)。

04 事實(shí)之選

交給大家來(lái)選不行，交給領(lǐng)導(dǎo)來(lái)選也不行，難道就沒(méi)有更科學(xué)的方法了嗎？有的，就是AB實(shí)驗(yàn)，交給事實(shí)來(lái)選。

前面我們說(shuō)AB實(shí)驗(yàn)?zāi)軠p少爭(zhēng)執(zhí)，為什么？因?yàn)橛幸痪湓捊小笆聦?shí)勝于雄辯”。你說(shuō)A是成功因素，那么好，我們就來(lái)做實(shí)驗(yàn)，一組有A一組沒(méi)A，看看最后哪組的效果好。如果事實(shí)證明沒(méi)A的效果更好，那應(yīng)該也沒(méi)誰(shuí)愿意再花口舌去爭(zhēng)論了。

選擇也一樣。領(lǐng)導(dǎo)不一定是對(duì)的，大家也不一定是對(duì)的，但事實(shí)一定是對(duì)的。把選擇權(quán)交給事實(shí)，結(jié)果也許不一定符合期望，但一定符合事實(shí)。

Bing是一家知名的搜索引擎，搜索引擎是靠用戶(hù)點(diǎn)擊廣告獲得收益。某天一位員工提出“將標(biāo)題下的第一行文字合并到標(biāo)題行，形成長(zhǎng)標(biāo)題”能夠增加用戶(hù)點(diǎn)擊率，這條建議實(shí)在過(guò)于無(wú)厘頭，大家紛紛打出了“哈哈哈”表示不信。不過(guò)，Bing最終還是抽空真的試了試，結(jié)果效果拔群。這就是事實(shí)。

AB實(shí)驗(yàn)絕不僅僅只是實(shí)驗(yàn)室里白大褂們的專(zhuān)利，有著更為廣闊的應(yīng)用空間。當(dāng)然，AB實(shí)驗(yàn)既然來(lái)自統(tǒng)計(jì)學(xué)，免不了有很多復(fù)雜的因素影響結(jié)果的客觀，而AB實(shí)驗(yàn)作為實(shí)驗(yàn)，自然還有很多現(xiàn)實(shí)的情況需要加以考慮，怎樣組織AB實(shí)驗(yàn)又是另一件不亞于選擇的頭疼事情。我推薦看一本書(shū)《AB實(shí)驗(yàn)》，更系統(tǒng)地了解AB實(shí)驗(yàn)方方面面的內(nèi)容。

關(guān)于作者：莫凡，網(wǎng)名木羊同學(xué)。娛樂(lè)向機(jī)器學(xué)習(xí)解說(shuō)選手，《機(jī)器學(xué)習(xí)算法的數(shù)學(xué)解析與Python實(shí)現(xiàn)》作者，前沿技術(shù)發(fā)展觀潮者，擅長(zhǎng)高冷技術(shù)的“白菜化”解說(shuō)，微信公眾號(hào)“睡前機(jī)器學(xué)習(xí)”，個(gè)人知乎號(hào)“木羊”。

延伸閱讀??

《AB實(shí)驗(yàn)：科學(xué)歸因與增長(zhǎng)的利器》

點(diǎn)擊上圖了解及購(gòu)買(mǎi)

轉(zhuǎn)載請(qǐng)聯(lián)系微信：DoctorData

推薦語(yǔ)：BAT資深數(shù)據(jù)科學(xué)家10余年AB實(shí)驗(yàn)工程經(jīng)驗(yàn)總結(jié)，系統(tǒng)闡釋AB實(shí)驗(yàn)原理、方法和增長(zhǎng)實(shí)踐，融合全球優(yōu)秀企業(yè)經(jīng)驗(yàn)。

刷刷視頻??

▲終于有人把AB實(shí)驗(yàn)講明白了

關(guān)注數(shù)據(jù)叔視頻號(hào)，看更多干貨視頻??

干貨直達(dá)??

• 云計(jì)算的發(fā)展現(xiàn)狀及未來(lái)
  

• 什么是一網(wǎng)統(tǒng)管？終于有人講明白了

• 揭秘短視頻推薦系統(tǒng)的技術(shù)架構(gòu)及四大模塊

• 終于有人把分布式機(jī)器學(xué)習(xí)講明白了

據(jù)統(tǒng)計(jì)，99%的大咖都關(guān)注了這個(gè)公眾號(hào)

??文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-498564.html