一. 概述

編程實驗：指的是通過代碼編程進行AB實驗，廣泛使用于前端優(yōu)化、策略優(yōu)化和后端算法優(yōu)化多種實驗場景，包含客戶端和服務(wù)端實驗。 前置條件：接入客戶端SDK或者服務(wù)端SDK，詳見：應(yīng)用接入

二. 應(yīng)用場景

如何選擇實驗類型？適用場景是什么？

• 服務(wù)端實驗 ：指通過服務(wù)端獲取實驗分組信息并控制配置生效或下發(fā)的實驗。

  • 部分功能只能由服務(wù)端來控制，比如內(nèi)容分發(fā)算法（如用戶打開今日頭條以后在feed流中會看見什么內(nèi)容）、由服務(wù)端邏輯控制的產(chǎn)品功能（如推送）等。

  • 不要求喚起APP時就使實驗配置生效?？蛻舳擞谐浞謺r間向服務(wù)端發(fā)起請求，獲得實驗配置后再向用戶展示策略。

• 客戶端實驗 ：指通過客戶端獲取實驗分組信息并控制配置生效的實驗。

  • 部分功能只能通過客戶端控制，比如客戶端的UI樣式、交互功能設(shè)計等。

  • APP喚起時，配置即需生效。比如我們要針對APP的開屏頁面進行A/B實驗，用戶剛剛打開APP，客戶端就需要向用戶展現(xiàn)開屏界面了。這種情況下客戶端可能來不及向服務(wù)端請求配置參數(shù)。

三. 操作說明

在實驗列表頁點擊“+創(chuàng)建實驗”，選擇編程實驗，進入實驗創(chuàng)建流程：

3.1 創(chuàng)建實驗

3.1.1 輸入基本信息

實驗名稱 ：實驗名稱建議取與實驗內(nèi)容相關(guān)的名稱，如有實驗版本迭代可以增加版本號后綴，讓你的伙伴能夠快速了解到實驗是做什么的、是在哪個迭代版本的。

實驗描述 ：實驗內(nèi)容簡述，可以讓項目相關(guān)人員更清晰地知道到這個實驗是如何做的，解決什么問題，同時也便于后期查看和管理歷史實驗時一目了然。

實驗類型 ：客戶端實驗、服務(wù)端實驗。

實驗時長 ：指實驗開啟的時間，一般為了避免工作日與周末的用戶行為差異，至少觀察 2 個完整周(14天)

實驗標簽：可以給實驗打上自定義或者通用標簽，用于篩選、歸類實驗。

實驗負責(zé)人：默認為實驗創(chuàng)建者。

3.1.2 設(shè)置生效策略

是否互斥：當(dāng)前實驗是否需要與其他實驗互斥來避免同一個用戶進入兩個會相互影響的實驗時可以選擇手動創(chuàng)建。例如，你要同時做按鈕顏色和按鈕形狀的實驗，就需要將兩個實驗加入到一個互斥組列表。了解更多互斥組相關(guān)內(nèi)容及如何創(chuàng)建互斥組可查看：互斥組

實驗流量：生效實驗的用戶占滿足用戶受眾用戶比例。系統(tǒng)默認為100%流量，您可以通過建議工具（點擊流量計算器）來看設(shè)置多少流量合適。詳見：實驗流量建議工具

用戶受眾規(guī)則：通過請求參數(shù)、用戶分群等來圈選你的實驗是面向哪些用戶生效的。

體驗一致性：保障同一個用戶只進入一個實驗版本。開啟后，用戶只要進過當(dāng)前實驗版本(除非暫停，關(guān)閉實驗)，就不再出實驗。各實驗版本流量權(quán)重變更后，歷史進組用戶不會受到影響，只會影響已分配但未進組的用戶，以及未分配的用戶。

3.1.3 配置實驗版本

測試用戶命中條件：測試用戶的命中邏輯是否忽略發(fā)布受眾的過濾條件，默認為"無需滿足"。

是否關(guān)聯(lián)Feature：選擇關(guān)聯(lián)后，可以將實驗與 Feature 版本進行綁定，方便后續(xù)全量管理。

實驗版本/對照版本選擇：對照版本一般是當(dāng)前的策略，實驗版本一般是我們想要嘗試的新策略，同時可以修改版本的名稱。

實驗配置參數(shù)：填寫在調(diào)用AB時需要獲取的實驗配置參數(shù)，用來區(qū)分當(dāng)前用戶命中的不同的實驗策略。

測試用戶：創(chuàng)建實驗后進行測試實驗的用戶ID列表。在實驗正式開啟之前，通常需要先選擇幾名用戶進入測試階段，觀察實驗是否能夠正常獲取想要收集的數(shù)據(jù)，或客戶端是否有bug等。

添加實驗版本：點擊后可新增一個實驗版本。

實驗組流量比例分配：用戶命中實驗后，不同實驗版本之間分配的流量比例。

3.1.4 實驗指標

實驗指標可以衡量實驗成功與否，實驗開始后，在實驗報告頁面可以看到關(guān)注指標在實驗版本和對照版本的對比，在這一步，需要選擇實驗關(guān)注指標。

核心指標配置：用來決策實驗功能是否符合預(yù)期的「直接效果指標」或「成功指標」。更多查看確定評估指標。

監(jiān)控報警：可選擇目標指標點擊“監(jiān)控報警”，填寫具體需要的報警策略，選擇是否勾選“效果顯著”，以及選擇報警策略的生效方式。

編輯指標：點擊圖例中3位置處可進入指標編輯頁面，對可指標進行名稱、指標類型、是否設(shè)為必看指標等進行編輯。

關(guān)注指標配置：對需要關(guān)注的指標進行配置。

移除指標：移除指標，則在實驗報告看不到該指標的數(shù)據(jù)。

新建指標：可新建一個需要查看的指標。

置信水平：置信水平（也稱置信度、置信系數(shù)、統(tǒng)計顯著性），是指實驗組與對照組之間存在真正性能差異的概率。例如在置信水平是95%的情況下，如果某個實驗指標的置信度p值<0.05，則說明這個指標相比對照組，是有顯著(超過置信水平)差異的。 如需設(shè)置置信水平參數(shù)值，則需聯(lián)系集團管理員或應(yīng)用管理員，前往“系統(tǒng)管理-置信水平設(shè)置”進行設(shè)置。

3.2 開啟實驗

實驗調(diào)試完畢，在實驗列表頁點擊“開始”，即可開啟實驗。實驗開始后，進組用戶可實時查看，指標置信度第二日產(chǎn)出。如下圖：文章來源地址http://www.zghlxwxcb.cn/news/detail-490672.html

到了這里，關(guān)于一文讀懂火山引擎A/B測試的實驗類型（1）——編程實驗的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！