將強(qiáng)化學(xué)習(xí)與機(jī)器學(xué)習(xí)、深度學(xué)習(xí)區(qū)分開的最重要的特征為：它通過訓(xùn)練中信息來評(píng)估所采取的動(dòng)作，而不是給出正確的動(dòng)作進(jìn)行指導(dǎo)，這極大地促進(jìn)了尋找更優(yōu)動(dòng)作的需求。

1、多臂老虎機(jī)（Multi-armed Bandits）問題

賭場的老虎機(jī)有一個(gè)綽號(hào)叫單臂強(qiáng)盜（single-armed bandit），因?yàn)樗词怪挥幸恢桓觳?，也?huì)把你的錢拿走。而一排老虎機(jī)就引申出多臂強(qiáng)盜（多臂老虎機(jī)）。

多臂老虎機(jī)（Multi-armed Bandits）問題可以描述如下：一個(gè)玩家走進(jìn)一個(gè)賭場，賭場里有 $k$ 個(gè)老虎機(jī)，每個(gè)老虎機(jī)的期望收益不一樣。假設(shè)玩家總共可以玩 $t$ 輪， 在每一輪中，玩家可以選擇這 $k$ 個(gè)老虎機(jī)中的任一個(gè)，投入一枚游戲幣，拉動(dòng)搖桿，觀察是否中獎(jiǎng)以及獎(jiǎng)勵(lì)的大小。
問題，玩家采取怎么樣的策略才能最大化這 $t$ 輪的總收益？

$k$ 個(gè)老虎機(jī)（對(duì)應(yīng) $k$ 個(gè)動(dòng)作選擇），每一個(gè)動(dòng)作都有其預(yù)期的獎(jiǎng)勵(lì)，稱其為該動(dòng)作的價(jià)值。記第 $t$ 輪選擇的動(dòng)作為 $A_t$，相應(yīng)的獎(jiǎng)勵(lì)為 $R_t$，那么任意動(dòng)作 $a$ 的價(jià)值記為 $q_{?}(a)$，即動(dòng)作 $a$ 的期望獎(jiǎng)勵(lì)：
$$q_{?}(a)?\mathbb{E}[R_t|A_t=a]$$

如果知道每個(gè)動(dòng)作的價(jià)值，那么問題就簡單了：總是選擇價(jià)值最高的動(dòng)作。如果不知道的話，我們需要對(duì)其進(jìn)行估計(jì)，令動(dòng)作 $a$ 在時(shí)間步長為 $t$ 的價(jià)值估計(jì)為 $Q_t(a)$，我們希望 $Q_t(a)$ 盡可能地接近 $q_{?}(a)$。

2、動(dòng)作價(jià)值方法

通過估計(jì)動(dòng)作價(jià)值，然后依據(jù)動(dòng)作價(jià)值作出動(dòng)作選擇的方法，統(tǒng)稱為動(dòng)作價(jià)值方法。某個(gè)動(dòng)作的真實(shí)價(jià)值應(yīng)當(dāng)是該動(dòng)作被選擇時(shí)的期望獎(jiǎng)勵(lì)，即

其中，若 $A_i=a$，則 ${\mathbb{I}}_{A_i=a}=1$，否則 ${\mathbb{I}}_{A_i=a}=0$，若分母為 0，則定義 $Q_t(a)$ 為一默認(rèn)值（例如 0），根據(jù)大數(shù)定律，當(dāng)分母趨于無窮時(shí)，$Q_t(a)$ 收斂于 $q_{?}(a)$，稱這種方法為樣本平均法（sample-average method），這是估計(jì)動(dòng)作價(jià)值的一種方法，當(dāng)然并不一定是最好的方法，下面我們使用該方法來解決問題。

最簡單的動(dòng)作選擇就是選擇價(jià)值估計(jì)值最大的動(dòng)作，稱為貪心方法，其數(shù)學(xué)表示為：
$$A_t?\underset{a}{\mathrm{argmax}}{Q}_t(a)$$

另一種替代的方法是，大多數(shù)情況是貪心的，偶爾從動(dòng)作空間中隨機(jī)選擇，稱為 $?$ -貪心方法。這種方法的優(yōu)點(diǎn)是，隨著步數(shù)增加，每個(gè)動(dòng)作會(huì)被無限采樣，則 $Q_t(a)$ 會(huì)逐漸收斂到 $q_{?}(a)$，也意味著選擇最優(yōu)動(dòng)作的概率收斂到 $1??$。

3、貪心動(dòng)作價(jià)值方法有效性

在 2000 個(gè)隨機(jī)生成的 10 臂老虎機(jī)問題中，其動(dòng)作價(jià)值 $q_{?}(a),a=1,?,10$，服從期望為 0，方差為 1的正態(tài)分布；另外每次動(dòng)作 $A_t$ 的實(shí)際獎(jiǎng)勵(lì) $R_t$ 服從期望為 $q_{?}(A_t)$ ，方差為 1 的正態(tài)分布。

部分代碼

import numpy as np

step = 1000
q_true = np.random.normal(0, 1, 10)  # 真實(shí)的動(dòng)作價(jià)值
q_estimate = np.zeros(10)  # 估計(jì)的動(dòng)作價(jià)值
epsilon = 0.9  # 貪心概率
action_space = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
action_count = np.zeros(10)
reward_sum = 0
for i in range(step):
    if (np.random.uniform() > epsilon1) or (q_estimate1.all() == 0):
        machine_name = np.random.choice(action_space)
        reward_sum += np.random.normal(q_true[machine_name], 1, 1)
        action_count[machine_name] += 1
        q_estimate[machine_name] = reward_sum / action_count[machine_name]
    else:
	    machine_name = np.argmax(q_estimate)
	    reward_sum += np.random.normal(q_true[machine_name], 1, 1)
	    action_count[machine_name] += 1
	    q_estimate[machine_name] = reward_sum / action_count[machine_name]

文章來源地址http://www.zghlxwxcb.cn/news/detail-801892.html

到了這里，關(guān)于強(qiáng)化學(xué)習(xí)（二）多臂老虎機(jī) “Multi-armed Bandits”——1的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！