强化學習——策略梯度理解點

策略梯度計算公式

目的是最大化reward函數，即調整 θ ，使得期望回報最大，可以用公式錶示如下
$$\mathrm{J}(\theta )={\mathrm{E}}_{\tau \sim p}(\mathcal{T})\left[\sum _{\mathrm{t}}\mathrm{r}\left({\mathrm{s}}_t,{\mathrm{a}}_{\mathrm{t}}\right)\right]$$
對於上面的式子， $\tau$ 錶示從從開始到結束的一條完整路徑。通常，對於最大化問題，我們可以使用梯度上昇算法來找到最大值，即
$${\theta }^{\ast }=\theta +\alpha \nabla \mathrm{J}(\theta )$$
所以我們僅僅需要計算 (更新) $\nabla J(\theta )$ ，也就是計算回報函數 $J(\theta )$ 關於 $\theta$ 的梯度，也就是策略梯度，計算方法如下:
$$\begin{array}{rl}{\nabla }_{\theta }\mathrm{J}(\theta )& =\int {\nabla }_{\theta {\mathrm{p}}_{\theta }}(\tau )\mathrm{r}(\tau ){\mathrm{d}}_{\tau }\\ & =\int {\mathrm{p}}_{\theta }{\nabla }_{\theta }\log {\mathrm{p}}_{\theta }(\tau )\mathrm{r}(\tau ){\mathrm{d}}_{\tau }\\ & ={\mathrm{E}}_{\tau \sim \mathrm{p}\theta (\tau )}\left[{\nabla }_{\theta }\log {\mathrm{p}}_{\theta }(\tau )\mathrm{r}(\tau )\right]\end{array}$$
接著我們繼續講上式展開，對於 ${\mathrm{p}}_{\theta }(\tau )$ ，即 ${\mathrm{p}}_{\theta }(\tau \mid \theta )$ :
$${\mathrm{p}}_{\theta }(\tau \mid \theta )=\mathrm{p}\left({\mathrm{s}}_1\right)\prod _{t=1}^{\mathrm{T}}{\pi }_{\theta }\left({\mathrm{a}}_t\mid {\mathrm{s}}_{\mathrm{t}}\right)\mathrm{p}\left({\mathrm{s}}_{t+1}\mid {\mathrm{s}}_t,{\mathrm{a}}_{\mathrm{t}}\right)$$
取對數後為：
$$\log p_{\theta }(\tau \mid \theta )=\log p\left(s_1\right)+\sum _{t=1}^T\log {\pi }_{\theta }\left(a_t\mid s_t\right)p\left(s_{t+1}\mid s_t,a_t\right)$$
繼續求導:
$$\nabla \log p_{\theta }(\tau \mid \theta )=\sum _{t=1}^T{\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)$$
帶入第三個式子，可以將其化簡為:
$$\begin{array}{rl}{\nabla }_{\theta }\mathrm{J}(\theta )& ={\mathrm{E}}_{\tau \sim p\theta (\tau )}\left[{\nabla }_{\theta }\log {\mathrm{p}}_{\theta }(\tau )\mathrm{r}(\tau )\right]\\ & ={\mathrm{E}}_{\tau \sim p\theta }\left[\left({\nabla }_{\theta }\log {\pi }_{\theta }\left({\mathrm{a}}_{\mathrm{t}}\mid {\mathrm{s}}_{\mathrm{t}}\right)\right)\left(\sum _{\mathrm{t}=1}^{\mathrm{T}}\mathrm{r}\left({\mathrm{s}}_{\mathrm{t}},{\mathrm{a}}_{\mathrm{t}}\right)\right)\right]\\ & =\frac{1}{N}\sum _{\mathrm{i}=1}^{\mathrm{N}}\left[\left(\sum _{\mathrm{t}=1}^{\mathrm{T}}{\nabla }_{\theta }\log {\pi }_{\theta }\left({\mathrm{a}}_{\mathrm{i},\mathrm{t}}\mid {\mathrm{s}}_{\mathrm{i},\mathrm{t}}\right)\right)\left(\sum _{\mathrm{t}=1}^{\mathrm{N}}\mathrm{r}\left({\mathrm{s}}_{\mathrm{i},\mathrm{t}},{\mathrm{a}}_{\mathrm{i},\mathrm{t}}\right)\right)\right]\end{array}$$

重要性重采樣

使用另外一種數據分布，來逼近所求分布的一種方法，算是一種期望修正的方法，公式是:
$$\begin{array}{rl}\int \mathrm{f}(\mathrm{x})\mathrm{p}(\mathrm{x})\mathrm{dx}& =\int \mathrm{f}(\mathrm{x})\frac{\mathrm{p}(\mathrm{x})}{\mathrm{q}(\mathrm{x})}\mathrm{q}(\mathrm{x})\mathrm{dx}\\ & ={\mathrm{E}}_{\mathrm{x}\sim \mathrm{q}}\left[\mathrm{f}(\mathrm{x})\frac{\mathrm{p}(\mathrm{x})}{\mathrm{q}(\mathrm{x})}\right]\\ & ={\mathrm{E}}_{\mathrm{x}\sim \mathrm{p}}[\mathrm{f}(\mathrm{x})]\end{array}$$
在已知 $q$ 的分布後，可以使用上述公式計算出從 p 分布的期望值。也就可以使用 $q$ 來對於 p 進行采樣了，即為重要性采樣。