정책 경사법

정책 경사법(Policy gradient methods)은 강화 학습 알고리즘의 한 종류이자 정책 최적화 방법의 하위 분류이다. 정책을 도출하기 위해 가치 함수를 학습하는 가치 기반 방법과 달리, 정책 최적화 방법은 가치 함수를 참조하지 않고 행동을 선택하는 정책 함수 $\pi$를 직접 학습한다. 정책 경사를 적용하려면 정책 함수 $\pi _{\theta }$가 미분 가능한 매개변수 $\theta$에 의해 매개변수화되어야 한다.

개요

정책 기반 강화 학습에서 에이전트(actor)는 매개변수화된 정책 함수 $\pi _{\theta }$이며, 여기서 $\theta$는 에이전트의 매개변수이다. 에이전트는 환경의 상태 $s$를 인자로 받아 확률 분포 $\pi _{\theta }(\cdot \mid s)$를 생성한다.

행동 공간이 이산적이면 $\sum _{a}\pi _{\theta }(a\mid s)=1$이다. 행동 공간이 연속적이면 $\int _{a}\pi _{\theta }(a\mid s)\mathrm {d} a=1$이다.

정책 최적화의 목표는 기대 에피소드 보상 $J(\theta )$를 최대화하는 $\theta$를 찾는 것이다:$$J(\theta )=\mathbb {E} _{\pi _{\theta }}\left[\sum _{t=0}^{T}\gamma ^{t}R_{t}{\Big |}S_{0}=s_{0}\right]$$여기서 $\gamma$는 할인 인자, $R_{t}$는 단계 $t$에서의 보상, $s_{0}$는 시작 상태, $T$는 시간 지평(무한대일 수 있음)이다.

정책 경사는 $\nabla _{\theta }J(\theta )$로 정의된다. 다양한 정책 경사법은 정책 경사를 서로 다른 방식으로 확률적으로 추정한다. 모든 정책 경사법의 목표는 경사 상승법을 통해 $J(\theta )$를 반복적으로 최대화하는 것이다. 모든 정책 경사법의 핵심은 정책 경사의 확률적 추정이므로, 이들은 "몬테카를로 경사 추정"이라는 제목으로도 연구된다.

REINFORCE

정책 경사

1992년 로널드 J. 윌리엄스가 도입한 REINFORCE 알고리즘은 최초의 정책 경사법이다. 이는 정책 경사에 대한 항등식에 기반한다.$$\nabla _{\theta }J(\theta )=\mathbb {E} _{\pi _{\theta }}\left[\sum _{t=0}^{T}\nabla _{\theta }\ln \pi _{\theta }(A_{t}\mid S_{t})\;\sum _{t=0}^{T}(\gamma ^{t}R_{t}){\Big |}S_{0}=s_{0}\right]$$ 이는 "인과관계 트릭(causality trick)", 즉 해당 시점 이후의 보상으로만 각 행동에 가중치를 부여함으로써 개선될 수 있다.$$\nabla _{\theta }J(\theta )=\mathbb {E} _{\pi _{\theta }}\left[\sum _{t=0}^{T}\nabla _{\theta }\ln \pi _{\theta }(A_{t}\mid S_{t})\sum _{\tau =t}^{T}(\gamma ^{\tau }R_{\tau }){\Big |}S_{0}=s_{0}\right]$$

보조정리—점수 함수의 기댓값은 현재 또는 과거의 상태를 조건으로 할 때 0이다. 즉, 임의의 $0\leq i\leq j\leq T$와 임의의 상태 $s_{i}$에 대해 다음이 성립한다. $$\mathbb {E} _{\pi _{\theta }}[\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j})|S_{i}=s_{i}]=0.$$

또한, $\Psi _{i}$가 $A_{i},S_{i+1},A_{i+1},\dots$와 독립인 확률 변수라면 다음이 성립한다. $$\mathbb {E} _{\pi _{\theta }}[\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j})\cdot \Psi _{i}|S_{i}=s_{i}]=0.$$

증명

보조정리의 증명

재매개변수화 트릭을 사용한다.

$${\begin{aligned}\mathbb {E} _{\pi _{\theta }}[\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j})|S_{i}=s_{i}]&=\sum _{s}Pr(S_{j}=s|S_{i}=s_{i})\sum _{a}\pi _{\theta }(a|s)\nabla _{\theta }\ln \pi _{\theta }(a|s)\\&=\sum _{s}Pr(S_{j}=s|S_{i}=s_{i})\sum _{a}\pi _{\theta }(a|s){\frac {\nabla _{\theta }\pi _{\theta }(a|s)}{\pi _{\theta }(a|s)}}\\&=\sum _{s}Pr(S_{j}=s|S_{i}=s_{i})\sum _{a}\nabla _{\theta }\pi _{\theta }(a|s)\\&=\sum _{s}Pr(S_{j}=s|S_{i}=s_{i})\nabla _{\theta }\sum _{a}\pi _{\theta }(a|s)\end{aligned}}$$정책 $\pi _{\theta }(a|s)$는 주어진 상태에 대한 행동의 확률 분포이므로, ${\textstyle \sum _{a}\pi _{\theta }(a|s)=1}$이다.$${\begin{aligned}\mathbb {E} _{\pi _{\theta }}[\nabla _{\theta }\ln \pi _{\theta }(A|S)]&=\sum _{s}Pr(S_{j}=s|S_{i}=s_{i})\nabla _{\theta }(1)\\&=\sum _{s}Pr(S_{j}=s|S_{i}=s_{i})0\\&=0\end{aligned}}$$

반복 기댓값 법칙과 이전 보조정리에 의해,

$${\begin{aligned}\mathbb {E} _{\pi _{\theta }}\left[\Psi _{i}\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j}){\Big |}S_{i}=s_{i}\right]&=\mathbb {E} _{\pi _{\theta }}\left[\mathbb {E} _{\pi _{\theta }}[\Psi _{i}\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j})|S_{j}]{\Big |}S_{i}=s_{i}\right]\\&=\mathbb {E} _{\pi _{\theta }}\left[\Psi _{i}\mathbb {E} _{\pi _{\theta }}[\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j})|S_{j}]{\Big |}S_{i}=s_{i}\right]\\&=\mathbb {E} _{\pi _{\theta }}\left[\Psi _{i}0{\Big |}S_{i}=s_{i}\right]\\&=0\end{aligned}}$$

두 항등식의 증명

재매개변수화 트릭을 적용하면,

$${\begin{aligned}\nabla _{\theta }J(\theta )&=\nabla _{\theta }\mathbb {E} _{\pi _{\theta }}\left[\sum _{i\in 0:T}\gamma ^{i}R_{i}{\Big |}S_{0}=s_{0}\right]\\&=\mathbb {E} _{\pi _{\theta }}\left[\left(\sum _{i\in 0:T}\gamma ^{i}R_{i}\right)\nabla _{\theta }\ln(\pi _{\theta }(A_{0},A_{1},\dots ,A_{T}|S_{0},S_{1},\dots ,S_{T})){\Big |}S_{0}=s_{0}\right]\\&=\mathbb {E} _{\pi _{\theta }}\left[\left(\sum _{i\in 0:T}\gamma ^{i}R_{i}\right)\sum _{j\in 0:T}\nabla _{\theta }\ln(\pi _{\theta }(A_{j}|S_{j})){\Big |}S_{0}=s_{0}\right]\\&=\mathbb {E} _{\pi _{\theta }}\left[\sum _{i,j\in 0:T}(\gamma ^{i}R_{i})\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j}){\Big |}S_{0}=s_{0}\right]\end{aligned}}$$ 이것이 첫 번째 방정식이다.

보조정리에 의해 $\mathbb {E} _{\pi _{\theta }}\left[(\gamma ^{i}R_{i})\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j}){\Big |}S_{0}=s_{0}\right]=0$이다(임의의 ${\textstyle 0\leq i$에 대하여). 이를 이전 공식에 대입하면 항의 삼각형 부분이 0이 되어 다음을 얻는다.$${\begin{aligned}\nabla _{\theta }J(\theta )&=\mathbb {E} _{\pi _{\theta }}\left[\sum _{0\leq j\leq i\leq T}(\gamma ^{i}R_{i})\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j}){\Big |}S_{0}=s_{0}\right]\\&=\mathbb {E} _{\pi _{\theta }}\left[\sum _{j\in 0:T}\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j})\sum _{i\in j:T}(\gamma ^{i}R_{i}){\Big |}S_{0}=s_{0}\right]\end{aligned}}$$ 이것이 두 번째 방정식이다.

따라서 정책 경사의 불편 추정량을 얻는다:$$\nabla _{\theta }J(\theta )\approx {\frac {1}{N}}\sum _{n=1}^{N}\left[\sum _{t=0}^{T}\nabla _{\theta }\ln \pi _{\theta }(A_{t,n}\mid S_{t,n})\sum _{\tau =t}^{T}(\gamma ^{\tau -t}R_{\tau ,n})\right]$$여기서 지표 $n$은 정책 $\pi _{\theta }$를 사용하는 $N$개의 롤아웃 궤적에 걸쳐 있다.

점수 함수 $\nabla _{\theta }\ln \pi _{\theta }(A_{t}\mid S_{t})$는 상태 $S_{t}$에서 행동 $A_{t}$를 취할 확률을 증가시키는 매개변수 공간의 방향으로 해석될 수 있다. 즉, 정책 경사는 어떤 상태에서든 어떤 행동을 취할 확률을 증가시키는 모든 가능한 방향의 가중 평균이지만, 보상 신호에 의해 가중치가 부여된다. 따라서 특정 상태에서 특정 행동을 취하는 것이 높은 보상과 연관되어 있다면 그 방향이 크게 강화되고, 반대의 경우도 마찬가지이다.

알고리즘

REINFORCE 알고리즘은 반복문이다:

1. 정책 함수로 $\pi _{\theta _{t}}$를 사용하여 환경에서 $N$개의 궤적을 롤아웃한다.
2. 정책 경사 추정치를 계산한다: $g_{i}\leftarrow {\frac {1}{N}}\sum _{n=1}^{N}\left[\sum _{t=0}^{T}\nabla _{\theta _{t}}\ln \pi _{\theta }(A_{t,n}\mid S_{t,n})\sum _{\tau =t}^{T}(\gamma ^{\tau }R_{\tau ,n})\right]$
3. 경사 상승법으로 정책을 업데이트한다: $\theta _{i+1}\leftarrow \theta _{i}+\alpha _{i}g_{i}$

여기서 $\alpha _{i}$는 업데이트 단계 $i$에서의 학습률이다.

분산 줄이기

REINFORCE는 온폴리시(on-policy) 알고리즘으로, 업데이트에 사용되는 궤적이 현재 정책 $\pi _{\theta }$에서 샘플링되어야 함을 의미한다. 반환값 $R(\tau )$이 궤적마다 크게 다를 수 있으므로 이는 업데이트 시 높은 분산을 초래할 수 있다. REINFORCE의 많은 변형이 분산 줄이기라는 제목으로 도입되었다.

기준선을 사용한 REINFORCE

분산을 줄이는 일반적인 방법은 다음 항등식에 기반한 기준선을 사용한 REINFORCE 알고리즘이다:$$\nabla _{\theta }J(\theta )=\mathbb {E} _{\pi _{\theta }}\left[\sum _{t=0}^{T}\nabla _{\theta }\ln \pi _{\theta }(A_{t}|S_{t})\left(\sum _{\tau =t}^{T}(\gamma ^{\tau }R_{\tau })-b(S_{t})\right){\Big |}S_{0}=s_{0}\right]$$임의의 함수 $b:{\text{States}}\to \mathbb {R}$에 대하여. 이는 이전 보조정리를 적용하여 증명할 수 있다.

이 알고리즘은 수정된 경사 추정치를 사용하며$$g_{i}\leftarrow {\frac {1}{N}}\sum _{n=1}^{N}\left[\sum _{t=0}^{T}\nabla _{\theta _{t}}\ln \pi _{\theta }(A_{t,n}|S_{t,n})\left(\sum _{\tau =t}^{T}(\gamma ^{\tau }R_{\tau ,n})-b_{i}(S_{t,n})\right)\right]$$ 원래의 REINFORCE 알고리즘은 $b_{i}\equiv 0$인 특수한 경우이다.

액터-크리틱 방법

 이 부분의 본문은 액터-크리틱 알고리즘입니다.

${\textstyle b_{i}(S_{t})\approx \sum _{\tau =t}^{T}(\gamma ^{\tau }R_{\tau })=\gamma ^{t}V^{\pi _{\theta _{i}}}(S_{t})}$가 되도록 ${\textstyle b_{i}}$를 잘 선택하면 경사 추정의 분산을 크게 줄일 수 있다. 즉, 기준선은 가치 함수 $V^{\pi _{\theta _{i}}}(S_{t})$에 최대한 가까워야 하며, 이상적인 다음 식에 접근해야 한다:$$\nabla _{\theta }J(\theta )=\mathbb {E} _{\pi _{\theta }}\left[\sum _{t=0}^{T}\nabla _{\theta }\ln \pi _{\theta }(A_{t}|S_{t})\left(\sum _{\tau =t}^{T}(\gamma ^{\tau }R_{\tau })-\gamma ^{t}V^{\pi _{\theta }}(S_{t})\right){\Big |}S_{0}=s_{0}\right]$$정책 $\pi _{\theta _{t}}$가 업데이트됨에 따라 가치 함수 $V^{\pi _{\theta _{i}}}(S_{t})$도 업데이트되므로 기준선도 업데이트되어야 한다는 점에 유의하라. 한 가지 일반적인 접근 방식은 가치 함수를 추정하는 별도의 함수를 학습시키고 이를 기준선으로 사용하는 것이다. 이것이 정책 함수가 액터이고 가치 함수가 크리틱인 액터-크리틱 방법 중 하나이다.

Q 함수 $Q^{\pi }$ 또한 크리틱으로 사용할 수 있는데, 다음 식과 같이 반복 기댓값 법칙을 사용한 유사한 논증에 의하기 때문이다.$$\nabla _{\theta }J(\theta )=E_{\pi _{\theta }}\left[\sum _{0\leq t\leq T}\gamma ^{t}\nabla _{\theta }\ln \pi _{\theta }(A_{t}|S_{t})\cdot Q^{\pi _{\theta }}(S_{t},A_{t}){\Big |}S_{0}=s_{0}\right]$$

기준선으로 가치 함수를 빼면, 이점 함수(advantage function) $A^{\pi }(S,A)=Q^{\pi }(S,A)-V^{\pi }(S)$ 또한 크리틱으로 사용할 수 있음을 알 수 있다:$$\nabla _{\theta }J(\theta )=E_{\pi _{\theta }}\left[\sum _{0\leq t\leq T}\gamma ^{t}\nabla _{\theta }\ln \pi _{\theta }(A_{t}|S_{t})\cdot A^{\pi _{\theta }}(S_{t},A_{t}){\Big |}S_{0}=s_{0}\right]$$요약하면 $\nabla _{\theta }J_{\theta }$에 대한 많은 불편 추정량이 존재하며, 모두 다음 형식을 취한다: $$\nabla _{\theta }J(\theta )=E_{\pi _{\theta }}\left[\sum _{0\leq t\leq T}\nabla _{\theta }\ln \pi _{\theta }(A_{t}|S_{t})\cdot \Psi _{t}{\Big |}S_{0}=s_{0}\right]$$ 여기서 ${\textstyle \Psi _{t}}$는 다음 항들의 선형 합이다:

• ${\textstyle \sum _{0\leq \tau \leq T}(\gamma ^{\tau }R_{\tau })}$: 사용되지 않음.
• ${\textstyle \gamma ^{t}\sum _{t\leq \tau \leq T}(\gamma ^{\tau -t}R_{\tau })}$: REINFORCE 알고리즘에서 사용.
• ${\textstyle \gamma ^{t}\sum _{t\leq \tau \leq T}(\gamma ^{\tau -t}R_{\tau })-b(S_{t})}$: 기준선을 사용한 REINFORCE 알고리즘에서 사용.
• ${\textstyle \gamma ^{t}\left(R_{t}+\gamma V^{\pi _{\theta }}(S_{t+1})-V^{\pi _{\theta }}(S_{t})\right)}$: 1단계 TD 학습.
• ${\textstyle \gamma ^{t}Q^{\pi _{\theta }}(S_{t},A_{t})}$.
• ${\textstyle \gamma ^{t}A^{\pi _{\theta }}(S_{t},A_{t})}$.

더 많은 ${\textstyle \Psi _{t}}$가 가능하며, 증명은 매우 유사하다.

• ${\textstyle \gamma ^{t}\left(R_{t}+\gamma R_{t+1}+\gamma ^{2}V^{\pi _{\theta }}(S_{t+2})-V^{\pi _{\theta }}(S_{t})\right)}$: 2단계 TD 학습.
• ${\textstyle \gamma ^{t}\left(\sum _{k=0}^{n-1}\gamma ^{k}R_{t+k}+\gamma ^{n}V^{\pi _{\theta }}(S_{t+n})-V^{\pi _{\theta }}(S_{t})\right)}$: n단계 TD 학습.
• ${\textstyle \gamma ^{t}\sum _{n=1}^{\infty }{\frac {\lambda ^{n-1}}{1-\lambda }}\cdot \left(\sum _{k=0}^{n-1}\gamma ^{k}R_{t+k}+\gamma ^{n}V^{\pi _{\theta }}(S_{t+n})-V^{\pi _{\theta }}(S_{t})\right)}$: GAE(일반화된 이점 추정)로 알려진 TD(λ) 학습. 이는 n단계 TD 학습 항들의 지수적으로 감쇠하는 합으로 얻어진다.

자연 정책 경사

자연 정책 경사법은 2001년 샴 카카드가 제안한 정책 경사법의 변형이다. 매개변수 $\theta$의 선택에 의존하여 업데이트가 좌표에 종속적인 표준 정책 경사법과 달리, 자연 정책 경사는 기하학적으로 "자연스러운" 좌표 독립적 업데이트를 제공하는 것을 목표로 한다.

동기

표준 정책 경사 업데이트 $\theta _{i+1}=\theta _{i}+\alpha \nabla _{\theta }J(\theta _{i})$는 제약된 최적화 문제를 해결한다:$${\begin{cases}\max _{\theta _{i+1}}J(\theta _{i})+(\theta _{i+1}-\theta _{i})^{T}\nabla _{\theta }J(\theta _{i})\\\|\theta _{i+1}-\theta _{i}\|\leq \alpha \cdot \|\nabla _{\theta }J(\theta _{i})\|\end{cases}}$$ 목적함수(선형화된 개선)는 기하학적으로 의미가 있지만, 유클리드 제약 $\|\theta _{i+1}-\theta _{i}\|$은 좌표 의존성을 도입한다. 이를 해결하기 위해 자연 정책 경사는 유클리드 제약을 쿨백-라이블러 발산 (KL) 제약으로 대체한다:$${\begin{cases}\max _{\theta _{i+1}}J(\theta _{i})+(\theta _{i+1}-\theta _{i})^{T}\nabla _{\theta }J(\theta _{i})\\{\bar {D}}_{KL}(\pi _{\theta _{i+1}}\|\pi _{\theta _{i}})\leq \epsilon \end{cases}}$$여기서 두 정책 간의 KL 발산은 정책 $\pi _{\theta _{i}}$ 하의 상태 분포에 대해 평균화된다. 즉,$${\bar {D}}_{KL}(\pi _{\theta _{i+1}}\|\pi _{\theta _{i}}):=\mathbb {E} _{s\sim \pi _{\theta _{i}}}[D_{KL}(\pi _{\theta _{i+1}}(\cdot |s)\|\pi _{\theta _{i}}(\cdot |s))]$$ 이는 업데이트가 가역적인 아핀 매개변수 변환에 불변임을 보장한다.

피셔 정보 근사

작은 $\epsilon$에 대해 KL 발산은 피셔 정보 계량으로 근사된다:$${\bar {D}}_{KL}(\pi _{\theta _{i+1}}\|\pi _{\theta _{i}})\approx {\frac {1}{2}}(\theta _{i+1}-\theta _{i})^{T}F(\theta _{i})(\theta _{i+1}-\theta _{i})$$여기서 $F(\theta )$는 정책의 피셔 정보 행렬로, 다음과 같이 정의된다:$$F(\theta )=\mathbb {E} _{s,a\sim \pi _{\theta }}\left[\nabla _{\theta }\ln \pi _{\theta }(a|s)\left(\nabla _{\theta }\ln \pi _{\theta }(a|s)\right)^{T}\right]$$ 이는 문제를 2차 계획법 문제로 변환하여 다음의 자연 정책 경사 업데이트를 산출한다:$$\theta _{i+1}=\theta _{i}+\alpha F(\theta _{i})^{-1}\nabla _{\theta }J(\theta _{i})$$스텝 크기 $\alpha$는 일반적으로 KL 제약을 유지하도록 조정되며, $\alpha \approx {\sqrt {\frac {2\epsilon }{(\nabla _{\theta }J(\theta _{i}))^{T}F(\theta _{i})^{-1}\nabla _{\theta }J(\theta _{i})}}}$이다.

$F(\theta )$를 역행렬 취하는 것은 특히 고차원 매개변수(예: 신경망)의 경우 계산 집약적이다. 실제 구현에서는 종종 근사치를 사용한다.

신뢰 영역 정책 최적화 (TRPO)

신뢰 영역 정책 최적화 (TRPO)는 정책 업데이트에 신뢰 영역 제약을 강제함으로써 자연 정책 경사 접근 방식을 확장하는 정책 경사법이다. 2015년 슐먼 등이 개발한 TRPO는 자연 정책 경사법을 개선한다.

자연 경사 하강법은 목적함수가 진정한 2차 함수라면 이론적으로 최적이지만, 이는 근사일 뿐이다. TRPO의 라인 서치와 KL 제약은 이 근사가 깨지지 않는 "신뢰 영역" 안으로 해를 제한하려고 시도한다. 이는 TRPO를 실제로 더 견고하게 만든다.

공식화

자연 정책 경사와 마찬가지로 TRPO는 좌표 독립적으로 명시된 제약 최적화 문제를 해결하여 정책 매개변수 $\theta$를 반복적으로 업데이트한다:$${\begin{cases}\max _{\theta }L(\theta ,\theta _{i})\\{\bar {D}}_{KL}(\pi _{\theta }\|\pi _{\theta _{i}})\leq \epsilon \end{cases}}$$여기서

• $L(\theta ,\theta _{i})=\mathbb {E} _{s,a\sim \pi _{\theta _{i}}}\left[{\frac {\pi _{\theta }(a|s)}{\pi _{\theta _{i}}(a|s)}}A^{\pi _{\theta _{i}}}(s,a)\right]$는 대리 이점(surrogate advantage)으로, 이전 정책 $\pi _{\theta _{i}}$ 대비 $\pi _{\theta }$의 성능을 측정한다.
• $\epsilon$은 신뢰 영역 반경이다.

일반적으로 다른 대리 이점도 가능하다는 점에 유의하라:$$L(\theta ,\theta _{i})=\mathbb {E} _{s,a\sim \pi _{\theta _{i}}}\left[{\frac {\pi _{\theta }(a|s)}{\pi _{\theta _{i}}(a|s)}}\Psi ^{\pi _{\theta _{i}}}(s,a)\right]$$여기서 $\Psi$는 앞서 언급한 유형의 임의의 선형 합이다. 실제로 오픈AI는 단순 이점 $A^{\pi _{\theta }}$ 대신 일반화된 이점 추정을 사용할 것을 권장했다.

대리 이점 $L(\theta ,\theta _{t})$는 정책 경사 $\nabla _{\theta }J(\theta )$와 일치하도록 설계되었다. 특히 $\theta =\theta _{t}$일 때, $\nabla _{\theta }L(\theta ,\theta _{t})$는 이점 함수에서 도출된 정책 경사와 같다: $$\nabla _{\theta }J(\theta )=\mathbb {E} _{(s,a)\sim \pi _{\theta }}\left[\nabla _{\theta }\ln \pi _{\theta }(a|s)\cdot A^{\pi _{\theta }}(s,a)\right]=\nabla _{\theta }L(\theta ,\theta _{t})$$그러나 $\theta \neq \theta _{i}$일 때는 반드시 참은 아니다. 따라서 이는 실제 목적함수의 "대리"이다.

자연 정책 경사와 마찬가지로 작은 정책 업데이트에 대해 TRPO는 $\theta _{t}$ 주변의 테일러 급수 전개를 사용하여 대리 이점과 KL 발산을 근사한다:$${\begin{aligned}L(\theta ,\theta _{i})&\approx g^{T}(\theta -\theta _{i}),\\{\bar {D}}_{\text{KL}}(\pi _{\theta }\|\pi _{\theta _{i}})&\approx {\frac {1}{2}}(\theta -\theta _{i})^{T}H(\theta -\theta _{i}),\end{aligned}}$$ 여기서:

• $g=\nabla _{\theta }L(\theta ,\theta _{i}){\big |}_{\theta =\theta _{i}}$는 정책 경사이다.
• $F=\nabla _{\theta }^{2}{\bar {D}}_{\text{KL}}(\pi _{\theta }\|\pi _{\theta _{i}}){\big |}_{\theta =\theta _{i}}$는 피셔 정보 행렬이다.

이는 문제를 2차 최적화로 줄여 자연 정책 경사 업데이트를 산출한다: $$\theta _{i+1}=\theta _{i}+{\sqrt {\frac {2\epsilon }{g^{T}F^{-1}g}}}F^{-1}g.$$지금까지는 기본적으로 자연 경사법과 동일하다. 그러나 TRPO는 두 가지 수정 사항을 통해 이를 개선한다:

• 명시적인 행렬 역행렬 없이 $Fx=g$에서 $x$를 반복적으로 풀기 위해 켤레기울기법을 사용한다.
• 신뢰 영역 제약이 만족되도록 백트래킹 라인 서치를 사용한다. 구체적으로, KL 제약과 정책 개선을 보장하기 위해 스텝 크기를 백트래킹한다. 즉, 다음 테스트 해를 각각 테스트한다:$$\theta _{i+1}=\theta _{i}+{\sqrt {\frac {2\epsilon }{x^{T}Fx}}}x,\;\theta _{i}+\alpha {\sqrt {\frac {2\epsilon }{x^{T}Fx}}}x,\;\theta _{i}+\alpha ^{2}{\sqrt {\frac {2\epsilon }{x^{T}Fx}}}x,\;\dots$$ KL 제약 ${\bar {D}}_{KL}(\pi _{\theta _{i+1}}\|\pi _{\theta _{i}})\leq \epsilon$을 만족하고 더 높은 $L(\theta _{i+1},\theta _{i})\geq L(\theta _{i},\theta _{i})$를 산출하는 해를 찾을 때까지이다. 여기서 $\alpha \in (0,1)$은 백트래킹 계수이다.

근위 정책 최적화 (PPO)

추가적인 개선 사항은 클리핑된 확률 비율을 사용하는 1차 근사를 통해 $F(\theta )$와 $F(\theta )^{-1}$을 계산하는 것조차 피하는 근위 정책 최적화 (PPO)이다.

구체적으로, KL 발산 제약 하에서 대리 이점 $\max _{\theta }L(\theta ,\theta _{t})=\mathbb {E} _{s,a\sim \pi _{\theta _{t}}}\left[{\frac {\pi _{\theta }(a|s)}{\pi _{\theta _{t}}(a|s)}}A^{\pi _{\theta _{t}}}(s,a)\right]$을 최대화하는 대신, 제약을 대리 이점에 직접 삽입한다:$$\max _{\theta }\mathbb {E} _{s,a\sim \pi _{\theta _{t}}}\left[{\begin{cases}\min \left({\frac {\pi _{\theta }(a|s)}{\pi _{\theta _{t}}(a|s)}},1+\epsilon \right)A^{\pi _{\theta _{t}}}(s,a)&{\text{ if }}A^{\pi _{\theta _{t}}}(s,a)>0\\\max \left({\frac {\pi _{\theta }(a|s)}{\pi _{\theta _{t}}(a|s)}},1-\epsilon \right)A^{\pi _{\theta _{t}}}(s,a)&{\text{ if }}A^{\pi _{\theta _{t}}}(s,a)<0\end{cases}}\right]$$ 그리고 PPO는 평소와 같이 확률적 경사 하강법으로 대리 이점을 최대화한다.

말로 하자면, 새로운 대리 이점 함수를 경사 상승시키는 것은, 어떤 상태 $s,a$에서 이점이 양수($A^{\pi _{\theta _{t}}}(s,a)>0$)라면, 경사가 $\theta$를 상태 $s$에서 행동 $a$를 수행할 확률을 높이는 방향으로 향하게 해야 함을 의미한다. 그러나 $\theta$가 너무 많이 변하여 $\pi _{\theta }(a|s)\geq (1+\epsilon )\pi _{\theta _{t}}(a|s)$가 되는 즉시 경사는 그 방향을 가리키는 것을 멈춰야 한다. $A^{\pi _{\theta _{t}}}(s,a)<0$인 경우도 마찬가지이다. 따라서 PPO는 매개변수 업데이트를 너무 강하게 밀어붙이는 것을 피하고 정책을 너무 많이 바꾸는 것을 피한다.

더 정확히 말하면, $\theta _{t}$를 $\theta _{t+1}$로 업데이트하려면 동일한 데이터 배치에 대해 여러 번의 업데이트 단계가 필요하다. $\theta =\theta _{t}$로 초기화한 다음 대리 이점이 안정될 때까지 반복적으로 경사 하강법(예: Adam 옵티마이저)을 적용하여 $\theta$를 업데이트한다. 그런 다음 $\theta _{t+1}$를 $\theta$에 할당하고 다시 수행한다.

이 내부 루프 동안 $\theta$에 대한 첫 번째 업데이트는 $1-\epsilon ,1+\epsilon$ 경계에 도달하지 않지만, $\theta$가 $\theta _{t}$에서 멀어질수록 결국 경계에 도달하기 시작한다. 이러한 각 경계 도달에 대해 해당 경사는 0이 되고, 따라서 PPO는 $\theta$를 $\theta _{t}$에서 너무 멀리 업데이트하는 것을 피한다.

이는 대리 손실이 상태-행동 쌍 $s,a$가 에이전트가 정책 $\pi _{\theta _{t}}$를 실행할 때 볼 수 있는 것에서 샘플링된다고 가정하지만, 정책 경사는 온폴리시여야 하기 때문에 중요하다. 그래서 $\theta$가 변함에 따라 대리 손실은 점점 더 오프폴리시(off-policy)가 된다. 이것이 $\theta$를 $\theta _{t}$와 근접하게 유지하는 것이 필요한 이유이다.

학습된 정책이 너무 멀리 벗어나지 않아야 하는 참조 정책 $\pi _{\text{ref}}$가 있는 경우, 추가적인 KL 발산 페널티를 추가할 수 있다:$$-\beta \mathbb {E} _{s,a\sim \pi _{\theta _{t}}}\left[\log \left({\frac {\pi _{\theta }(a|s)}{\pi _{\text{ref}}(a|s)}}\right)\right]$$여기서 $\beta$는 페널티의 강도를 조정한다. 이는 인간 피드백을 통한 강화 학습을 사용하여 추론 언어 모델을 학습할 때 사용되었다. KL 발산 페널티 항은 동등한 형식을 사용하여 더 낮은 분산으로 추정할 수 있다(자세한 내용은 f-발산 참조):$$-\beta \mathbb {E} _{s,a\sim \pi _{\theta _{t}}}\left[\log \left({\frac {\pi _{\theta }(a|s)}{\pi _{\text{ref}}(a|s)}}\right)+{\frac {\pi _{\text{ref}}(a|s)}{\pi _{\theta }(a|s)}}-1\right]$$

그룹 상대 정책 최적화 (GRPO)

그룹 상대 정책 최적화(GRPO)는 가치 함수 추정기 $V$를 생략하는 PPO의 사소한 변형이다. 대신 각 상태 $s$에 대해 정책 $\pi _{\theta _{t}}$에서 여러 행동 $a_{1},\dots ,a_{G}$를 샘플링한 다음, 그룹 상대 이점을 계산한다.$$A^{\pi _{\theta _{t}}}(s,a_{j})={\frac {r(s,a_{j})-\mu }{\sigma }}$$ 여기서 $\mu ,\sigma$는 $r(s,a_{1}),\dots ,r(s,a_{G})$의 평균과 표준 점수이다.

그런 다음 모든 행동에 대해 평균화된 PPO 목적함수를 최대화한다:$$\max _{\theta }{\frac {1}{G}}\sum _{i=1}^{G}\mathbb {E} _{(s,a_{1},\dots ,a_{G})\sim \pi _{\theta _{t}}}\left[{\begin{cases}\min \left({\frac {\pi _{\theta }(a_{i}|s)}{\pi _{\theta _{t}}(a_{i}|s)}},1+\epsilon \right)A^{\pi _{\theta _{t}}}(s,a_{i})&{\text{ if }}A^{\pi _{\theta _{t}}}(s,a_{i})>0\\\max \left({\frac {\pi _{\theta }(a_{i}|s)}{\pi _{\theta _{t}}(a_{i}|s)}},1-\epsilon \right)A^{\pi _{\theta _{t}}}(s,a_{i})&{\text{ if }}A^{\pi _{\theta _{t}}}(s,a_{i})<0\end{cases}}\right]$$직관적으로 GRPO의 각 정책 업데이트 단계는 정책이 그 상태에서 시도된 다른 행동들보다 상대적으로 더 나은 성능을 보인 행동으로 각 상태에 대응할 가능성을 높이고, 상대적으로 더 나쁜 성능을 보인 행동으로 대응할 가능성을 낮추도록 만든다.

이전과 마찬가지로 학습된 정책이 참조 정책에 가깝게 유지되도록 장려하기 위해 KL 페널티 항을 적용할 수 있다. GRPO는 딥시크의 연구자들이 추론 언어 모델을 학습하는 맥락에서 처음 제안했다.

정책 최적화와 미러 디센트 관점 (MDPO)

TRPO, PPO, 자연 정책 경사와 같은 방법들은 공통된 아이디어를 공유한다. 정책은 정책 경사 방향으로 업데이트되어야 하지만, 업데이트는 일반적으로 업데이트 전 정책과의 거리로 측정되는 안전하고 안정적인 방식으로 이루어져야 한다.

이러한 업데이트 안정성 개념은 미러 디센트와 같은 근위 볼록 최적화 기법에서도 발견된다. 거기서 특정 제약 집합 ${\textstyle {\mathcal {C}}}$ 내의 ${\textstyle f}$의 제안된 최소화기 ${\textstyle \mathbf {x} }$는, 현재 ${\textstyle \mathbf {x} _{t}}$와의 근접성 페널티를 브레그만 발산 ${\textstyle B_{\omega }}$으로 측정하여 경사 ${\textstyle \nabla f}$ 방향으로 반복적으로 업데이트되며, 다음 공식으로 공식화할 수 있다:$$\mathbf {x} _{t+1}\in \arg \min _{\mathbf {x} \in {\mathcal {C}}}\nabla f(\mathbf {x} _{t})^{T}(\mathbf {x} -\mathbf {x} _{t})+{\frac {1}{\eta _{t}}}B_{\omega }(x,x_{t}),$$ 여기서 ${\textstyle \eta _{t}}$는 경사 하강법의 학습률과 유사하게 연속적인 반복 간의 근접성을 제어한다.

이는 정책 업데이트 절차를 기반 마르코프 결정 과정(MDP)의 (비볼록) 최적화 환경에서 최적의 정책을 찾기 위한 최적화 절차로 재고하게 한다. 정책 경사를 사용하는 이러한 최적화 관점을 미러 디센트 정책 최적화(MDPO)라고 하며, KL이 선택된 브레그만 발산일 때 다음과 같은 업데이트로 이어진다:$$\pi _{t+1}\in \arg \max _{\pi }\mathbb {E} _{s,a\sim \pi }\left[A^{\pi _{t}}(s,a)\right]+{\frac {1}{\eta _{t}}}D_{KL}(\pi ||\pi _{t})$$매개변수화된 정책 ${\textstyle \pi _{\theta }}$를 사용하면 MDPO 손실은 다음과 같아진다:$$\max _{\theta }L(\theta ,\theta _{t})=\mathbb {E} _{s,a\sim \pi _{\theta _{t}}}\left[{\frac {\pi _{\theta }(a|s)}{\pi _{\theta _{t}}(a|s)}}A^{\pi _{\theta _{t}}}(s,a)\right]+{\frac {1}{\eta _{t}}}D_{KL}(\pi _{\theta }||\pi _{\theta _{t}})$$이 목적함수는 PPO에서 수행된 클리핑과 같은 다른 일반적인 기법들과 함께 사용될 수 있다. 사실 KL 발산 페널티는 원래 PPO 논문에도 나타나며, 이는 MDPO 관점이 많은 동시 정책 경사 기법 이면의 주요 유도 개념들에 대한 이론적 통합임을 시사한다.

같이 보기

• 강화 학습
• 심층 강화 학습
• 액터-크리틱 방법

각주

• Sutton, Richard S.; Barto, Andrew G. (2018). 《Reinforcement learning: an introduction》 2판. Adaptive computation and machine learning series. Cambridge, Massachusetts: The MIT Press. ISBN 978-0-262-03924-6. 
• Bertsekas, Dimitri P. (2019). 《Reinforcement learning and optimal control》 2판. Belmont, Massachusetts: Athena Scientific. ISBN 978-1-886529-39-7. 
• Grossi, Csaba (2010). 《Algorithms for Reinforcement Learning》 1판. Synthesis Lectures on Artificial Intelligence and Machine Learning. Cham: Springer International Publishing. ISBN 978-3-031-00423-0. 
• Mohamed, Shakir; Rosca, Mihaela; Figurnov, Michael; Mnih, Andriy (2020). “Monte Carlo Gradient Estimation in Machine Learning”. 《Journal of Machine Learning Research》 21 (132): 1–62. arXiv:1906.10652. ISSN 1533-7928. 

외부 링크

• Weng, Lilian (2018년 4월 8일). “Policy Gradient Algorithms” (영어). 《lilianweng.github.io》. 2025년 1월 25일에 확인함. 
• “Vanilla Policy Gradient — Spinning Up documentation”. 《spinningup.openai.com》. 2025년 1월 25일에 확인함.