9.4.3 First Order Variance Reduction

1차 미분에서의 variance를 줄이는 기법에 대해 설명하겠습니다. 이는 magicbox의 특성을 활용합니다.

$\mathcal{L}_\square = \sum_{c\in\mathcal{C}}(\mathcal{W}_c)c + \sum_{w\in\mathcal{S}}(1-\square(\{w\}))b_w$

뒤의 term의 $b_w$는 어느 stochastic nodes에도 영향을 받지 않는 평가 지표가 되는 함수로, 주로 $\mathcal{L}_\square$의 평균정도로 정해집니다. 그러면 $1-\square(\cdot) \rightarrow 0$ 이 되므로 bias에 영향을 끼치지 않게되면서 variance를 줄일 수 있는 좋은 테크닉이 됩니다.