9.2.1 Stochastic Computation Graphs

Stochastic Computation Graphs는 다음과 같은 4가지 타입의 노드로 구성되어 있습니다.

• Input Nodes : $\Theta$

  • 외부에서 정해져 들어오거나, 우리가 찾을 parameter에 대해 담고 있습니다.

• deterministic nodes : $\mathcal{D}$

  • Deterministic nodes는 단순히 Deterministic node의 부모 노드의 function이라고 볼 수 있습니다.

• cost nodes : $\mathcal{C}$

  • objective $\mathcal{L} = \mathbb{E}[\sum_{c\in\mathcal{C}}c]$에 관련된 노드입니다.

• stochastic nodes : $\mathcal{S}$

  • 부모 노드에 의해 분포가 정해지는 노드입니다.

연결에 대한 정의는 다음과 같이 합니다.

노드 $v$가 노드 $w$에 영향을 줄 때 $v \prec w$라고 표현합니다. 즉, $v$에서 $w$로 가는 path가 존재하는 것입니다. 노드 $v$가 노드 $w$에 deterministic하게 영향을 줄 때 이는 $v \prec^D w$라고 표현합니다.

여기서 쓰이는 그림 표기를 알아보자면, input node $\theta$, stochastic node $x$, cost function $f$를 정의하는 모습입니다. 이 때, $\theta$는 deterministic하게 $f$에 영향도 주지만, stochastic node $x$에 의해 stochastic하게 영향을 주기도 한다고 유추할 수 있습니다.