深層学習４、多層ネットワーク

2.3 多層ネットワーク

２層ネットワークを考えると、情報が左から右へと一方向に伝わり、この順に各層をl = 1, 2, 3で表す。l = 1の層を入力層(Input Layer)、l = 2 の層を中間層(Internal Layer)、あるいは隠れ層(Hidden Layer)、l = 3を出力層(Output Layer)と呼ぶ。

各層のユニットの入出力を区別するために、各変数の右肩に層の番号(l = 1, 2, 3)を付け、u(l)やz(l)のように書くことにする。

例）u(2) = W(2)x + b(2), z(2) = f(u(2)), u(3) = W(3)z(2) + b(3), z(3) = f(u(3))

一般化すると、u(l+1) = W(l+1)z(l) + b(l+1), z(l+1) = f(u(l+1))のようになる。

順伝播型ネットワークでは、与えられた入力Xに対し、入力層側から出力層へ、上の計算を振り返すことで情報を伝播させ、出力Yを計算する。この関係は、関数y = y(x)として表現する。

関数の中身を決定するのは、各層間の結合重みw(l)(l = 1, ..., L)とユニットのバイアスb(l)(l = 1, ..., L)である。→ ネットワークのパラメータと呼ぶ。パラメータを変えれば、様々な関数を表現できる。

y = (x;w(2), ... ,w(L),b(2), ... ,b(L))、あるいはネットワークのパラメータすべてを持つベクトルWを定義し、簡潔にy(w;x)と書く。

2.3 다층 네트워크

2층 네트워크를 생각해보면, 정보는 왼쪽에서 오른쪽으로 일방향 전파되고, 이 순서대로 각 층을 l = 1, 2, 3으로 표현한다. l = 1의 층을 입력층(Input Layer), l = 2의 층을 중간층(Internal Layer) 혹은 은닉층(Hidden Layer), l = 3의 층을 출력층(Output Layer)이라고 부른다.

각 층의 유닛의 출력층을 구별하기 위해 각 변수의 오른쪽 위에 번호(l = 1, 2, 3)를 붙여, u(l), z(l)과 같이 쓴다.

예) u(2) = W(2)x + b(2), z(2) = f(u(2)), u(3) = W(3)z(2) + b(3), z(3) = f(u(3))

일반화하면, u(l+1) = W(l+1)z(l) + b(l+1), z(l+1) = f(u(l+1))가 된다.

순전파형 네트워크에서는, 입력 x에 대해 입력층부터 출력층을 향해 위의 계산을 반복하는 것으로 정보를 전파시켜 출력 y를 계산한다. 이 관계를 함수 y = y(x)로 표현한다.

함수의 내용을 결정하는 것은 각 층간의 결합 가중치 ,w(L)와 유닛의 편차 b(L)이다. 이를 네트워크의 파라미터라고 부른다. 파라미터를 바꾸어 여러 함수를 표현할 수 있다.

y = (x;w(2), ... ,w(L),b(2), ... ,b(L)), 혹은 네트워크의 파라미터 전부를 가진 벡터 w를 정의하여 간단히 y(w;x)라고 쓴다.