深層学習２、ユニットの出力

수식 입력하기 아주 귀찮다 ㅠㅠ

Chapter 2 順伝播型ネットワーク

2.1 ユニットの出力

順伝播型ネットワーク：　層状に並べたユニットが隣接層間でのみ結合した構造を持ち、情報がが入力側から出力側に一方向にのみ伝播するニューラルネット(＝多層パーセプトロン)

ネットワークを構成する各ユニットは複数の入力を受け取り、１つの出力を計算する。

例）u = w1x1 + w2x2 + w3x3 + w4x4 + b, z = f(u)

例のように各入力にそれぞれ異なる重み(weight, w1,w2,w3,w4)を掛けたものをすべて加算し、これにバイアス(bias)と呼ばれる１つの値b足したものになる。

このユニットの出力zは、総入力uに対する、活性化関数と呼ばれる関数fの出力する。

u1 = w11x1 + w12x2 + w13x3 + w14x4 + b1

u2 = w21x1 + w22x2 + w23x3 + w24x4 + b1

u3 = w31x1 + w32x2 + w33x3 + w34x4 + b1

これらに活性化関数を適応したものが出力zj＝f(uj) (j = 1, 2, 3)となる。

第1層のユニットをi=1, …, I, 第2層のユニットをj=1, …, Jで表すと、次のように一般化される。

u_j\ =\ \sum _{i=1}^Iw_{ji}x_i+b_j\ ,\ \ z\ =\ f\left(u_j\right)

ベクトルと行列と用いて表記すると、u = Wx+b, z = f(u)のようになる。

各ベクトルと行列は次のように定義している。

u\ =\ \begin{bmatrix}u_1\\...\\u_j\end{bmatrix},\ x=\begin{bmatrix}x_1\\...\\x_j\end{bmatrix},\ b=\begin{bmatrix}b_1\\...\\b_j\end{bmatrix},\ z=\begin{bmatrix}z_1\\...\\z_j\end{bmatrix},\ w=\begin{bmatrix}w_{11}&...&w_{1I}\\...&\ &...\\w_{J1}&...&w_{IJ}\end{bmatrix},\ f\left(u\right)=\begin{bmatrix}f\left(u_1\right)\\...\\f\left(u_j\right)\end{bmatrix}

챕터 2 순전파형 네트워크

2.1 유닛의 출력

순전파형 네트워크: 층상에 유닛이 인접층끼리만 결합된 구조로, 정보가 입력층에서 출력층으로 일방향 전파되는 유닛 네트워크. 다층 퍼셉트론이라고 부르는 경우도 있다.

네트워크를 구성하는 각 유닛은 복수의 입력을 받아 하나의 출력을 계산한다.

예) u = w1x1 + w2x2 + w3x3 + w4x4 + b, z = f(u)

예와 같이 각입력이 각각 다른 가중치(weight)를 곱한 것을 모두 더해, 그 결과에 편차(bias)라고 불리는 하나의 값 b를 더한 것이 된다.

활성화함수를 적용한 출력은 zj＝f(uj) (j = 1, 2, 3)이 된다.

u1 = w11x1 + w12x2 + w13x3 + w14x4 + b1

u2 = w21x1 + w22x2 + w23x3 + w24x4 + b1

u3 = w31x1 + w32x2 + w33x3 + w34x4 + b1

제 1층 유닛을 i=1,..,I, 제 2층 유닛을 j=1,..,J로 표현하면, 다음과 같이 일반화 할 수 있다.

u_j\ =\ \sum _{i=1}^Iw_{ji}x_i+b_j\ ,\ \ z\ =\ f\left(u_j\right)

벡터와 행렬을 이용해 표기하면, u = Wx+b, z = f(u)이 된다.

각 벡터와 행렬은 다음과 같이 정의할 수 있다.

u\ =\ \begin{bmatrix}u_1\\...\\u_j\end{bmatrix},\ x=\begin{bmatrix}x_1\\...\\x_j\end{bmatrix},\ b=\begin{bmatrix}b_1\\...\\b_j\end{bmatrix},\ z=\begin{bmatrix}z_1\\...\\z_j\end{bmatrix},\ w=\begin{bmatrix}w_{11}&...&w_{1I}\\...&\ &...\\w_{J1}&...&w_{IJ}\end{bmatrix},\ f\left(u\right)=\begin{bmatrix}f\left(u_1\right)\\...\\f\left(u_j\right)\end{bmatrix}