◾정의

• 퍼셉트론에서는 가중치 매개변수를 직접 설정했다면 신경망은 학습을 통해 매개변수를 자동으로 설정해준다.

🔻구조

• 신경망의 layer를 말할 때, 주로 가중치가 있는 레이어 개수만 센다 → 아래 그림은 2층 신경망. (경우에 따라 3층 신경망이라 부를 수도 있음.)

🔸입력층 (input layer)

• 입력신호를 전달받는 층

🔸은닉층 (hidden layer)

• 입력층과 출력층 사이의 모든 layer를 은닉층이라 한다.

• 신경망의 은닉층은 사람의 눈에 보이지 않는다.

  • 왜? 활성화 함수, 차원 변형 등을 통해 raw form(데이터 원형)으로부터 변형된 값을 표현하기 때문에 사람이 직접적으로 해석하기 어렵다.
  • 실제 모델들은 다수의 노드로 구성된 다층 은닉층으로 구성되기 때문에 그 은닉층의 노드 하나하나를 사람이 직접 따라가며 분석하기란 불가능에 가까움

• 퍼셉트론에서 편향(b)도 실제로는 보이지 않는다.

  

  [편향이 은닉되어 있는 퍼셉트론]

  

  [편향을 명시한 퍼셉트론]

  • 편향을 명시하면 우측과 같이 입력신호가 1인 뉴런이 추가되고 가중치가 b가 된다.

  • 이를 함수로 표현하면,

    $$ y = h(b+w_1x_1+w_2x_2) \\h(x)=\begin{cases} 0~~(x\le0) \\1~~(x>0) \end{cases} $$

    • 기존 퍼셉트론 공식 $y = \begin{cases} 0~~ (w_1x_1+w_2x_2\le\theta)\\ 1~~ (w_1x_1+w_2x_2>\theta) \end{cases}$와 기능은 똑같다.

◾활성화 함수

🔸정의

• 활성화 함수 (activation function) : 입력 신호의 총합을 출력 신호로 변환하는 함수로, 입력 신호의 총합이 활성화를 일으키는지 정한다.

  • 활성화 : 퍼셉트론에서 변형된 입력신호의 총합이 임곗값을 초과하는 것을 뉴런이 활성화된다라고 정의했었다. 같은 의미이다. 또한 퍼셉트론에서 활성화에 영향을 주는 매개변수는 편향이었다.

• 퍼셉트론 예시

  $$ y = b+w_1x_1+w_2x_2 \\y=\begin{cases} 0~~(b+w_1x_1+w_2x_2\le0) \\1~~(b+w_1x_1+w_2x_2>0) \end{cases} $$

  위 식을 다시 정리해보면 다음과 같다.

  $$ a = b+w_1x_1+w_2x_2 \\h(a)=\begin{cases} 0~~(a\le0) \\1~~(a>0) \end{cases} \\y = h(a) $$

  

  [활성화 과정을 명시한 뉴런]

  1,x1,x2 입력 신호가 가중치에 의해 변형된 ‘가중치 신호’들의 결과가 a뉴런(노드)에 전달되고, 함수 h( )에 의해 a뉴런의 신호가 변형되어 y뉴런에 출력 신호가 반환된다.

  이는 활성화 함수 h( )의 처리 과정을 명시적으로 표현한 것이다.

  • 퍼셉트론에서는 h()가 계단 함수(임곗값을 경계로 출력이 변하는 함수)이다.