Single-Layer Perceptron Model
단층 퍼셉트론 모델
- Mark I Perceptron은 최초의 신경망 하드웨어 장치였으며,
Single-Layer Perceptron Model은 최초로 문자를 인식한 신경망 모델이다.
- 1969년 Minsky의 『Perceptrons』에 의해 단층 퍼셉트론 모델의 한계점이 분석되며,
신경망 관련 연구는 15년 동안 침체기를 맞이했다.
- Single-Layer Perceptron Model의 제한점은 아래와 같다.
- Perceptron의 출력은 오직 0 또는 1이다.
- Linear Separatable(선형 분리 가능)한 집합만 Classification가능하다.
- 즉, AND, OR, NOT 함수에 대해서는 선형 분리가 가능하지만, XOR 함수는 선형 분리할 수 없다.
- Perceptron과 비슷한 시기에 나타난 NN 모델로 Adaline과 이를 여러개 묶은 Madaline이 있으며,
이들은 아래 응용 분야에 연관이 깊다.
- 시스템 모델링
- 통계적 예측
- 통신 잡음과 울림 제거
- 채널 이퀄라이저
- 적응적 신호 처리
* Adaline (Adaptive Linear Neuron)
- Perceptron Model에서 오차가 0 또는 -1로만 도출되어 출력값들의 편차가 커지는 문제를 개선한 모델이다.
- Adaline은 Activation Function 값을 Weight와 비교하는 것이 아닌,
\(\Sigma\) Function 값을 Weight들과 비교하여 더욱 정밀하게 가중치 값을 조정해간다.
- Adaline은 Activation Function으로 Linear Function을 사용한다.
Input/Output Structure of Artificial Neuron (뉴런의 입출력 구조)
\(\mathrm{Output} \; = \; f(\sum\limits_{i=0}^{N-1} W_iX_i - \theta)\)
* Legend (범례)
| Term | Description |
| \(x_i\) | - Input |
| \(w_i\) | - Weight |
| \(\Sigma\) | - Net Input Function |
| \(f\) | - Activcation Function |
| \(\theta\) | - Offset (Threshold) |
Activation Functions (활성 함수)
- Net Input Function의 Output을 Input으로 한 활성함숫값이 임계값보다 크면
활성함수는 뉴런을 활성화 시켜 1(True)을 출력하고,
그렇지 않으면 0(False)을 출력한다.
| Function Name | Graph | Formula |
| Binary Step Function |  |
\(f(x) = \begin{cases} 0 \quad \mathrm{if} \; x < 0\\ 1 \quad \mathrm{if} \; x \geq 0 \end{cases}\) |
| ReLU (Rectified Linear Unit) |
 |
\(f(x) = \begin{cases} 0 \quad \mathrm{if} \; x \leq 0\\ x \quad \mathrm{if} \; x > 0 \end{cases}\) \(\mathrm{max}\{0, x\} = x1_{x>0}\) |
| Logistic Sigmoid Function (Soft Step) |
 |
\(f(x) = {1 \over 1 + e^{-x}}\) |
Learning Process of Perceptron Model (퍼셉트론의 학습 과정)
- 연결강도들과 임계값을 초기화한다.
- 새로운 입력과 기대되는 출력을 제시한다.
- 실제 출력값을 계산한다.
- 연결강도를 재조정한다.
- 반도체 칩이 개발되기 이전이라, 수많은 케이블을 재연결하여 조정했다. - 더 이상 조정이 없을 때까지 Step 2부터 반복 수행한다.
Linear Separability (선형 분리 가능성)
- Pattern Class가 하나의 직선에 의해 두 영역으로 나누어질 수 있는가에 대한 개념이다.
- Single-Layer Perceptron Model은 선형 분리가 가능한 패턴들만 Classfication할 수 있다는 한계가 있다.
Reference: 처음 만나는 인공지능
(김대수 저, 생능출판사, 2020)
Reference: 인공지능 이론 및 실제
(양기철, 김명철 저; 홍릉과학출판사, 2018)
