[Artificial Intelligence] Neural Network Overview | 신경망 개요

Neural Network Overview (NN Overview)

 

신경망 개요

 

* Neural Network = Artificial Neural Network = NN

 

- Neural Network(신경망)이란, 인간 두뇌의 생물학적 뉴런의 작용('학습'과 '인지')을 모방하여

  여러 뉴런들로부터 들어오는 입력을 일정한 함수를 거쳐 출력 노드를 통해 결과를 얻어내는 네트워크이다.

- 각 뉴런은 독립적으로 작동하는 Processor로, NN은 Parallelism이 뛰어나다.

- Connectionism(연결주의) 기반 인공지능 모델이다.

- 일반적으로, 신경망에서의 학습은 Supervised Learning(지도 학습)으로 이루어진다.

- 신경망을 통한 음성인식 기술은 음성 파형의 오차에 대한 허용도가 크고여러 상황을 학습할 수 있어 유망하며,
  초기에는 TDNN Model 혹은 Hidden Markov Model이 이용되었고, 코호넨의 자기조직화 방법이 적용되기도 했으며,
  이후 ML의 가우스 혼합 모델이 사용되었다.

 

 

 

* Artificial Intelligence Overview (인공지능 개요) (URL)

[Artificial Intelligence] Artificial Intelligence Overview | 인공지능 개요

 

---

Neural Network Algorithms (신경망 알고리즘)

 

- 신경망 모델과 그에 대한 학습 알고리즘은 아래와 같이 발전을 거듭해왔다.

1. Boolean Circuit Model of Human Brain (1943; McCulloch, Pitts)
- 인간의 두뇌는 수많은 뉴런으로 구성되어 논리적 명제를 처리하는 컴퓨터라 여기고,
  단순한 명제들을 네트워크로 연결하여 복잡한 명제를 처리하는 방향으로 신경망을 정의했다.
 

 

2. Hebbian Rule (1943, Hebb)
- 뉴런들 사이의 학습은 뉴런 사이의 반복적 Firrng(점화)으로 이루어지며,
  두 뉴런 사이의 Weight(Strength of Connection; 연결 강도)를 조정할 수 있도록 모델링했다.
- 인류 최초의 학습 규칙으로 여겨지며, 이후 다른 NN 모델들의 학습 규칙의 토대가 되었다.
 

 

3. Single-Layer Perceptron Model and Perceptron Algorithm (1957; Rosenblatt) (URL)

[Artificial Intelligence] Single-Layer Perceptron Model | 단층 퍼셉트론 모델

- Mark I Perceptron은 최초의 신경망 하드웨어 장치였으며,
  Single-Layer Perceptron Model은 최초로 문자를 인식한 신경망 모델이다.
- 1969년 Minsky의 『Perceptrons』에 의해 단층 퍼셉트론 모델의 한계점이 분석되며,
  신경망 관련 연구는 15년 동안 침체기를 맞이했다.

 

 

4. Multilayer Perceptron Model and Backpropagation Algorithm (1984; PDP Group, Rumelhart) (URL)

[Artificial Intelligence] Multilayer Perceptron Model | 다층 퍼셉트론 모델

- Single-Layer Perceptron Model에 하나 이상의 Hidden Unit(은닉층)을 첨가한 신경망 모델이다.

 

 

5. DNN(Deep Neural Network) and Deep Learning Algorithm (2006; Hinton)

 

---

Reference: 처음 만나는 인공지능
(김대수 저, 생능출판사, 2020)

 

Reference: 인공지능 이론 및 실제
(양기철, 김명철 저; 홍릉과학출판사, 2018)