[Statistics] Regression | 회귀

Regression

 

회귀

 

- 하나 혹은 그 이상의 독립변수(Feature)들이 종속변수(Label)에 미치는 영향을 추정하는 통계 기법이다.

 

---

Types of Regression (회귀의 종류)

 

- 회귀의 종류는 기준에 따라 아래와 같이 분류할 수 있다:

 

Criteria	Regresison	Description
예측변수의 종류	Regression (회귀)	- 수치형 데이터를 다루는 회귀이다.
	Logistic Regression (로지스틱 회귀)	- 범주형 데이터를 다루는 회귀이다.
예측변수의 개수	Simple Regression (단순 회귀)	- 단일 독립변수에 대해 분석한다.
	Multiple Regression (다중 회귀)	- 2개 이상의 다중 독립변수들에 대해 분석한다.
종속변수의 개수	Univariate Regression (단변량 회귀)	- 회귀 분석의 결과로 단일 반응변수가 도출된다.
	Multivariate Regression (다변량 회귀)	- 회귀 분석의 결과로 2개 이상의 다중 반응변수가 도출된다.
모델의 차수	Linear Regression (선형 회귀)	- 회귀 분석에 1차식 모델이 사용된다.   (선형 모델)
	Nonlinear Regression (비선형 회귀)	- 회귀 분석에 2차식 이상의 모델이 사용된다.   (비선형 모델)

 

---

Linear Regression (선형 회귀)

 

- \((X_1, X_2, \cdots, X_n)\)을 \(n\)차원의 확률 변수로 하여
  조건부 기댓값 \(X_1 = m_1(X_2, \cdots, X_n) = E(x_1 | X_2 = x_2, \cdots, X_n = x_n)\) 이 존재할 때,
  이를 "\(X_1\)의 \((X_2, \cdots, X_N)\)으로의 회귀 함수(회귀 곡선)" 이라 한다.

 

- 특히, \(m_1(x_2, \cdots, x_n) = \alpha + \beta_2x_2 + \cdots + \beta_nx_n\) 이면,
  "\(X_1\)의 \((X_2, \cdots, X_n)\) 으로의 회귀는 선형"이라고 한다.

 

- 즉, 두 변수 사이의 관계가 직교 좌표 상에서 직선으로 표시되는 관계를 '선형 회귀'라 한다.

 

- 선형 회귀는 일반적으로 모델의 예측과 정답 사이의 오차를 최소화하는
  학습 파라미터(계수) \(w\)를 도출해내는 것을 목표로 한다.

 

- 선형회귀에서의 학습 파라미터를 찾기 위한 방법은 아래와 같이 두가지로 존재한다:

 

• Ordinary Least Squares (OLS; 최소 제곱법)
• Gradient Descent (경사 하강법)

 

---

Reference: Introduction to Probability 2nd Edition
(Dimitri P. Bertsekas, John N. Tsitsiklis 저, Massachusetts Institute of Technology, 2008)

 

Reference: "Linear regression"; Wikipedia; 2022년 8월 27일 작성; 2022년 9월 16일 검색, URL.