CI / CD 지속적 통합과 지속적 배포 - 본 포스트에서는 DevOps 엔지니어의 핵심 업무인 CI와 CD에 대해 알아본다. * DevOps Engineering (데브옵스 엔지니어링) - Development(개발)와 Operation(운영)의 혼성어이다. - 개발 담당자와 운영 담당자가 협력하여 소통, 협업, 통합 및 자동화에 중점을 두는 개발 방법론이다. - CI/CD의 자동화는 DevOps Engineering의 핵심 업무에 속한다. CI (Continuous Integration; 지속적 통합) - 새로운 코드 변경 사항을 정기적으로 빌드 및 테스트하여 Repository에 Integration하는 것을 의미한다. - CI가 필요한 환경은 아래와 같다: 다수의 개발자가 형상관리 툴을 공유하여 ..
qsort() Function qsort() 함수 - 헤더파일에 정의된 qsort() 함수에 대해 설명한다. - qsort() 함수는 데이터를 정렬하는 함수이다. * Linux manual page - qsort(3p) (URL) qsort(3p) - Linux manual page qsort(3p) — Linux manual page QSORT(3P) POSIX Programmer's Manual QSORT(3P) PROLOG top This manual page is part of the POSIX Programmer's Manual. The Linux implementation of this interface may differ (consult the corresponding Linux manual..
MySQL DB Server Deployment on AWS RDS AWS RDS 상에 MySQL 데이터베이스 서버 구축하기 - 본 포스트에서는 아마존 웹 서비스의 RDS 서비스를 통해 MySQL 서버 인스턴스를 클라우드에 생성하는 방법을 다룬다. - 본 포스트는 2022년 10월 09일(KST)에 작성되었다. About Amazon RDS (Amazon RDS에 관하여) - Amazon Relational Database Service의 약어이다. - AWS에서 제공하는 MySQL, PostgreSQL, Oracle, SQL Server 및 MariaDB를 위한 관리형의 관계형 데이터베이스 서비스이다. - 클릭 몇 번으로 클라우드에서 관계형 데이터베이스를 설정, 운영 및 확장할 수 있게 한다. - RD..
Outlier Handling 이상치 처리 - 이상치란, 데이터의 중심에서 많이 떨어져 있는 값을 의미한다. - 이러한 이상치들은 Mean(평균)에는 많은 영향을 미치나, Median(중앙값)에는 많은 영향을 미치지 않는다. - Linear Regression에서는 이상치를 제거해야 성능이 제고되나, k-NN에서는 이상치가 미치는 영향이 크지 않다. - 이상치가 통계학에서 갖는 의의는 아래 포스트를 참조하자. * Outlier (이상치) (URL) [Statistics] Outlier | 이상치 Outlier 이상치 dad-rock.tistory.com - 대표적인 이상치 처리 방법은 아래와 같다: Standard Score(\(Z\); 표준점수)로 변환한 후, \(\pm 3\sigma\) 를 제거하는 ..
Standardization 표준화 - 머신러닝에 사용할 여러 Dataset들이 서로 다른 분포를 갖고 있을 때, 용이한 비교를 위해 표준에 맞추어 데이터들을 통일시키는 작업을 의미한다. - 이때, 데이터들의 평균은 0, 표준 편차를 1에 맞춘다. Mechanism (원리) \(\large{X_{new_i} = {X_i - \mu \over \sigma}}\) Legend Description \(\mu\) - \(X\)의 평균 \(\sigma\) - \(X\)의 표준 편차 - 표준화의 통계학적인 원리는 아래 포스트를 참조하자. * Standardization (표준화) (URL) [Statistics] Standardization | 표준화 Standardization 표준화 dad-rock.tisto..
k-NN Algorithm (k-Nearest Neighbors Algorithm) k-최근접 이웃 알고리즘 - 패턴 인식에서 Classification(분류) 혹은 Regression(회귀)에 사용되는 Non-Parametric Statistics(비모수 통계) 방식 알고리즘이다. - 새로운 데이터가 주어졌을 때, 새로운 데이터 주위에 가장 가까운 k개의 기존 데이터들의 정보로 새로운 데이터를 분류(예측)하는 방법이다. (이를 Regression에 적용하는 경우, 레이블의 평균값으로 새로운 데이터를 예측한다.) - 학습 데이터에 존재할 수 있는 노이즈의 영향을 크게 받지 않는다. - 학습 데이터의 수가 많을 때 보다 효과적인 알고리즘이다. * Non-Parametric Statistics (비모수 통계..
Segment Tree 세그먼트 트리 - 데이터의 교체가 발생되는 환경에서, 데이터의 합(총합과 부분합)을 가장 빠르게 구할 수 있는 자료구조이다. - 세그먼트 트리에서 지원하는 연산은 아래와 같다: Operation: Initiation- 주어진 데이터를 통한 세그먼트 트리 구축 Operation: Sum- 주어진 Sequence의 부분합 계산 (A[i] + … + A[k]) Operation: Update- i번째 데이터 교체 (A[i] = v) Mechanism (원리) - 세그먼트 트리에서는 데이터들은 Sequence(Array)로 저장한다. SpecificationDescription데이터의 개수(= Leaf Node의 개수)\(N\)세그먼트 트리의 높이 (H)\(\lceil\log{N}\..
