📈 결정 계수(R2 Score/R2-Squared) 란?

결정계수, R2 Score는 회귀 모델의 적합도 확인을 위해 사용하는 기법입니다.
회귀 모델의 평가 지표 중 하나로 사용 가능하고 값은 0~1 사이의 값을 갖습니다.

결과가 1에 가까울수록 성능이 좋다는 것을 의미하고 이는 모델이 추론한 결과가
데이터를 설명하고 있는지에 대한 지표라고 생각하면 내용을 이해하기 쉽습니다.

📲 규제 기법

딥러닝의 경우 층이 깊지 않더라도 최적화가 필요한 파라미터가 굉장히 많습니다.

이 경우 비교적 깊지 않더라도 과대적합에 빠질 수 있다는 문제가 존재하고 있지만,
딥러닝에선 보통 깊이를 줄이지 않고 과대적합을 방지하는 규제를 사용합니다.

대표적으로 데이터 증대, 드롭아웃, 가중치 감쇠가 있고 이에 대해 알아봅니다.

📚 합성곱 신경망의 구조

이전 포스팅에서는 합성곱 신경망을 구성하기 위한 기초 사항에 대해서 알아보았습니다.

합성곱 신경망도 마찬가지로 깊은 신경망으로 구성하고 있어 구조 파악이 필요합니다.
만약 여러 층으로 구성된다면 각 층의 특징 맵의 크기와 채널을 미리 파악해야 합니다.

📷 합성곱 신경망(Convolution Neural Network)

합성곱 신경망(Convolution Neural Network)은 합성곱을 이용한 신경망으로
이미지 처리 분야에서 공간에 대한 특징 추출에 유리하여 많이 사용되는 형태입니다.

이를 이용하여 신호 처리, 이미지 특징 분석, 컴퓨터 비전 등에서 사용됩니다.

🔢 특징 맵(Feature Map)?

📈 KL(Kullback-Leibler) Divergence

이전 포스팅을 통해 불확실성을 측정하기 위한 엔트로피에 대한 개념을 알아봤습니다.

KL-Divergence는 교차 엔트로피를 이용하여 확률분포의 차이를 계산하는 함수로
근사하는 다른 분포를 샘플링 시 발생할 수 있는 정보 엔트로피의 차이를 계산합니다.

😀 적응적 학습률(Adaptive learning rate)의 개념

경사하강법에서 소개한 내용을 토대로 확인 시 𝜌(rho)라 불리는 학습률 값의 경우
가중치 갱신 과정에서 모두 동일한 값을 이용하여 수행된다는 것을 확인할 수 있습니다.

이를 동일 값을 사용하는 것이 아닌 각 매개변수 별 다른 값을 이용하는 것이 고안됐고,
이러한 방법을 적응적 학습률(Adaptive learning rate)이라 표현하고 있습니다.

😀 Adam(Adaptive Momemtum Estimation)

Adam(Adaptive Momemtum Estimation)은 소개한 Momentum과 RMSProp의 결합 버전으로
현재 기준으로 딥러닝의 Optimizer 중 가장 많이 사용되고 있는 알고리즘이라 볼 수 있습니다.

⚽ 모멘텀(Momentum)은 무엇인가?

모멘텀(Momentum)은 물리학에서 사용되는 용어와 비슷한 개념이라고 보면 될 것 같습니다.
물리학에서는 운동량, 물체가 특정 이동하려고 하는 것을 의미하고 이는 관성이라 보면 됩니다.

🦾 모멘텀의 고안 이유

모멘텀은 기존 포스팅에서 설명드린 확률적 경사하강법(SGD)의 단점을 보완하기 위한 요소입니다.

📀 교차 엔트로피 (Cross Entropy)

교차 엔트로피는 인공지능의 분류(Classification) 문제에서 많이 사용되는 함수입니다.
이 함수가 무엇이고 어떠한 역할을 하기에 많이 사용되고 있는지 알아보도록 하겠습니다.

💿 엔트로피 (Entropy)

교차 엔트로피를 이해하기 위해서는 먼저 엔트로피에 대한 개념을 이해해야 합니다.
엔트로피는 간단하게 말하면 확률의 분포에 따른 불확실성을 측정하는 함수입니다.

📉 경사하강법 (Gradient Descent)?

기계학습 간 최적화 함수의 대표 격인 경사하강법에 대해서 간단하게 소개하고자 합니다.

🦾 기계학습의 간단한 동작 과정

인공지능은 규칙 기반에서 기계학습을 이용한 데이터 기반까지 지속 발전 중에 있습니다.
기계학습에서는 기계가 주어진 데이터의 관계를 찾아 규칙을 만드는 것을 목적으로 합니다.