🌠 2025년 마음가짐

2025년에는 나의 부족한 점을 더 업그레이드 해보자는 마음을 갖게 됐다.
나는 나름 여러 활동을 통해 얕지만 많은 지식을 갖고 있다고 생각하고 있다.

하지만, 내가 가장 잘하는 하나의 지식을 뽑아보라고 하면 정하기가 어려운 것 같다.
중소기업의 장점이자 단점이 여기서 부각되는데 다양한 경험은 있지만 깊지 못하다.

🎨 프로젝트 개요

저는 클라우드 서비스를 제공하는 회사에 근무 중이며 비용에 대한 이슈를 자주 접하게 됩니다.

가끔 생각나는 내용으로 비용의 추이를 미리 예측할 수 있다면 굉장히 좋을텐데라는 고안을 하였는데,
이런 비용 예측 내용을 차트 형태로 만들어 실제 비용과 비교해보면 어떨까라는 생각도 하게 됐습니다.

📈 결정 계수(R2 Score/R2-Squared) 란?

결정계수, R2 Score는 회귀 모델의 적합도 확인을 위해 사용하는 기법입니다.
회귀 모델의 평가 지표 중 하나로 사용 가능하고 값은 0~1 사이의 값을 갖습니다.

결과가 1에 가까울수록 성능이 좋다는 것을 의미하고 이는 모델이 추론한 결과가
데이터를 설명하고 있는지에 대한 지표라고 생각하면 내용을 이해하기 쉽습니다.

📲 규제 기법

딥러닝의 경우 층이 깊지 않더라도 최적화가 필요한 파라미터가 굉장히 많습니다.

이 경우 비교적 깊지 않더라도 과대적합에 빠질 수 있다는 문제가 존재하고 있지만,
딥러닝에선 보통 깊이를 줄이지 않고 과대적합을 방지하는 규제를 사용합니다.

대표적으로 데이터 증대, 드롭아웃, 가중치 감쇠가 있고 이에 대해 알아봅니다.

📚 합성곱 신경망의 구조

이전 포스팅에서는 합성곱 신경망을 구성하기 위한 기초 사항에 대해서 알아보았습니다.

합성곱 신경망도 마찬가지로 깊은 신경망으로 구성하고 있어 구조 파악이 필요합니다.
만약 여러 층으로 구성된다면 각 층의 특징 맵의 크기와 채널을 미리 파악해야 합니다.

📷 합성곱 신경망(Convolution Neural Network)

합성곱 신경망(Convolution Neural Network)은 합성곱을 이용한 신경망으로
이미지 처리 분야에서 공간에 대한 특징 추출에 유리하여 많이 사용되는 형태입니다.

이를 이용하여 신호 처리, 이미지 특징 분석, 컴퓨터 비전 등에서 사용됩니다.

🔢 특징 맵(Feature Map)?

📈 KL(Kullback-Leibler) Divergence

이전 포스팅을 통해 불확실성을 측정하기 위한 엔트로피에 대한 개념을 알아봤습니다.

KL-Divergence는 교차 엔트로피를 이용하여 확률분포의 차이를 계산하는 함수로
근사하는 다른 분포를 샘플링 시 발생할 수 있는 정보 엔트로피의 차이를 계산합니다.

😀 적응적 학습률(Adaptive learning rate)의 개념

경사하강법에서 소개한 내용을 토대로 확인 시 𝜌(rho)라 불리는 학습률 값의 경우
가중치 갱신 과정에서 모두 동일한 값을 이용하여 수행된다는 것을 확인할 수 있습니다.

이를 동일 값을 사용하는 것이 아닌 각 매개변수 별 다른 값을 이용하는 것이 고안됐고,
이러한 방법을 적응적 학습률(Adaptive learning rate)이라 표현하고 있습니다.

😀 Adam(Adaptive Momemtum Estimation)

Adam(Adaptive Momemtum Estimation)은 소개한 Momentum과 RMSProp의 결합 버전으로
현재 기준으로 딥러닝의 Optimizer 중 가장 많이 사용되고 있는 알고리즘이라 볼 수 있습니다.

⚽ 모멘텀(Momentum)은 무엇인가?

모멘텀(Momentum)은 물리학에서 사용되는 용어와 비슷한 개념이라고 보면 될 것 같습니다.
물리학에서는 운동량, 물체가 특정 이동하려고 하는 것을 의미하고 이는 관성이라 보면 됩니다.

🦾 모멘텀의 고안 이유

모멘텀은 기존 포스팅에서 설명드린 확률적 경사하강법(SGD)의 단점을 보완하기 위한 요소입니다.