파라미터 : 매개 변수를 의미, (모델 내부에서 결정되는 변수)

하이퍼 파라미터 : 지정된 데이터에서 모델이 추정할 수 없는 파라미

하이퍼 파라미터 튜닝

사용 모듈 : from sklearn.model_selection import GridSearchCV

• 모델의 하이퍼 파라미터를 조정하는 것
• 베이지안 오비미제이션과 같이 자동으로 하이퍼 파라미터를 선택해주는 라이브러리가 따로 전재

하이퍼 매개 변수 튜닝 방법

<aside> 🔥 랜덤 검색(Random Search)

<aside> 🔥 하이퍼파라미터에 대해 가능한 값의 그리드를 만들고 각 반복은 이 그리드에서 하이퍼 파라미터의 임의 조합을 시도하고, 성능을 기록하고, 마지막으로 최상의 성능을 제공한 하이퍼 파라미터 조합 반환

</aside>

</aside>

<aside> 🔥

그리드 검색(Grid Search)

<aside> 🔥 하이퍼 파라미터에 사용할 수 있는 값의 그리드 생성 후 특정 순서로 하이퍼 파라미터 조합 시도하고 가능한 모든 하이퍼파라미터 조합에 모델을 맞추고 모델 성능 기록 후 최상의 하이퍼 파라미터를 사용하여 최상의 모델 반환

</aside>

</aside>

베이지안 최적화

• 모델에 적합한 하이퍼 파라미터를 튜닝하고 찾는 것 → 최적화 문제
• 현재 최상의 관측지보다 개선될 가능성이 있는 영역으로 샘플링을 지시하는 획득 함수 사용

(목적) → 모델의 손실 함수를 최소화

트리 구조 Parzen 추정기(TPE)

• 위 최적화의 개념은 베이지안 최적화와 유사
• 단, y는 최소화할 함수 x는 하이퍼 파라미터의 값, TPE는 P(x|y) 및 P(y)
• 하이퍼 매개 변수 간의 상호 작용을 모델링 하지 않음

하이퍼 매개변수 튜닝