1. 그리드 탐색
- 모든 조합 탐색
- 장점: 모든 조합을 시도하기에 최적의 값 거의 항상 찾음
- 단점: 시간 오래 걸림. 계산 비용 어마어마.
2. 랜덤 탐색
- 무작위 조합 시도 (모든 조합 x)
- 장점: 그리드보다 적은 시간 소요. = 효율적 탐색
- 단점: 최적의 값 찾지 못할 수도 있음
3. 베이지안 최적화
- 이전에 시도한 조합의 결과를 기반으로, 새로운 하이퍼파라미터 값 확률적 추천
- 장점: 더 적은 시도로 최적의 값 찾을 수 있음
- 단점: 구현 복잡. 더 많은 계산 리소스 필요할 수도.
4. 진화 알고리즘
- 초기 하이퍼파라미터 값에서 시작. 교배 및 돌연변이를 통해 하이퍼파라미터 값을 진화시킴.
- 장점: 자동으로 최적의 값 찾아가며 여러 변형 시도 가능
- 단점: 계산 시간 오래 걸릴 수도.
