직접 선호 최적화
별도의 보상 모델 없이 인간의 선호도 데이터를 직접 사용하여 모델을 정렬하는 기법이다. 모델이 생성한 결과물 중 더 나은 것과 못한 것을 비교 학습함으로써 성능과 안정성을 동시에 높인다.