선호도 최적화
두 응답 중 사람이 선호하는 것을 선택한 데이터를 통해 모델의 출력을 개선하는 기법이다. RLHF나 DPO 등이 대표적이며 SFT 이후 단계에서 수행된다. 본 연구에서는 이 단계가 기존 가치를 바꾸기보다 유지하는 경향이 있음을 확인했다.