[AWS]비즈니스 관점에서 파인튜닝 이해

프리 트레이닝 모델 vs 파인 튜닝 모델

성능 상향평준화 된 프리 트레이닝 모델(독점 closed 모델)

 

ㆍ프리 트레이닝 모델
= LLM & sLLM 
= 라벨링되지 않은
= 일반 개념의 데이터로
= 일반 개념 이해도 극대화  > 일반적인 논리연산/판단/생산적인 일반적인 작업(생성, 요약, 질의, 응답 등)

ㆍ파인 튜닝
= 소수 라벨링 된 / 혹은 되지 않은
= 특정 개념의 데이터로
= 특정 도메인 개념 이해도 극대화

= 특정 작업 수행 (지침/가이드에 따른)

 

 

파인 튜닝 도입에 대한 판단 기준표

파인 튜닝 도입에 대한 판단 기준표

ㆍ파인튜닝 복잡도/비용

: 프리트레이닝/재트레이닝 > 정렬 튜닝 > 명령어 튜닝 > 프롬프트 엔지니어링 > 특정 지식/컨셉/문장/스타일/어투

 

ㆍFrom-scratch training : Pre-Training / Re-Training

- 방식 : 데이터셋 추가 학습

- 결과 : 특정 도메인이나 목적에 맞는 최적화 성능 도출 가능

 

ㆍRLHF(Reinforcement Learning from Human Feedback) : 정렬튜닝(alignment tuning)

- 방식 : 강화학습, 직접 선호도 최적화

- 결과 : 모델의 출력 품질, 다양성, 윤리성 등 개선 가능

- ex) 존댓말 = 선호도 높게 인식하여 맞는 대답 출력 

 

ㆍ파인튜닝 : 명령어 튜닝(instruction tuning)

- 방식 : 명령어 데이터셋 구성, 프롬프트 엔지니어링

- 결과 : 새로운 명령어에 대한 적절한 수행이 가능