LLM 활용방법 - 전이 학습, 파인 튜닝, 퓨샷 러닝, ...둥

​

전이 학습 (Transfer Learning)

전이 학습은 한 분야에서 배운 지식을 다른 분야의 문제 해결에 사용하는 방법이다. 파인튜닝보다 더 포괄적인 의미를 가지고 있으며, 일반적으로 기존에 학습한 모델을 새로운 작업에 적용하는 방법을 말한다. 이미 학습한 지식을 다른 관련 작업에 적용하여 학습 효율을 높인다. 한 분야에서 학습한 지식을 다른 분야에 적용하여 새로운 작업에 대한 초기 학습 성능을 향상시킨다.

​

[출처] https://blog.demir.io/understanding-transfer-learning-unlocking-the-power-of-pre-trained-models-885e4775d8bb

 

​파인 튜닝 (Fine-Tuning)

파인튜닝은 기존의 LLM을 특정한 작업이나 상황에 맞게 추가적으로 훈련시키는 과정이다. 이는 이미 학습한 기본 지식을 유지하면서, 모델이 특정 분야에 대해 더 정확하고 효과적으로 대응할 수 있게 한다.

​

이미 일반적인 언어 능력을 학습한 GPT 모델을 법률 텍스트 처리에 특화 시키기 위해 법률 문서를 사용하여 추가로 학습시키는 것이 파인튜닝이다. 기존의 대규모 학습을 바탕으로 추가적인 소규모 학습을 통해 빠르고 효율적으로 모델을 개선한다.

​

[출처] https://vitalflux.com/transfer-learning-vs-fine-tuning-differences/

​

* 전이 학습과 파인 튜닝의 차이점

"전이 학습"은 일반적인 개념으로, 한 도메인에서 다른 도메인으로 일반 지식을 전이하는 데 중점을 둔다. 기존 지식을 새로운 작업에 적용하는 방법이다. "파인튜닝"은 전이학습의 한 종류로, 사전 학습된 모델을 특정 작업에 맞게 미세 조정하는 과정을 의미한다. 모델을 특정 작업에 특화하여 한 단계 더 나아간다.

​	전이 학습	파인 튜닝
정의	전이 학습에서는 모델의 매개변수 중 일부 또는 몇 가지 작업별 계층만 학습하는 반면, 사전 학습된 모델의 매개변수 대부분은 고정된다. 인기 있는 전이 학습 전략 중 하나는 PEFT이다.	파인 튜닝에서 사전 학습된 모델의 모든 매개변수는 학습 프로세스 중에 업데이트된다. 모델의 모든 계층의 가중치는 새로운 학습 데이터에 따라 조정된다. 특정 작업이나 데이터 세트에 맞게 모델의 동작과 성능에 상당한 변화를 가져올 수 있다.
목적	목표는 사전 훈련된 모델을 매개변수를 최소한으로 변경하여 새로운 작업에 적응시키는 것이다. ​ 이 접근 방식은 사전 훈련 중에 습득한 일반적인 지식을 유지하는 것과 새로운 작업에서 좋은 성과를 내기 위해 충분한 작업별 조정을 하는 것 사이에서 최적의 균형을 찾는 것을 목표로 한다.	목표는 사전 훈련된 전체 모델을 새로운 작업이나 데이터 세트에 종합적으로 적응시키는 것이다. 해당 특정 작업에서 성능을 극대화하는 것이다.
모델 아키텍처	기존 아키텍처를 활용한다. 대부분의 레이어를 동결하고 소수의 매개변수만 미세 조정된다.	완전한 미세 조정을 통해 LLM의 모든 매개변수가 업데이트된다.
교육 과정	다른 레이어를 고정한 채로 새로운 상위 레이어만 훈련하는 것을 포함할 수 있다. 어떤 경우에는 새로 훈련된 매개변수의 수가 원래 LLM 가중치의 1-2%에 불과하다.	새로운 작업에 맞게 특정 계층과 매개변수를 조정하는 작업이 포함된다.
데이터 요구 사항	예제가 적은 데이터 세트	파인 튜닝을 위해서는 작업별로 대규모 데이터 세트가 필요하다.
계산 복잡도	이 접근 방식은 일반적으로 모델의 일부만 업데이트되므로 리소스 효율성이 더 높다. 메모리와 처리 능력이 덜 필요하고 종종 학습 시간이 더 빨라진다. 이는 제한된 계산 리소스가 있는 상황이나 빠른 실험에 더 쉽게 접근할 수 있게 한다.	모든 매개변수를 업데이트하는 것을 포함하기 때문에, 파인 튜닝은 일반적으로 더 많은 계산 집약적이고 시간이 많이 걸린다. 더 많은 메모리와 처리 능력이 필요하고, 특히 대형 모델의 경우 잠재적으로 더 긴 학습 시간이 필요하다. 종종 많은 양의 GPU RAM이 필요하다.
보관 요구 사항	저장 요구 사항 감소	증가된 저장 요구 사항 모델
모델 성능	성능은 비슷할 수 있지만 종종 전체 미세 조정보다 약간 낮다.	일반적으로 더 높은 성능을 가져온다.

​​

퓨샷 러닝 (Few-Shot Learning)

퓨샷 러닝은 매우 적은 양의 데이터로 학습하는 능력을 의미한다. 일반적으로 수천 개 이상의 데이터 샘플을 필요로 하는 기존의 학습 방법과 달리, 퓨샷 러닝은 몇 개의 예제만으로도 모델이 새로운 작업을 학습할 수 있다. 최소한의 데이터로도 높은 성능을 보이며, 짧은 시간 내에 새로운 작업에 대한 학습을 완료할 수 있다.

​

ex) 원샷 러닝, 퓨샷 러닝.

​

​

프롬프트 엔지니어링 (Prompt Engineering)

프롬프트 엔지니어링은 대규모 언어 모델(LLM)을 효과적으로 활용하기 위해 사용자 입력인 프롬프트를 설계하고 최적화하는 과정이다. 이는 주어진 작업에 맞는 적절한 출력이나 응답을 얻기 위해 모델에게 어떤 질문이나 요청을 할지를 정교하게 조정하는 기술을 의미한다. 프롬프트 엔지니어링은 AI 모델의 성능과 결과를 극대화하는 데 중요한 역할을 하며, 창의적이고 정확한 답변을 생성하도록 유도한다.

​

프롬프트 엔지니어링은 AI 모델의 성능을 극대화하기 위한 핵심 기술로, 프롬프트 설계에 따라 모델의 출력 결과가 크게 달라질 수 있다. 잘 설계된 프롬프트는 더 정확하고 일관된 결과를 제공할 뿐만 아니라, 모델의 활용성을 높여 다양한 분야에서 창의적인 응용을 가능하게 만든다.

 

​

프롬프트 엔지니어링의 예시

• 기본 프롬프트: "나무가 환경에 미치는 영향은?"
• 개선 프롬프트: "나무가 지구 온난화에 미치는 긍정적인 영향 세 가지를 설명해줘."
• 기술 프롬프트: "코딩할 때 주의해야 할 점은?"
• 개선 프롬프트: "Python 프로그래밍에서 메모리 관리를 최적화하는 방법을 세 가지 설명해줘."

​​

할루시네이션 (Hallucination)

할루시네이션은 AI 모델, 언어 모델이 부정확하거나 관련 없는 정보를 생성하는 현상을 말한다. 모델이 실제 존재하지 않는 부정확한 정보를 만들어낸다. 이는 모델이 존재하지 않는 사실을 만들어내는 경우로, 사용자에게 혼란을 줄 수 있다.

​

LLM 구현 과정의 마지막에 할루시네이션 필터링을 추가하여 이러한 현상을 줄이기 위한 노력을 기울인다. 보통 마지막 단계에서 할루시네이션을 최소화하기 위한 필터링 과정을 추가한다.

​

ex) 정확한 답변을 위해 temperature를 0으로 설정.