LLM 생성과정 - LLM 생성과정을 단계별로 살펴보자

​

LLM(대규모 언어 모델) 생성 과정은 매우 복잡하며, 데이터를 준비하는 초기 단계부터 모델을 배포하는 최종 단계까지 여러 단계로 나뉜다. LLM 생성 과정은 데이터를 준비하고 모델을 설계한 뒤, 학습과 최적화를 거쳐 배포하고 유지하는 일련의 과정으로 구성된다.

 

LLM(대규모 언어 모델)은 단순히 데이터를 학습하는 수준을 넘어, 대규모 데이터 처리 → 모델 학습 → 인간 정렬 → 서비스 적용까지 이어지는 복잡한 구조를 가진다.

 

특히 최근의 LLM은 단순 모델이 아니라 RAG, Agent, Serving 구조까지 포함된 하나의 시스템으로 이해하는 것이 중요하다.

 

이 글에서는 LLM이 어떻게 만들어지고 실제 서비스까지 연결되는지 단계별로 정리한다.​

 

1. 데이터 준비

LLM의 성능은 데이터에서 시작된다. 모델 구조보다 더 중요한 요소가 데이터 품질이다.

 

1) 데이터 수집

LLM을 학습시키기 위해 대규모의 텍스트 데이터를 수집한다.

이는 웹 페이지, 서적, 논문, 뉴스 기사, 소셜 미디어 포스트 등 다양한 출처에서 가져올 수 있다.

• 웹 크롤링: 인터넷에서 공개적으로 접근 가능한 텍스트 데이터 수집.
• 문서 데이터: 책, 논문, 뉴스, 포럼 등 다양한 출처의 데이터 활용.
• 오픈 데이터셋: Common Crawl, Wikipedia, OpenWebText 등 활용.

​

2) 데이터 정제

데이터의 품질을 높여 정확한 학습을 위해 필요한 단계이다. 수집한 데이터에서 노이즈를 제거하고, 텍스트를 정제한다. 중복 데이터 제거와 같은 추가적인 처리도 수행한다. 여기에는 특수문자 및 비정상적인 문자 제거, 대소문자 변환, 불용어 제거 등이 포함된다. 

• 데이터 품질 점검: 수집한 원시(raw) 데이터의 품질을 평가하고 불필요한 데이터를 식별.
• 노이즈 제거: 학습에 방해가 될 수 있는 불필요한 정보를 제거.
• 불량 데이터 필터링: 모델 학습을 저해할 수 있는 저품질 데이터 제거.
• 언어 필터링 및 표준화: 모델이 특정 언어로 학습할 수 있도록 데이터의 일관성을 유지.
• 개인정보 및 민감 데이터 제거: 개인 정보 보호 및 윤리적 문제 방지.
• 텍스트 정규화: 데이터의 구조와 형식을 통일하여 모델 학습을 용이하게 함.

​※  이 단계에서 모델 성능이 크게 좌우된다.

 

3) 데이터 전처리

데이터를 LLM 학습에 적합한 형태로 만드는 과정이다.

텍스트를 작은 단위로 나누는 토큰화 작업과 단어의 기본 형태로 변환하는 정규화 작업을 거친다.

• 데이터 정제: 중복, 오류, 불필요한 HTML 태그 제거.
• 토큰화: 텍스트를 모델이 이해할 수 있는 단위(단어, 문자 등)로 분리.
• 필터링: 저품질 데이터나 특정 언어만 남기기.
• 정규화: 대소문자 변환, 숫자 및 기호 처리.

​※ 전통 NLP와 달리 불용어 제거는 일반적으로 수행하지 않는다.

​

2. 모델 설계

1) 모델 아키텍처 설계

주어진 문제에 적합한 모델의 구조를 설계한다.

여기에는 트랜스포머 아키텍처와 같은 최신 신경망 구조를 선택하고, 레이어의 수, 각 레이어의 크기 등을 설정한다.

• 기본 구조 설계: Transformer 기반 아키텍처(GPT, BERT 등) 설정.
• 파라미터 크기 결정: 모델 크기(레이어 수, 헤드 수, 토큰 임베딩 차원 등) 정의.
• 특수 설계: 필요한 경우 특정 작업에 적합한 추가 모듈 설계.

​

2) 하이퍼파라미터 설정

모델 학습에 중요한 하이퍼파라미터를 튜닝한다. 여기에는 학습률, 배치 크기, 에포크 수, 옵티마이저 유형 등이 포함된다.

​

​

3. Pre-training (사전 학습)

LLM의 핵심 단계이다.
대규모 텍스트 데이터를 기반으로 언어의 패턴과 구조를 학습한다.

• 목적: 다음 토큰 예측 (Next Token Prediction)
• 방식: 비지도 학습
• 구조: Transformer 기반

​※  이 단계에서 모델은 문법, 의미, 문맥 이해 능력을 획득한다.

4. Fine-tuning (미세 조정)

Pre-training 모델을 특정 목적에 맞게 조정한다.

• QA 시스템
• 챗봇
• 코드 생성
• 문서 요약

Fine-tuning 방식:

• Supervised Fine-tuning (SFT)
• Task-specific dataset 활용

 

5. Alignment (RLHF)

LLM에서 가장 중요한 단계이다.

단순 학습된 모델은 인간 기준에서 부적절한 응답을 생성할 수 있다.
이를 해결하기 위해 인간 피드백 기반 정렬이 필요하다.

RLHF 구성

1. 인간이 좋은/나쁜 답변 평가
2. 보상 모델(Reward Model) 학습
3. 강화학습으로 모델 최적화

결과:

• 더 자연스러운 답변
• 안전성 향상
• 사용자 의도 반영

​

6. 평가 및 검증

LLM 평가는 일반 ML과 다르다.

주요 평가 지표

• Perplexity (언어 모델 품질)
• BLEU / ROUGE (텍스트 생성)
• Human Evaluation (가장 중요)
• Benchmark (MMLU 등)

학습 데이터와 검증 데이터에서의 성능을 비교하여 모델이 오버피팅(학습 데이터에는 잘 맞지만 새로운 데이터에는 성능이 떨어짐)이나 언더피팅(학습 데이터에 충분히 맞지 않음)되지 않도록 한다.​

• Overfitting / Underfitting
• Hallucination 발생 여부

 

7. 배포 및 Serving 최적화

모델을 실제 서비스에 적용하는 단계이다. 단순 API 배포로 끝나지 않는다.

핵심 요소

• Inference 최적화
• 모델 경량화 (Quantization)
• GPU Serving (vLLM, TensorRT-LLM)
• Streaming 응답 처리

​※  온프레미스 환경에서는 GPU 자원 활용 효율이 핵심이다.

8. 서비스 확장

1) RAG (Retrieval-Augmented Generation)

LLM의 한계를 보완하는 구조

• Vector DB (FAISS, Milvus, pgvector)
• Retriever → 관련 문서 검색
• LLM → 답변 생성

효과:

• 최신 정보 반영
• 정확도 향상
• Hallucination 감소

 

2) Agent 구조

LLM이 단순 응답을 넘어서 행동을 수행하게 만든다.

• Tool 호출 (검색, DB, API)
• Multi-step reasoning
• 자동화 작업 수행

 

9. 모니터링 및 지속 개선

LLM은 배포 이후가 더 중요하다.

 

핵심 관리 요소

• 사용자 피드백 수집
• 로그 기반 성능 분석
• 데이터 드리프트 대응
• 지속적인 재학습