Text Gen AI28

• 

  LitGPT - 성능과 효율을 갖춘 LLM 구현 LitGPT 개요최근 LLM(대규모 언어 모델)을 활용한 서비스 개발이 급격히 늘어나고 있다. 하지만 실제로 모델을 학습하고, 미세 조정하고, 배포하는 과정에 들어가면 생각보다 높은 진입 장벽을 마주하게 된다. 복잡한 설정, GPU 자원 관리, 다양한 프레임워크 간의 호환성 문제까지 고려해야 하기 때문이다. 이러한 문제를 해결하기 위해 등장한 도구가 바로 LitGPT다. LitGPT는 LLM의 전 과정을 단순화하여, 누구나 빠르게 모델을 다루고 실험할 수 있도록 설계된 오픈소스 라이브러리다. LitGPT는 LLM을 가장 빠르게 다루는 실전 도구이다.LitGPT 필요한 이유LLM을 직접 다루는 과정은 크게 다음과 같은 문제를 포함한다.모델 구조 이해 필요학습 및 미세 조정 환경 구성GPU 및 메모리 최적화.. Text Gen AI/대규모 언어 모델 (LLM) 2026. 5. 4.

• 

  Artificial Intelligence - 인공지능 발전에 기여한 사람들을 알아보자 ​1. 개요인공지능은 최근에 생겨난 기술이 아니라 아주 오래전부터 존재해온 기술이다. 4차 산업혁명과 컴퓨팅 기술의 발전과 더불어 최근에 많은 주목을 받고 있다. 1980년대 신경망 이론으로 인공지능 연구가 활발했었고 1990년대에 인터넷의 발전과 함께 기술이 더욱 향상되었다. 그리하여 1997년에 IBM의 딥블루는 체스 세계 챔피언을 이겼고, 2011년에는 IBM의 왓슨이 퀴즈쇼에서 우승을 하였다. 그리고 2016년 구글의 알파고는 바둑으로 이세돌 9단을 이겼다. 인공지능의 발전에 기여한 사람들에 대해서 살펴보는 시간을 가져본다.​​2. 앨런 튜링 (Alan Turing) 케임브리지 대학에서 수학을 전공하였고 미국에서 박사학위를 취득하였다. 현대 컴퓨터 과학과 AI의 아버지로 불리며, 튜링 테스트(Tu.. Text Gen AI/텍스트 생성 AI 2026. 5. 4.

• 

  RAG - 검색 증강 생성(RAG)이란 무엇인가? ​RAG 개요인공지능을 실제 서비스에 적용하다 보면 한 가지 한계에 반드시 부딪히게 된다. 바로 “그럴듯하지만 틀린 답변(할루시네이션)”이다. 대규모 언어 모델(LLM)은 매우 강력하지만, 학습된 데이터 범위를 벗어나거나 최신 정보가 필요한 경우에는 정확도가 떨어질 수 있다. 이 문제를 해결하기 위해 등장한 구조가 바로 RAG(Retrieval-Augmented Generation)이다. RAG(Retrieval-Augmented Generation)는 언어 모델을 강화하기 위해 정보 검색을 결합한 기술이다. ​​ RAG는 단순히 답을 생성하는 것이 아니라, 필요한 정보를 먼저 검색한 뒤 그 기반으로 답을 생성하는 방식이다. ​RAG는 LLM(대규모 언어 모델)의 한계를 보완하고, 보다 정확하고 유용한 .. Text Gen AI/랭체인 (LangChain) 2026. 5. 4.

• 

  Transformer - 모델의 인코더-디코더 구조 이해하기 ​Transformer 구조 개요 (Encoder-Decoder)Transformer는 인코더-디코더(encoder-decoder) 구조를 갖춘 딥러닝 모델로, 입력 시퀀스를 받아 출력 시퀀스를 생성하는 시퀀스-투-시퀀스(sequence-to-sequence) 모델이다. 예를 들어 번역기를 생각하면, 인코더가 원문 문장을 입력받아 내부 표현으로 인코딩하고, 디코더가 이 표현을 참고하여 번역된 문장을 한 단어씩 만들어낸다. Transformer의 큰 특징은 RNN과 달리 입력 전체를 한꺼번에 처리하면서도, 어텐션(attention) 메커니즘을 통해 각 단어의 중요도를 동적으로 파악하는 점이다. 이를 통해 문맥을 더 잘 이해하고 병렬 처리로 속도를 높였다.Transformer의 전체 구조를 간략히 나타낸 그.. Text Gen AI/자연어 처리 (NLP) 2026. 5. 4.

• 

  LangChain - Ollama로 구현하는 LLM 서비스 ​랭체인을 사용하여 LLM 기반의 AI 서비스를 개발할 때, OpenAI의 언어모델이나 임베딩 모델을 사용하려면 과금을 해야 한다. 서적이나 인터넷 자료를 참조하며 해당 기술을 배우는 시점에서 실행할 때마다 돈을 내야 하는 것은 부담이 될 수 있다. Ollama를 사용하면 LLM과 Embedding 모델을 무료로 사용할 수 있다. 인터넷 자료나 서적의 코드의 일부를 변경하면 실행하는데 문제가 없다. 1. PDF 파일 불러오기LangChain을 사용하여 "황순원의 소나기(TheCloudburst.pdf)" PDF 파일을 불러와 문서객체로 변환한다. LangChain에서 제공하는 PDF 전용 로더 클래스인 PyPDFLoader를 사용한다.from langchain.document_loaders import.. Text Gen AI/랭체인 (LangChain) 2026. 5. 3.

• 

  LangChain - 랭체인 주요 모듈과 주요 기능을 정리 ​ 랭체인(LangChain)은 자연어 처리(NLP)와 인공지능(AI) 응용 프로그램 개발을 돕는 프레임워크로, 다양한 모듈을 통해 유연하고 확장 가능한 AI 애플리케이션 구축을 지원한다. 랭체인은 다음 모듈을 위한 표준 확장 가능한 인터페이스와 외부 통합을 제공한다.​모듈들을 조합하여 유연하고 복잡한 자연어 처리 애플리케이션을 구축할 수 있다. 필요에 따라 모듈을 선택적으로 사용하거나 커스터마이징 가능하여 다양한 프로젝트 요구사항을 충족한다. 랭체인의 모듈과 그 기능을 간단히 정리해 보자.​Model I/OAI 모델과의 입력과 출력 데이터의 전달 및 처리를 담당.텍스트 입력 데이터를 모델이 이해할 수 있는 형식으로 변환.모델 출력 결과를 사용자가 원하는 형식으로 가공.프롬프트 템플릿과 같은 동적 데이터.. Text Gen AI/랭체인 (LangChain) 2026. 5. 3.

• 

  LangChain - 랭체인을 사용하여 LLM 서비스 개발 ​ LLM(Large Language Model)은 대규모 데이터를 학습하여 인간의 언어를 이해하고 생성할 수 있는 AI 모델이다. 이 모델은 수십억에서 수조 개의 매개변수를 사용해 텍스트 패턴, 문맥, 의미를 학습하며, 자연어 처리(NLP) 문제를 해결하는 데 뛰어난 성능을 발휘한다. 대표적인 LLM에는 OpenAI의 GPT 시리즈(GPT-3, GPT-4), Google의 PaLM, Meta의 LLaMA 등이 있다.​랭체인(LangChain)은 LLM 애플리케이션을 효율적으로 개발할 수 있도록 돕는 프레임워크다. 랭체인은 LLM을 활용한 애플리케이션 개발을 단순화하고 최적화한다. 랭체인 프레임워크는 전체 애플리케이션 라이프사이클을 지원하며, 다양한 LLM과의 연결, 프롬프트 관리, 체이닝(Chainin.. Text Gen AI/랭체인 (LangChain) 2026. 5. 3.

• 

  LangChain - 대표적인 LLM 프레임워크를 알아보자 LLM(Large Language Model)은 단순한 질문-응답 수준을 넘어, 실제 업무 시스템과 결합되는 방향으로 빠르게 발전하고 있다. 그러나 LLM 단독으로는 실시간 데이터 활용, 복잡한 로직 처리, 외부 시스템 연동에 한계가 존재한다. 이러한 한계를 해결하기 위해 등장한 것이 바로 LangChain이다. LangChain은 LLM을 중심으로 다양한 데이터, API, 로직을 연결하여 “실제 서비스 수준의 AI 애플리케이션”을 만들 수 있도록 설계된 프레임워크다. 단순히 모델을 호출하는 것이 아니라, 검색 → 처리 → 판단 → 응답의 흐름을 하나의 구조로 설계할 수 있다는 점이 핵심이다. LangChain의 핵심 구조LangChain은 이름 그대로 “Chain(사슬)” 구조를 기반으로 동작한다. 즉.. Text Gen AI/랭체인 (LangChain) 2026. 5. 3.

• 

  형태소분석 - KoNLPy 사용하여 한국어 자연어 처리 자연어 처리를 제대로 이해하려면 반드시 알아야 하는 개념이 있다. 바로 형태소 분석(Morphological Analysis)이다. 특히 한국어는 조사와 어미 변화가 많기 때문에 형태소 분석이 매우 중요한 역할을 한다.이 글에서는 형태소 분석 개념부터 KoNLPy 실습까지 한 번에 정리한다. 1. 형태소 분석이란 무엇인가?형태소 분석은 문장을 의미 단위로 분해하는 작업이다. 예시“학교에 간다”→ 학교 / 에 / 간다 여기서 형태소는 다음과 같이 나뉜다.학교 → 명사에 → 조사간다 → 동사핵심 포인트 : 형태소 = 의미를 가지는 최소 단위 2. 왜 한국어에서 중요할까?한국어는 형태 변화가 매우 많은 언어이다. 예시먹다 → 먹는다 / 먹었다 / 먹고 / 먹으면학생 → 학생이 / 학생을 / 학생에게이러한 구.. Text Gen AI/자연어 처리 (NLP) 2026. 5. 3.

• 

  프롬프트 엔지니어링 - 필요한 역량과 엔지니어 준비 사항 '프롬프트 엔지니어링'이란 무엇인가? 웨이 과장 : 주한 차장님. 안녕하세요. ​주한 차장 : 그래, 웨이 과장. 잘 지내지. ​웨이 과장 : 요즘 챗GPT와 생성형 AI를 활용하면서 '프롬프트 엔지니어링'이라는 걸 알게 되었는데 바쁘지 않으시면 자세히 알려주실 수 있어요.​주한 차장 : 마침 진행하는 업무 완료해서 여유 시간이 되긴 해. 웨이 과장, 요즘 챗GPT에 열공하더니 프롬프트 엔지니어링까지 관심을 갖게 되었네. 프롬프트 엔지니어링은 간단히 말하면 AI 모델의 응답을 최적화하기 위해 입력 문장을 체계적으로 설계하는 기술이야. 단순한 명령어 입력이 아니라, 원하는 결과를 얻기 위해 문장의 구조, 키워드, 맥락 등을 정교하게 조정하는 과정이지.​웨이 과장 : 아... 그러니까, 그냥 질문을 잘 작성.. Text Gen AI/프롬프트 엔지니어링 2026. 5. 3.

• 

  프롬프트 엔지니어링 - 프롬프트 디자인 프레임워크 프롬프트 엔지니어링의 핵심은 감각이 아니라 구조이다. 좋은 결과를 만드는 프롬프트는 대부분 공통된 특징을 가진다.목표가 명확하고지침이 구체적이며출력이 구조화되어 있다이 글에서는 실무에서 바로 사용할 수 있는프롬프트 디자인 프레임워크 10단계를 정리한다. 1. 목표 설정 (Goal Definition)가장 먼저 해야 할 것은 “무엇을 만들 것인가”이다. 핵심 질문어떤 결과를 원하는가?결과의 수준은 어느 정도인가?예시텍스트 요약코드 생성데이터 분석핵심 포인트 : 목표가 모호하면 결과도 모호해진다 2. 명확한 지침 제공 (Clear Instructions)모델에게 해야 할 일을 명확히 전달한다. 잘못된 예→ “요약해줘” 개선된 예→ “텍스트를 3문장으로 요약하고 핵심 내용을 포함하라” 핵심 포인트 : 명령형 .. Text Gen AI/프롬프트 엔지니어링 2026. 5. 3.

• 

  프롬프트 엔지니어링 - 프롬프트를 디자인하는 방법 LLM을 제대로 활용하려면 모델 성능보다 더 중요한 것이 있다. 바로 프롬프트 설계 능력이다.같은 모델이라도 프롬프트에 따라 결과 품질이 완전히 달라진다.이 글에서는 실무에서 바로 사용할 수 있는 프롬프트 설계 방법을 구조적으로 정리한다. 프롬프트 엔지니어링의 핵심 원리프롬프트는 단순한 질문이 아니다. “모델에게 작업을 지시하는 명령어”이다. 따라서 핵심은 다음 하나로 정리된다.명확하게, 구체적으로, 구조적으로 작성하라 1. 명확한 지침 제공 (Clear Instructions)모델이 무엇을 해야 하는지 정확히 알려야 한다. 잘못된 예→ “문장을 다듬어 줘” 개선된 예→ “문장을 간결하게 수정하고, 문법 오류를 제거하며 중복 표현을 삭제하라” 핵심 포인트작업을 구체적으로 정의모호한 표현 제거 2. 맥락.. Text Gen AI/프롬프트 엔지니어링 2026. 5. 3.