Chapter 1. AI Model

2026년 하반기 업데이트 안내 · 2026-10-12 기준

이 글은 2026년 상반기에 작성한 원문을 그대로 두고, 바뀐 내용을 각 섹션 아래 '2026년 하반기 업데이트' 박스로 덧붙였습니다. 핵심 변화:

• 원문 예시 모델 상당수가 세대 교체·종료되었습니다. DALL·E API는 2026-05-12, Sora 앱은 2026-04-26, Sora API는 2026-09-24에 종료되었고, o3·o4-mini·GPT-4.1 계열도 종료 일정이 잡혔습니다.
• 주요 상용 모델의 컨텍스트 윈도우가 1M 토큰 안팎으로 사실상 표준화되었습니다. 원문의 4K 예시는 개념 설명용으로만 읽어 주세요.
• 추론(Reasoning)이 "별도 모델·별도 모드"에서 "기본 탑재 + effort로 조절"로 바뀌었습니다. Claude의 Extended Thinking(budget_tokens)은 최신 모델에서 400 오류를 냅니다.
• 샘플링 실습 주의: Claude Opus 4.7 이후 모델과 Sonnet 5.5는 기본값이 아닌 temperature·top_p·top_k를 거부하고, OpenAI 추론 모델도 reasoning effort가 none이 아니면 이 파라미터를 빼야 합니다.
• OpenAI가 파인튜닝 플랫폼을 단계적으로 종료하고 있습니다(신규 사용자 차단, 기존 고객 신규 작업 생성은 2027-01-06까지).
• 규제: EU AI Act의 고위험 의무가 AI Omnibus로 2027-12-02(독립형)·2028-08-02(제품 내장형)로 연기되었고, 한국 AI 기본법은 2026-01-22 시행 후 과태료 계도기간이 운영 중입니다.

학습한 패턴을 바탕으로 다양한 콘텐츠를 생성하는 AI를 비유한 그림이다. AI 생성 개념 삽화.

생성형 AI의 정의

생성형 AI란?

생성형 AI(Generative AI)란 텍스트, 이미지, 음악, 코드 등의 새로운 콘텐츠를 스스로 생성할 수 있는 인공지능 기술입니다. 기존의 AI가 데이터를 분석하고 분류하는 역할을 했다면, 생성형 AI는 새로운 데이터를 만들어내는 능력을 갖춘 것이 특징입니다. 생성형 AI는 확률적 모델링을 통해 학습 데이터의 분포를 모사하여 콘텐츠를 생성하며, 따라서 동일 입력에도 매번 다른 출력을 생성할 수 있습니다. (비결정적 특성)

생성형 AI 영역 예시

• 텍스트 생성

  • 자연어 이해 및 생성, 문서 작성, 번역, 대화형 AI로 사람처럼 문장을 만들어 대화하거나 글을 씀
  • 예시 모델: ChatGPT, Claude, Gemini

• 이미지 생성

  • 텍스트 입력을 바탕으로 고해상도 이미지 생성
  • 예시 모델: DALL·E, Midjourney

• 음악 생성

  • 텍스트 입력을 기반으로 음악 작곡 및 편집
  • 예시 모델: Suno AI, AIVA

• 영상 생성

  • 텍스트, 이미지, 기존 영상 등의 입력 기반으로 영상 생성
  • 예시 모델(서비스): Sora, Runway Gen, Pika Labs, Google Veo

• 코드 생성

  • 코드 자동 생성, 리팩토링, 디버깅 등 개발 업무 효율화
  • 예시 모델(서비스): Cursor, Claude Code, GitHub Copilot

2026년 하반기 업데이트 · 2026-10-12 기준

상반기 원문 이후 달라진 점 — 이미지·영상 예시로 든 OpenAI의 DALL·E와 Sora가 모두 종료되었습니다.

• 확인된 사실: OpenAI API의 dall-e-2, dall-e-3는 2026-05-12에 종료(shutdown)되었고, 대체 모델로 gpt-image 계열이 안내됩니다. 현재 이미지 생성 가이드에는 DALL·E가 아예 등장하지 않고 GPT Image 모델만 소개됩니다. (OpenAI Deprecations, OpenAI Image generation 가이드, 2026-10-12 확인)
• 확인된 사실: Sora 웹·앱 서비스는 2026-04-26에 종료되었고, Sora API(Videos API와 Sora 2 모델)는 2026-09-24에 제거되었습니다. 대체 모델은 안내되지 않았습니다. (OpenAI Deprecations, 2026-10-12 확인 / What to know about the Sora discontinuation, 검색 결과로만 확인)
• 해석·전망: 원문 당시에는 "텍스트는 ChatGPT, 이미지는 DALL·E, 영상은 Sora"처럼 영역별 대표 서비스를 한 회사 안에서 짚을 수 있었지만, 지금은 이미지 생성이 범용 모델(GPT Image 등)에 흡수되고 영상은 Google Veo·Runway 등 다른 사업자 중심으로 재편되는 모습입니다. 서비스 이름은 이렇게 1년도 안 되어 바뀔 수 있다는 점 자체가 좋은 교육 소재입니다.
• 확인하지 못한 것: Google Veo의 최신 버전(검색 결과상 Veo 3.1이 2025년 10월 공개)과 Runway·Pika의 2026년 하반기 최신 모델명은 공식 문서로 직접 확인하지 못했습니다.

교육·실습 관점: "DALL·E로 이미지 만들어 보기", "Sora로 영상 만들어 보기" 실습은 더 이상 그대로 진행할 수 없습니다. 이미지는 ChatGPT의 이미지 생성(GPT Image)이나 Gemini 앱, 영상은 Google Veo(Gemini 앱·Gemini API)나 Runway로 바꿔 진행하고, 수업 직전에 해당 서비스의 접근 가능 여부를 한 번 더 확인하는 것을 권합니다. 같은 이유로 뒤에 나오는 "생성모델의 종류" 표의 DALL·E 예시도 "개념상 Transformer 기반 이미지 생성의 초기 사례"로 읽어 주세요.

기존 AI와의 차이점

기존 AI와 생성형 AI는 근본적인 기능과 활용 방식에서 차이가 있습니다. 기존 AI는 데이터를 분석하고 패턴을 찾아내는 데 초점을 맞추지만, 생성형 AI는 학습한 패턴을 기반으로 새로운 콘텐츠를 생성하는 데 특화되어 있습니다.

구분	기존 AI	생성형 AI
주요 기능	데이터 분석, 예측, 분류, 탐색	새로운 콘텐츠 생성
작동 원리	주어진 데이터를 바탕으로 특정 규칙을 학습하여 결과 도출	학습한 데이터의 패턴을 활용해 새로운 데이터를 생성
학습 방식	지도 학습 / 비지도 학습 / 강화 학습	다양한 학습 방식을 조합 (지도 학습 + 비지도 학습 + 강화 학습 + 생성적 학습)
출력 결과	기존 데이터의 패턴을 분석해 답변 (예측, 분류, 추천)	기존 데이터의 패턴을 기반으로 새로운 데이터 생성
활용 예시	스팸 필터, 추천 시스템, 음성 인식, 사기 탐지	텍스트 생성, 이미지 생성, 음악 생성
한계점	새로운 데이터 생성 불가능, 정형화된 작업 수행	생성된 데이터의 정확성 검증 필요, 가짜 정보 생성 가능

쉽게 말하면?

• 기존 AI는 고양이 사진을 입력하면 "고양이"라고 판별하지만,
• 생성형 AI는 "고양이 사진을 만들어줘"라고 요청하면 고양이 이미지를 만들어 응답할 수 있습니다.

이렇게 생성형 AI는 기존 AI보다 창의적이고 새로운 방식으로 문제를 해결하는 능력을 가졌기 때문에, 업무 자동화, 콘텐츠 제작, 고객 응대 등 다양한 분야에서 혁신을 일으키고 있습니다.

생성 모델 (Generative Model)

생성 모델(Generative Model)이란?

생성 모델은 단순히 데이터를 분류하거나 예측하는 것이 아니라 새로운 데이터를 만들어내는 모델입니다.

생성모델의 종류

생성모델은 다양한 방식으로 데이터를 생성하며, 각 모델은 서로 다른 원리를 기반으로 동작합니다. 대표적인 생성모델의 종류와 특징을 살펴보겠습니다.

생성 모델은 핵심 아키텍처와 생성 방법론의 조합으로 구성됩니다. 아키텍처로는 Transformer가 대표적이며, 생성 방법론으로는 Diffusion과 GAN이 가장 널리 사용됩니다. 최근에는 이들이 결합되기도 합니다. (예: Diffusion Transformer(DiT) --- Stable Diffusion 3, Sora 등에 사용)

이 외에도 Variational Autoencoder(VAE), Autoregressive Model, Flow-based Model과 같은 생성 모델이 존재하며, 특정 연구 및 응용 분야에서 활용됩니다.

모델명	설명	동작 방식	예제
Transformer 기반 모델 (GPT, DALL·E 등)	문맥을 이해하고, 새로운 텍스트나 이미지를 생성하는 모델	입력된 데이터를 여러 단계로 분석하며, 문맥을 이해하여 새로운 내용을 생성. 텍스트 생성(GPT-4), 이미지 생성(DALL·E)	ChatGPT (자연스러운 문장 생성), DALL·E (텍스트 기반 이미지 생성)
Diffusion 모델 (Stable Diffusion 등)	이미지를 점진적으로 개선하며 새로운 그림을 생성하는 방식	랜덤한 노이즈(흐릿한 이미지)에서 시작해서 점차 선명한 이미지로 발전. GAN보다 자연스럽고 고해상도 이미지 생성 가능	Stable Diffusion (다양한 스타일의 그림 생성), Imagen (텍스트 기반 고품질 이미지 생성)
GAN (Generative Adversarial Network)	두 개의 신경망이 경쟁하면서 더 정교한 데이터를 생성하는 모델	생성자(Generator)와 판별자(Discriminator)가 서로 경쟁하며 적대적 학습을 통해 점점 더 정교한 데이터를 생성	딥페이크(DeepFake), AI 아트, 패션 디자인

TIP

• Transformer 기반 모델은 텍스트 및 이미지 생성에서 가장 중요한 역할을 하고 있는 모델입니다.
• 최근에는 Diffusion 모델이 GAN을 사실상 대체하였으며, GAN은 특수 용도(실시간 이미지 변환 등)에서만 제한적으로 사용되고 있습니다.

생성형 AI의 활용 사례

생성형 AI는 다양한 산업에서 실질적인 가치를 제공하며 빠르게 발전하고 있습니다. 텍스트를 자동으로 생성하거나, 번역을 돕고, 코드를 작성하는 등 여러 작업을 AI가 지원하고 있는데요, 그렇다면 구체적으로 어떤 작업과 도메인에서 어떻게 활용되고 있을까요?

1) 텍스트 생성 -- 자동으로 글을 작성하는 AI

• 블로그 및 기사 작성: AI가 초안을 작성하면 사용자는 내용을 다듬는 작업만 진행. 뉴스 기사, 마케팅 콘텐츠 등 다양한 콘텐츠 제작 가능
• 광고 문구 자동 생성: 짧고 강렬한 광고 카피를 AI가 추천
• 활용 서비스: ChatGPT, Jasper AI, Copy.ai, Notion AI, Writesonic

2) 코드 작성 -- 개발자 업무 효율화

• 코드 자동 생성: 개발자가 작성 중인 코드의 다음 줄을 AI가 예측하고 자동 완성
• 코드 리뷰 및 버그 수정: AI가 코드의 오류를 분석하고 개선점을 제안
• 활용 서비스: Cursor, Claude Code, GitHub Copilot, Windsurf

2026년 하반기 업데이트 · 2026-10-12 기준

상반기 원문 이후 달라진 점 — Windsurf는 2026-06-02부로 Devin Desktop으로 이름이 바뀌었습니다.

• 확인된 사실: Cognition은 2026-06-02 자동 업데이트로 Windsurf를 Devin Desktop으로 리브랜딩했습니다. 기존 요금제·가격은 그대로 유지되고, 로컬 에이전트였던 Cascade는 "Devin Local"이라는 이름으로 바뀌었으며 설정·확장은 자동 이전되었다고 안내합니다. (Devin Desktop FAQ, 2026-10-12 확인 / Windsurf is now Devin Desktop, 검색 결과로만 확인)
• 해석·전망: 코드 생성 도구는 "에디터 안의 자동완성"에서 "여러 에이전트를 동시에 돌리고 관리하는 작업대"로 무게중심이 옮겨 가는 중입니다. Devin Desktop이 Agent Command Center를 전면에 내세운 것도 그 흐름으로 보입니다.

교육·실습 관점: 교안의 서비스 목록에서 Windsurf를 "Devin Desktop(구 Windsurf)"로 표기하면 수강생 혼란을 줄일 수 있습니다. 설치 실습이 있다면 기존 Windsurf 다운로드 링크가 devin.ai로 연결되는지 사전에 확인하세요.

3) 질문 답변(Q&A) -- 고객 응대 및 정보 검색 보조

• 고객 상담 및 지원: AI 챗봇이 고객 문의에 실시간으로 답변 제공
• 검색 엔진 강화: 사용자의 질문에 맞춰 최적의 정보를 제공
• 활용 서비스: ChatGPT API, NotebookLM, Claude

4) 번역 -- 다국어 지원 강화

• 실시간 번역 지원: 여러 언어로 텍스트를 번역하여 글로벌 커뮤니케이션 가능
• 문맥을 고려한 자연스러운 번역: 기존 번역기보다 자연스럽고 정확한 번역 제공
• 활용 서비스: Google Translate, DeepL

5) 문서 요약 -- 긴 글을 핵심만 정리

• 보고서 및 논문 요약: 긴 문서를 짧고 핵심적인 내용으로 자동 요약
• 이메일 요약: 받은 편지함을 빠르게 정리하고 주요 내용만 확인
• 활용 서비스: ChatGPT, NotebookLM, Claude

6) 의료 및 법률 -- 전문 분야에서의 AI 활용

• 의료 데이터 분석: 환자의 건강 데이터를 분석하여 진단 및 치료 보조
• 법률 문서 해석: 긴 법률 문서를 분석하고 주요 내용을 정리
• 활용 서비스: Merative, Google Health AI, Harvey AI, Casetext, CoCounsel

생성형 AI의 윤리적 이슈

생성형 AI는 다양한 분야에서 혁신적이 가능성을 열어주지만, 동시에 여러 윤리적/법적 문제를 동반하고 있습니다. AI 기술이 더욱 발전하고 보편화 될수록, 이러한 문제에 대한 해결책 마련이 필수적입니다.

1) 저작권 문제

• 생성형 AI가 학습하는 과정에서 기존의 저작권이 있는 콘텐츠를 활용할 가능성이 있으며, 생성된 결과물의 저작권 문제도 해결되지 않은 주요 이슈
• AI가 생성한 콘텐츠의 저작권 소유권: AI가 만든 그림, 음악, 글의 저작권이 AI 개발자에게 있는지, 사용자에게 있는지, 아니면 공공재인지 논란이 있음
• 저작권 침해 가능성: AI가 특정 작가의 스타일을 모방한 결과물을 만들 경우, 원저작자의 권리를 침해할 가능성이 있음

2) 악용 가능성

• 허위정보 및 가짜 뉴스 생성: AI는 매우 자연스러운 텍스트를 생성할 수 있어 가짜 뉴스나 허위 정보를 만들어내는 데 사용될 가능성이 큼
• 딥페이크 기술: GAN 기반의 딥페이크 기술은 실제와 구분하기 어려운 가짜 영상을 만들어 정치적 선전, 사기 등에 악용될 위험이 있음
• 사이버 범죄 활용: AI를 이용한 피싱 이메일, 악성 코드 생성 등이 증가하고 있으며, 보안 위협 요소로 작용할 수 있음

3) 개인정보 보호

• AI 학습 데이터 내 개인정보 포함 가능성: AI가 학습하는 데이터에 민감한 개인정보가 포함될 경우, 데이터 유출 등의 문제가 발생할 수 있음
• 데이터 보호 규정과의 충돌: GDPR, CCPA 등의 개인정보 보호법과 AI의 학습 방식이 충돌하는 경우가 있으며, 이에 대한 법적 규제가 필요함
• 한국 인공지능 기본법(2026.01.22 시행, 법률 제20676호)과 EU AI Act(2024.08 발효, Regulation 2024/1689, 단계적 시행)가 시행되어 AI 개발 및 활용에 대한 법적 규제가 구체화되고 있음

2026년 하반기 업데이트 · 2026-10-12 기준

상반기 원문 이후 달라진 점 — EU AI Act의 고위험 AI 의무 적용 시점이 'AI Omnibus'로 연기되었고, 한국 AI 기본법은 과태료 계도기간 속에서 운영되고 있습니다.

• 확인된 사실: EU는 AI Act를 개정하는 AI Omnibus를 공식 채택했습니다. 원래 2026-08-02였던 고위험 AI 의무가 독립형(Annex III: 채용·교육·신용평가 등) 시스템은 2027-12-02, 제품 내장형은 2028-08-02로 연기되었습니다. 금지 관행, 범용 AI(GPAI) 의무(2025-08부터)는 그대로입니다. Article 50 투명성 의무(AI와 대화 중임을 알리기, 합성 콘텐츠 표시 등)는 연기되지 않고 2026-08-02부터 적용되며, 2026-08-02 이전에 이미 출시된 생성형 AI 시스템만 기계 판독형 표시(Article 50(2)) 의무에 한해 2026-12-02까지 유예를 받습니다. (European Commission — AI Omnibus enters into force, 2026-10-12 확인 / Article 50(2) 유예는 법률 해설 자료로 확인) (Addleshaw Goddard — AI Omnibus formally adopted, 2026-10-12 확인)
• 확인된 사실: AI Omnibus는 Regulation (EU) 2026/1744로 2026-07-24 관보 게재, 2026-07-27 발효된 것으로 보도되었습니다. (National Law Review·Mondaq 등, 검색 결과로만 확인 — EUR-Lex 원문은 직접 열어 보지 못함)
• 확인된 사실: 한국 「인공지능 발전과 신뢰기반 조성 등에 관한 기본법」은 원문대로 2026-01-22 시행되었고, 과학기술정보통신부는 과태료에 대해 최소 1년 이상의 계도기간을 운영하겠다고 밝혔습니다. 생성형 AI 결과물 중 실제와 구분하기 어려운 것에는 AI 생성 사실을 명확히 고지해야 합니다. (머니투데이, 2026-10-12 확인 / 세계일보, 검색 결과로만 확인)
• 해석·전망: 계도기간이 "최소 1년"이므로, 실제 과태료 부과는 빨라야 2027년 이후가 될 것으로 보입니다. 다만 이는 전망이며 정부 발표에 따라 달라질 수 있습니다.
• 확인하지 못한 것: 2026년 하반기에 AI 기본법 개정안이 통과되었는지, 계도기간 종료 시점이 확정되었는지는 법제처·과기정통부 공식 자료로 확인하지 못했습니다.

교육·실습 관점: "EU AI Act가 2026년 8월부터 고위험 AI에 전면 적용된다"는 식의 기존 교안 문구는 수정이 필요합니다. 수강생에게는 "금지 관행·GPAI 의무는 이미 적용 중, 투명성(고지·표시) 의무는 2026-08부터 적용(기존 출시 시스템의 기계 판독형 표시만 2026-12-02까지 유예), 고위험 의무는 2027-12 이후"처럼 의무별로 시점을 나눠 설명하는 편이 정확합니다. 한국 법은 "시행은 되었지만 당분간 계도 중심"이라는 점을 함께 짚어 주세요.

4) 소유권 문제

• AI 생성물의 법적 소유권 불분명: AI가 만든 콘텐츠의 소유권이 누구에게 있는지에 대한 명확한 법적 기준이 없으며, 이는 향후 법률적으로 해결해야 할 중요한 문제 중 하나임
• 기업과 개인 간의 소유권 논란: 기업이 AI를 개발했더라도, AI가 사용자 입력을 통해 생성한 콘텐츠의 소유권이 누구에게 귀속되는지가 명확하지 않음

LLM과 Foundation Model

LLM(Large Language Model)이란?

LLM(대규모 언어 모델, Large Language Model)은 사람처럼 자연어를 이해하고 생성할 수 있는 인공지능(AI) 모델입니다. 방대한 양의 텍스트 데이터를 학습하여 문장의 구조와 의미를 파악하고, 주어진 입력(Context)에 적합한 단어나 문장을 예측하는 방식으로 동작합니다.

쉽게 말해, LLM은 많은 글을 읽고 패턴을 학습한 AI 작가입니다. 질문에 답하거나, 글을 요약하고, 번역하는 등 다양한 자연어 처리 작업을 수행할 수 있습니다. 대표적인 LLM에는 OpenAI의 GPT, Google의 Gemini, Anthropic의 Claude, Meta의 LlaMA, 중국의 DeepSeek 등이 있습니다.

LLM은 확률적 언어 모델을 기반으로, 주어진 단어 다음에 올 확률이 높은 단어를 예측하여 문장을 만들어 갑니다. 예를 들어, "오늘 날씨가"라는 입력이 주어지면, "좋아요" 또는 "추워요" 같은 단어를 선택할 가능성이 높습니다. 즉, 단순히 단어를 나열하는 것이 아니라, 문맥(Context)을 고려하여 가장 자연스럽고 의미 있는 문장을 생성합니다.

LLM을 깊이 이해하려면, 이를 구성하는 핵심 요소들을 살펴볼 필요가 있습니다. 하지만 그 전에, LLM이 속하는 더 넓은 개념인 Foundation Model을 먼저 알아보겠습니다.

특징	설명
대규모 매개변수	수십억(Billions) 이상의 파라미터로 복잡한 언어 패턴 학습
자기 지도 학습(Self-supervised Learning)	레이블 없는 대량의 텍스트 데이터로 사전 학습
범용 언어 능력	번역, 요약, 질의응답, 코드 생성 등 다양한 작업 수행 가능
In-context Learning	별도 학습 없이 프롬프트 내 예시만으로 새로운 작업 수행

2026년 하반기 업데이트 · 2026-10-12 기준

상반기 원문 이후 달라진 점 — 회사 이름은 같아도 각 회사의 주력 모델 세대가 한두 번씩 바뀌었습니다.

• 확인된 사실: OpenAI API 문서는 현재 GPT-6 Astra(최상위), GPT-6.1 Sol, GPT-6 Luna(효율형)를 권장 모델로 소개하며, 셋 다 약 1.05M 토큰 컨텍스트와 조절 가능한 추론(effort)을 지원합니다. (OpenAI Models, 2026-10-12 확인)
• 확인된 사실: Anthropic의 현행 라인업은 Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5, Claude Haiku 5.5이며, Sonnet 4.6·Opus 4.6 등은 레거시로 분류됩니다. (Claude Models overview, 2026-10-12 확인)
• 확인된 사실: Google Gemini API의 안정(stable) 모델은 Gemini 3.8 Flash, 3.6 Flash, 3.5 Flash-Lite 등이고, Pro 계열은 Gemini 3.1 Pro가 프리뷰로 제공됩니다. (Gemini API Models, 2026-10-12 확인)
• 확인된 사실: DeepSeek API의 현행 모델은 DeepSeek-V4-Pro와 V4.1-Flash이며, 둘 다 1M 컨텍스트와 thinking 모드를 지원합니다. 별도의 R 계열 추론 모델 대신 하나의 모델에서 thinking/non-thinking을 고르는 구조입니다. (DeepSeek API Pricing, 2026-10-12 확인)
• 확인하지 못한 것: Meta가 Llama 이후 차세대 모델(코드명 'Avocado')을 오픈 웨이트가 아닌 비공개로 낼 것이라는 보도가 있으나, Meta 공식 발표로는 확인하지 못했습니다.

교육·실습 관점: "대표 LLM"을 가르칠 때는 버전 번호보다 "회사 → 모델 계열(최상위/균형/경량)"의 구조를 먼저 보여 주는 편이 오래 갑니다. 버전 번호는 몇 달 단위로 바뀌므로, 교안에는 "2026-10 기준"처럼 날짜를 꼭 붙이고, 실습 전에 각 사 모델 개요 페이지를 열어 확인하는 습관을 함께 가르치길 권합니다.

Foundation Model이란?

Foundation Model은 방대한 양의 데이터로 사전 학습(Pretraining)된 범용 AI 모델을 의미합니다. 이 모델은 특정 작업에 국한되지 않고, 다양한 용도로 활용될 수 있도록 설계됩니다. LLM은 이러한 Foundation Model의 한 종류로, 자연어를 이해하고 생성하는 데 특화된 형태입니다.

Foundation Model의 핵심 특징

(1) 범용성 (Generalization)

• 한 가지 작업만 수행하는 것이 아니라, 다양한 자연어 처리(NLP) 작업에 활용될 수 있습니다.
• 예를 들어, OpenAI의 GPT 모델은 단순한 문장 생성뿐만 아니라 요약, 번역, 질의응답 등 여러 작업을 수행할 수 있습니다.

(2) 사전 학습(Pretraining)과 미세 조정(Fine-tuning)

• 사전 학습(Pretraining): 거대한 데이터셋을 기반으로 일반적인 언어 지식과 패턴을 학습되어 있습니다. 따라서 기본적인 언어 능력을 미리 갖춘 상태에서 활용되어 다양한 작업에 쉽게 적용될 수 있습니다.
• 미세 조정(Fine-tuning): 특정 데이터(예: 법률 문서, 의료 논문)로 추가 학습하여, 해당 분야에서 더 정확하고 신뢰도 높은 결과를 생성할 수 있습니다.

(3) 대량 데이터 기반 학습

• 일반적으로 수백억 개의 단어 또는 문장을 학습하여 방대한 언어 지식을 보유합니다.
• 이를 통해 사람과 유사한 수준의 문맥 이해와 자연스러운 문장 생성을 수행할 수 있습니다.

과거의 AI 모델은 특정한 작업을 위해 개별적으로 설계되고 훈련되었습니다. 하지만 Foundation Model의 등장으로 하나의 강력한 모델을 기반으로 다양한 AI 솔루션을 개발할 수 있는 길이 열렸습니다.

Foundation Model과 LLM의 관계

LLM은 자연어를 처리하는 Foundation Model의 대표적인 예시입니다.

Foundation Model에는 LLM뿐만 아니라 이미지 생성 모델(예: Stable Diffusion), 음성 모델(예: Whisper), 코드 생성에 활용되는 코드 특화 모델 등도 포함됩니다. 따라서 모든 LLM은 Foundation Model이지만, 모든 Foundation Model이 LLM은 아닙니다.

이제 LLM의 내부 구조와 작동 방식을 좀 더 깊이 이해하기 위해, LLM을 구성하는 핵심 요소들을 살펴보겠습니다.

LLM의 핵심 요소

LLM은 단순히 단어를 나열하는 것이 아니라, 입력된 텍스트를 토큰 단위로 변환하고(Context), 방대한 매개변수를 활용해 패턴을 학습하며(Parameter), 최근에는 텍스트뿐만 아니라 다양한 형태의 데이터까지 처리할 수 있도록 발전(Multimodal)하고 있습니다. 이제 LLM을 구성하는 네 가지 주요 요소를 하나씩 살펴보겠습니다.

Token (토큰)

토큰이란?

토큰(Token)은 LLM이 텍스트 데이터를 처리할 수 있도록 나누는 최소 단위입니다. 사람은 단어와 문장을 읽고 이해하지만, LLM은 이를 직접 이해하지 못하기 때문에 텍스트를 작은 조각(토큰)으로 분리하여 수치화된 데이터로 변환해야하고 이것을 토큰화라고 합니다.

ChatGPT 모델 Tokenizer 실행해보기

토큰의 특징

1. 토큰은 반드시 단어 단위가 아니다.

   • 단어 하나가 여러 개의 토큰으로 쪼개질 수도 있고, 반대로 여러 단어가 하나의 토큰이 될 수도 있음
   • 단어(Word), 서브워드(Subword), 문자(Character) 등 다양한 방식으로 나뉠 수 있음

2. 같은 문장이라도 토큰화 방식에 따라 토큰 개수가 달라진다

   • 모델마다 사용하는 토큰화 방식이 다르기 때문에, 같은 문장이라도 생성되는 토큰 수가 다를 수 있음
   • 이는 모델 성능, 비용, 처리 속도 등에 영향을 미침

3. 토큰 수가 많을수록 비용과 연산량이 증가한다.

   • LLM은 토큰 단위로 계산하므로, 입력과 출력의 토큰 수가 많아지면 연산량이 커지고, 비용도 증가함

이제 토큰을 나누는 다양한 방식과 그 원리를 살펴보겠습니다.

토큰화(Tokenization) 방식

토큰화를 수행하는 방식에는 여러 가지가 있으며, 모델의 학습 방식과 성능에 직접적인 영향을 미칩니다.

방식	설명	장점	단점	예시
Word-level (단어 기반 토큰화)	공백이나 문장 부호를 기준으로 단어를 분리하는 방식	단어 단위로 의미를 쉽게 파악 가능	OOV(Out-Of-Vocabulary) 처리가 어려움. 언어별 특성 고려 필요	"I love AI" → ["I", "love", "AI"]
Character-level (문자 기반 토큰화)	문장을 개별 문자(Character) 단위로 분리하는 방식	모든 텍스트를 처리할 수 있어 OOV 문제 없음	너무 작은 단위로 나뉘어 문맥 이해에 비효율적	"AI" → ["A", "I"], "인공지능" → ["인", "공", "지", "능"]
Subword-level (서브워드 기반 토큰화)	가장 일반적으로 사용되는 방식. 자주 사용되는 단어는 그대로 유지하고, 드문 단어는 더 작은 단위로 분할	자주 쓰이는 단어는 유지하면서 새로운 단어도 처리 가능	토큰화 과정이 복잡하고 계산량이 많음	"Artificial" → ["Art", "ificial"], "Unhappiness" → ["Un", "happiness"]

대부분의 최신 LLM은 서브워드 기반 토큰화를 사용하여 효율적인 학습과 추론을 수행합니다.

2026년 하반기 업데이트 · 2026-10-12 기준

상반기 원문 이후 달라진 점 — 같은 회사 모델끼리도 세대가 바뀌면 토크나이저가 달라져, 같은 글의 토큰 수가 눈에 띄게 변한 사례가 생겼습니다.

• 확인된 사실: Anthropic 문서에 따르면 Claude Opus 4.7부터 새 토크나이저가 도입되어, 1M 토큰이 현재 토크나이저 기준 약 55만 5천 영어 단어에 해당하고 이전 모델에서는 약 75만 단어가 들어갔습니다. 즉 같은 텍스트가 새 모델에서 더 많은 토큰으로 계산될 수 있습니다. (Claude Models overview, 2026-10-12 확인)
• 해석·전망: 원문의 "같은 문장이라도 토큰화 방식에 따라 토큰 개수가 달라진다"는 설명이 실무에서 그대로 비용 차이로 나타난 예입니다. 모델을 업그레이드할 때 단가(1M 토큰당 가격)만 비교하면 실제 비용을 잘못 예측할 수 있습니다.
• 확인하지 못한 것: 원문에 링크한 OpenAI Tokenizer 페이지(platform.openai.com/tokenizer)는 2026-10-12 접속 시 403 응답이 와서, 현재 어떤 모델의 토크나이저를 지원하는지 확인하지 못했습니다. OpenAI 개발자 문서 상당수가 developers.openai.com으로 이전된 상태라 주소가 바뀌었을 가능성도 있습니다.

교육·실습 관점: 토크나이저 실습은 링크가 열리는지 수업 전에 확인하고, 열리지 않으면 각 사 API의 토큰 카운트 기능(예: Claude의 token counting API)이나 오픈소스 토크나이저 라이브러리로 대체하세요. 같은 한국어 문단을 두 모델 세대에서 세어 보고 비용을 비교하게 하면 "토큰 = 비용"이라는 감각을 확실히 잡을 수 있습니다.

Context (문맥)

Context란?

Context(문맥)란, 텍스트 내에서 단어나 문장이 사용되는 환경과 그 의미를 결정하는 요소로, 주어진 문장에서 앞뒤 단어들의 관계, 문장의 흐름, 심지어 대화의 맥락까지 포함합니다. LLM은 개별적인 단어(토큰)만 보는 것이 아니라, 주어진 Context를 고려하여 적절한 출력을 생성합니다.

예를 들어, 다음 문장을 생각해보겠습니다.

• "나는 오늘 아침에 ㅇㅇ를 마셨다."
  • 가능한 단어: "커피", "차", "우유"
• "나는 오늘 아침에 ㅇㅇ를 탔다."
  • 가능한 단어: "지하철", "버스", "자전거"

같은 위치에 들어갈 단어라도 앞뒤 문맥에 따라 적절한 단어가 달라집니다. LLM은 바로 이 문맥을 이해하고 적절한 단어를 예측하는 방식으로 작동합니다. 의미 있는 문장을 생성하고, 질문과 답변의 일관성을 유지하기 위해서 Context가 중요합니다.

Context Window(맥락 창 크기)와 모델 성능

Context Window란?

Context Window는 LLM이 한 번의 요청에서 처리할 수 있는 최대 토큰 개수를 의미합니다. Context Window가 클수록 한 번에 더 많은 텍스트를 LLM에게 입력할 수 있지만, 계산 비용이 증가하는 단점도 있습니다.

Context Window가 성능에 미치는 영향

• Context Window가 작은 경우

  • 긴 대화나 문서를 처리할 때, 모델이 앞의 내용을 자르거나 무시하게 되어 정보가 누락될 수 있음
  • 예를 들어, 긴 문서를 요약하는 경우 토큰 제한이 4K(4,096)이라면, 앞부분만 이해하고 뒷부분은 무시될 수 있음

• Context Window가 큰 경우

  • 더 많은 정보를 기억할 수 있지만, 계산 비용이 증가하여 응답 속도가 느려질 수 있음
  • 더 많은 토큰을 처리하려면 메모리 사용량과 연산량이 급증하므로, 고성능 GPU가 필요함
  • 입력이 너무 길면 중간 부분 정보가 약화되는 Lost in the Middle 문제 발생할 수 있음

컨텍스트 윈도우가 커진다는 것은 모델이 더 많은 정보를 한 번에 참조할 수 있음을 의미할 뿐, 모델의 내재적 추론 능력(reasoning capability) 자체가 향상되는 것을 의미하지는 않습니다.

최신 모델들은 더 많은 토큰을 처리할 수 있도록 발전하고 있으며, 이를 통해 더욱 자연스럽고 일관된 문장을 생성할 수 있습니다.

2026년 하반기 업데이트 · 2026-10-12 기준

상반기 원문 이후 달라진 점 — 주요 상용 모델의 컨텍스트 윈도우가 1M 토큰 안팎으로 사실상 표준이 되었습니다.

• 확인된 사실: 현행 Claude 모델 4종(Fable 5.1, Opus 5.5, Sonnet 5.5, Haiku 5.5)은 모두 1M 토큰 컨텍스트와 128K 토큰 최대 출력을 지원합니다. (Claude Models overview, 2026-10-12 확인)
• 확인된 사실: OpenAI의 권장 모델(GPT-6 Astra, GPT-6.1 Sol, GPT-6 Luna)은 약 1.05M 토큰 컨텍스트를 제공합니다. (OpenAI Models, 2026-10-12 확인)
• 확인된 사실: Gemini 3.8 Flash는 입력 1,048,576 토큰, 출력 65,536 토큰을 지원합니다. DeepSeek V4 계열도 1M 컨텍스트입니다. (Gemini 3.8 Flash, DeepSeek API Pricing, 2026-10-12 확인)
• 해석·전망: 원문의 "4K(4,096)" 예시는 이제 실무에서 보기 어려운 크기입니다. 다만 원문이 강조한 두 가지 — 길수록 비용·지연이 커진다는 점, 그리고 Lost in the Middle처럼 길이가 곧 이해력은 아니라는 점 — 은 1M 시대에 오히려 더 중요해졌습니다. "다 넣을 수 있다"와 "다 넣는 게 좋다"는 다른 문제입니다.

교육·실습 관점: 4K 예시는 "개념 설명용 축소 모델"이라고 명시해 두고, 실습은 "1M 컨텍스트에 문서를 통째로 넣은 경우 vs 관련 부분만 골라 넣은 경우"의 비용·응답 시간·정확도를 비교하는 방식으로 바꾸면 현재 현실에 맞습니다. 이 비교가 뒤에 나오는 RAG·컨텍스트 엔지니어링의 필요성을 자연스럽게 설명해 줍니다.

Parameter (매개변수)

Parameter란?

AI 모델은 훈련하면서 많은 문장을 보고 단어 간의 관계와 패턴을 학습합니다. 이때, 배운 내용(패턴과 지식)을 저장하는 숫자 값이 바로 파라미터(Parameter)이며, 모델의 성능을 결정하는 핵심 요소입니다.

예를 들어, AI가 "하늘이 파랗다"와 "바다는 파랗다"라는 문장을 많이 학습하면, "파랗다"는 "하늘"이나 "바다" 같은 단어와 자주 연결된다는 패턴을 배우게 되고, 이런 관계를 수학적으로 저장하는 값이 파라미터입니다.

모델명 옆에 75B, 7B 등으로 적혀있는 것이 파라미터 수입니다. (B는 10억)

LLM은 학습 과정에서 수십억~수조 개의 매개변수(Parameters)를 최적화하여 언어를 학습합니다. 모델별로 매개변수의 수는 다르며, 매개변수의 수가 많을수록 일반적으로 모델의 성능이 향상되지만, 연산량과 메모리 사용량이 증가합니다.

실무에서는 파라미터 수가 곧 비용과 직결됩니다. 대형 모델(수백B 파라미터)은 API 호출 비용이 높고, 온프레미스 배포 시 고사양 GPU가 필요합니다. 따라서 프로젝트 요구사항(정확도, 응답 속도, 비용 예산)에 따라 적절한 모델 크기를 선택하는 것이 중요합니다.

매개변수의 역할

1. 단어 간 연관성 학습

   • 매개변수는 단어와 단어 사이의 관계를 학습하여 의미 있는 문장을 생성하는 데 기여합니다.
   • 예를 들어, "파란 하늘"과 "푸른 하늘"이 같은 의미임을 학습한 모델은, 문맥에 따라 적절한 단어를 선택할 수 있습니다.

2. 문맥을 고려한 적절한 단어 예측

3. 다양한 언어 및 스타일 이해

   • 매개변수가 많을수록 더 많은 데이터에서 학습할 수 있기 때문에, 다양한 언어와 글쓰기 스타일을 이해하고 적용할 수 있습니다.
   • 예를 들어, 모델이 소설 스타일, 뉴스 기사, 코드 작성 등 다양한 문체를 구별할 수 있는 이유도 매개변수 학습 덕분입니다.

Multimodal (멀티모달)

기존의 LLM은 주로 텍스트 데이터를 중심으로 처리하는 방식이었지만, 현재의 최신 모델들은 이미지, 음성, 코드 등 다양한 형태의 데이터를 함께 이해하고 생성할 수 있는 멀티모달(Multimodal) 능력을 기본적으로 지원합니다. 이러한 멀티모달 모델은 단순한 자연어 처리 능력을 넘어, 시각 정보와 음성 데이터를 결합하여 보다 풍부한 이해와 다양한 응용을 가능하게 합니다.

멀티모달 AI는 왜 중요할까?

• 인간은 텍스트뿐만 아니라, 시각적 정보, 청각적 정보 등을 종합하여 세상을 이해합니다.
• 기존 LLM은 텍스트만 처리할 수 있었기 때문에 이미지 기반 정보나 음성 데이터는 별도의 AI 모델이 요구되었습니다. → 멀티모달 모델을 통해 AI가 텍스트, 이미지, 음성 등을 동시에 활용하여 더욱 정교한 응답을 생성할 수 있습니다.

VLM (Vision Language Model, 시각-언어 모델)

VLM(Vision Language Model)은 이미지와 텍스트를 함께 이해하고 처리할 수 있는 멀티모달 AI 모델의 한 유형입니다. 이러한 모델은 이미지를 입력받아 내용을 텍스트로 설명하거나(Image Captioning), 이미지에 대한 질문에 답변하는(Visual Question Answering) 등의 작업을 수행할 수 있습니다.

대표적인 모델로는 GPT-4.1, Claude Sonnet 4.6, Gemini 2.5 Pro 등이 있으며, 이들은 텍스트와 이미지 정보를 통합적으로 이해하는 능력을 제공합니다.

2026년 하반기 업데이트 · 2026-10-12 기준

상반기 원문 이후 달라진 점 — 원문의 VLM 예시 세 모델은 모두 은퇴했거나 레거시·접근 제한 상태입니다.

• 확인된 사실: GPT-4.1·GPT-4.1 mini·GPT-4o·o4-mini는 2026-02-13에 ChatGPT에서 제거되었습니다(당시 API는 변경 없음). (OpenAI — Retiring GPT-4o and older models, 검색 결과로만 확인) API에서도 gpt-4.1-nano-2025-04-14는 2026-10-23 종료 예정입니다. (OpenAI Deprecations, 2026-10-12 확인)
• 확인된 사실: Claude Sonnet 4.6은 현재 레거시 모델로 분류되며, 현행 Claude 모델은 모두 텍스트·이미지 입력과 비전 기능을 지원합니다. (Claude Models overview, 2026-10-12 확인)
• 확인된 사실: Gemini 2.5 Pro는 종료일이 공지되지 않았지만, "과거에 실제로 사용한 사용자"로 접근이 제한되어 신규 프로젝트에서는 쓰기 어렵습니다. 현행 Gemini 3.8 Flash는 텍스트·이미지·영상·오디오·PDF 입력을 지원합니다. (Gemini Deprecations, Gemini 3.8 Flash, 2026-10-12 확인)
• 해석·전망: "VLM"을 별도 범주로 구분하던 시기에서, 이제는 주요 범용 모델이 기본적으로 이미지(나아가 영상·오디오·PDF)를 입력받는 쪽으로 넘어왔습니다. 원문의 "멀티모달을 기본적으로 지원" 서술이 더 강하게 맞아떨어지는 셈입니다.

교육·실습 관점: 이미지 이해 실습(문서 OCR, 도면·스크린샷 분석)에는 GPT-6 계열, Claude Sonnet 5.5·Haiku 5.5, Gemini 3.8 Flash처럼 현행 모델을 쓰세요. 신규 계정으로는 Gemini 2.5 Pro에 접근이 안 될 수 있으니 실습 가이드에서 모델 ID를 갱신해야 합니다.

SI 실무에서는 다음과 같은 활용이 가능합니다.

• 문서 이미지에서 정보를 추출하는 문서 OCR 및 문서 이해(Document Understanding)
• 설계 도면 및 기술 문서 이미지 분석
• UI 스크린샷을 기반으로 한 코드 생성 또는 테스트 자동화
• 이미지 기반 고객 문의 응답 시스템

VLA (Vision Language Action Model, 시각-언어-행동 모델)

VLA(Vision Language Action Model)은 시각 정보(Vision)와 언어(Language)를 이해한 뒤 실제 행동(Action)을 생성하도록 설계된 모델 아키텍처입니다. 이는 VLM이 이미지와 텍스트를 이해하는 수준을 넘어, 환경을 인식하고 그에 대응하는 행동을 출력하도록 확장된 형태로 주로 로봇 제어 연구 분야에서 활용됩니다.

최근에는 이러한 개념이 물리적 로봇뿐 아니라 다음과 같은 소프트웨어 에이전트 영역에도 확장되고 있습니다.

• 웹 브라우저 조작 자동화
• GUI 기반 업무 자동화
• 컴퓨터 사용 에이전트(Computer Use Agent)

멀티모달 사례

1) 텍스트 + 이미지 이해

• 모델이 텍스트와 이미지를 동시에 분석하고 의미를 해석할 수 있음
• 적용 사례:
  • AI가 이미지를 보고 설명을 생성하는 이미지 캡셔닝(Image Captioning)
  • 문서를 스캔하고 내용을 이해하는 OCR(광학 문자 인식)
  • 사용자가 그림을 보여주면 해당 그림에 대한 설명을 제공

2) 텍스트 + 음성 처리

• AI가 음성을 인식하고 이를 텍스트로 변환하거나, 음성을 직접 이해하고 응답 생성이 가능함
• 적용 사례:
  • 음성을 텍스트로 변환하는 음성 인식 AI (예: OpenAI Whisper)
  • 텍스트를 자연스러운 음성으로 변환하는 TTS (Text-to-Speech)
  • AI가 사람의 음성을 듣고 문맥을 이해하여 자연스럽게 응답하는 음성 비서(Alexa, Siri 등)

3) 텍스트 + 영상(비디오) 분석

• AI가 영상 데이터를 분석하고, 장면을 요약하거나 의미를 해석하는 능력을 갖춤
• 적용 사례:
  • 동영상 속 장면을 요약하고 설명 생성 (예: Google Gemini)
  • CCTV 영상에서 특정 사건 감지 (예: 교통 사고 탐지)

LLM이 언어를 이해하고 생성하는 방식

대규모 언어 모델(LLM)이 자연스럽게 문장을 생성할 수 있는 이유는 문맥을 이해하는 Transformer라는 구조와 확률 기반 단어 선택(Sampling) 기법 덕분입니다. Transformer는 문장을 효과적으로 분석하여 문맥을 이해하고, Sampling 기법은 확률적으로 단어를 선택해 더욱 자연스럽고 다양한 문장을 생성하도록 합니다.

이제, Transformer가 어떻게 동작하는지 그리고 LLM이 단어를 생성하는 방법(Sampling 기법)에 대해 살펴보겠습니다.

일반적인 자기회귀 텍스트 생성 과정이다. 입력 토큰의 병렬 처리와 출력 토큰의 순차 생성을 구분해서 보자. 원본 크게 보기

Transformer

Transformer란?

Transformer는 LLM이 문장을 이해하고 생성하는 데 사용하는 핵심 신경망 구조입니다. 기존의 모델들이 문장을 단어 하나하나 순차적으로 처리하는 방식이었다면, Transformer는 한 문장 내의 모든 단어를 동시에 분석하여 문맥을 이해하는 방식을 사용합니다.

이 방식을 통해 Transformer는

• 더 빠르게 텍스트를 처리하고,
• 문맥을 더 정확하게 반영하며,
• 더 길고 복잡한 문장을 자연스럽게 생성할 수 있습니다.

Transformer의 동작 방식

Transformer는 일반적으로 인코더와 디코더로 구성되지만, 모델에 따라 인코더만 사용하거나 디코더만 사용하는 방식도 있습니다.

1) 인코더(Encoder)

• 인코더는 입력된 문장을 토큰 단위로 변환한 후, 각 단어의 의미와 문맥을 분석합니다. (입력 문장을 이해하는 역할)
• 예를 들어, "나는 커피를 마셨다."라는 문장이 주어졌을 때, 인코더는 "나는", "커피를", "마셨다" 각각의 단어가 문장에서 어떤 의미를 가지는가를 학습합니다.

2) 디코더(Decoder) -- 문장을 생성하는 역할

• 디코더는 인코더에서 처리한 정보를 바탕으로 새로운 문장을 생성합니다.
• 예를 들어, 번역 모델에서 "나는 커피를 마셨다."라는 문장을 입력하면, 디코더는 "I drank coffee."라는 문장을 생성할 수 있습니다.

이 과정에서 Transformer는 이전 단어와 문맥 정보를 기반으로 가장 적절한 단어를 선택하여 자연스러운 텍스트를 생성합니다.

Transformer가 왜 중요한가?

1) 빠른 연산 속도

• Transformer는 병렬 처리가 가능하기 때문에, 기존 모델보다 훨씬 빠르게 텍스트를 처리할 수 있습니다.
• 특히 대량의 데이터를 학습해야 하는 LLM에서는 필수적인 구조입니다.

2) 긴 문맥을 더 잘 이해함

• Transformer는 문장 내 모든 단어의 관계를 고려하기 때문에, 기존 방식보다 더 긴 문맥을 유지하고, 의미 있는 문장을 생성할 수 있습니다.

3) 다양한 AI 모델의 기반이 됨

• GPT, Claude, LLaMA 등 거의 모든 최신 AI 모델은 Transformer 구조를 기반으로 동작합니다.
• 즉, Transformer는 현대 자연어 처리(NLP)의 핵심 기술이라고 할 수 있습니다.

Reasoning Model (추론 모델)

Reasoning Model은 **복잡한 문제 해결을 위해 단계적 추론 과정(reasoning)을 수행하도록 최적화된 대형 언어 모델(LLM)**을 의미합니다. 초기의 LLM은 질문을 입력받으면 비교적 짧은 계산 과정으로 바로 답변을 생성하는 경향이 있었지만, 최신 모델들은 문제 해결 과정에서 여러 단계의 내부 추론을 수행한 뒤 최종 답변을 생성하도록 설계되고 있습니다. 이러한 모델은 수학 문제 해결, 코드 생성, 논리적 분석 등 다단계 사고가 필요한 작업에서 높은 성능을 보이는 것이 특징입니다.

대표적인 모델 및 기능 예시:

• OpenAI o3 / o3-pro / o4-mini
• Claude의 Extended Thinking 모드
• Gemini 2.5 Pro의 Thinking 기능
• DeepSeek-R1

2026년 하반기 업데이트 · 2026-10-12 기준

상반기 원문 이후 달라진 점 — 추론은 이제 "별도의 추론 모델"이 아니라 주력 모델에 기본 탑재되고 effort(노력 수준)로 조절하는 기능이 되었습니다.

• 확인된 사실: OpenAI의 o3-2025-04-16, o3-pro-2025-06-10은 2026-12-11, o4-mini-2025-04-16은 2026-10-23 종료 예정이며, 대체 모델로 GPT-5.6 계열이 안내됩니다. 현재 OpenAI 추론 가이드는 GPT-6·GPT-5.x 계열 전체를 추론 모델로 다루고, 기본 출발점으로 GPT-6 Astra를 권장합니다. (OpenAI Deprecations, OpenAI Reasoning 가이드, 2026-10-12 확인)
• 확인된 사실: Claude의 Extended Thinking(thinking.type: "enabled" + budget_tokens)은 Opus 4.6·Sonnet 4.6에서 deprecated, Claude Opus 4.7 이후 모델에서는 400 오류로 거부됩니다. 대신 모델이 생각할 양을 스스로 정하는 Adaptive thinking과 effort 파라미터를 씁니다. Opus 5.5와 Fable 5.1은 adaptive thinking이 항상 켜져 있어 끌 수 없습니다. (Claude Models overview, Claude Opus 5.5 migration guide, 2026-10-12 확인)
• 확인된 사실: Gemini 2.5 Pro는 신규 접근이 제한되었고, 현행 Gemini 3.8 Flash는 thinking을 low·medium·high 수준으로 지원합니다. DeepSeek은 R 계열을 따로 내지 않고 V4 모델 안에서 thinking/non-thinking 모드를 선택합니다. (Gemini Deprecations, Gemini 3.8 Flash, DeepSeek API Pricing, 2026-10-12 확인)
• 해석·전망: 원문의 장단점(정확도 향상 vs 지연·비용 증가)은 여전히 유효하지만, 실무 질문이 "추론 모델을 쓸까 말까"에서 "같은 모델에서 effort를 얼마로 둘까"로 바뀌었습니다. 비용 관리 포인트도 모델 선택에서 effort 조절로 이동하고 있다고 봅니다.

교육·실습 관점: 예시 목록은 "OpenAI GPT-6·GPT-5.x(reasoning effort), Claude의 Adaptive thinking + effort, Gemini의 thinking level, DeepSeek V4의 thinking 모드"로 바꿔 읽는 것을 권합니다. API 실습 코드에 budget_tokens가 있다면 최신 Claude 모델에서는 그대로 실패하므로 effort 방식으로 고쳐야 합니다. "같은 문제를 effort low/high로 풀어 보고 정확도·지연·토큰 사용량 비교하기"가 지금 시점에 가장 교육 효과가 좋은 실습입니다.

핵심 특징

• 문제 해결 과정에서 내부적으로 긴 추론 과정을 수행
• 단일 단계 응답보다 단계적 문제 해결 능력이 향상
• 수학, 알고리즘, 논리 추론, 코드 생성 등의 작업에서 높은 정확도

장점

• 복잡한 다단계 문제 해결 능력 향상
• 코드 생성, 수학 문제 해결, 분석적 작업에서 성능 개선

단점

• 추론 과정이 길어질수록 응답 지연(Latency)이 증가할 수 있음
• 더 많은 연산량과 토큰 사용으로 비용 증가 가능

AI 에이전트와의 관계

Reasoning Model의 발전은 AI 에이전트의 고급 의사결정 능력을 가능하게 한 핵심 기반 기술로 평가됩니다. 예를 들어 다음과 같은 에이전트 패턴은 모델의 추론 능력에 크게 의존합니다.

• Plan-and-Execute 방식의 작업 계획 수립
• 심층 리서치(Deep Research) 에이전트
• 복잡한 멀티스텝 자동화 에이전트

Sampling(샘플링) 기법

Transformer가 문맥을 이해하고 적절한 다음 단어를 예측하면, 이제 어떤 단어를 선택할 것인지 결정하는 과정이 필요합니다. 이 과정에서 Sampling(샘플링) 기법이 사용됩니다.

Sampling(샘플링)이란?

LLM은 문장을 생성할 때, 다음 단어가 될 가능성이 높은 여러 개의 후보를 예측한 후, 그중 하나를 선택합니다. 샘플링 기법을 사용하면 텍스트의 다양성과 창의성을 조절할 수 있습니다.

주요 샘플링 기법

1) Temperature Scaling (다양성 조절)

• 낮은 Temperature

  • 모델이 가능성이 높은 단어를 선택하여 더 일관성 있는 결과 생성
  • 사실적이고 정확한 정보를 제공해야 할 때 유용 (ex. 법률 문서 요약, 의료 정보 제공)

• 높은 Temperature

  • 확률이 낮은 단어도 선택될 수 있어 더 다양한 응답 생성 가능
  • 창의적인 결과를 원하는 경우 유용함 (ex. 마케팅 광고 카피 작성)
  • Temperature 범위는 API마다 다름: OpenAI는 0.0~2.0, Anthropic Claude는 0.0~1.0

Temperature가 낮을수록 단어간 선택 확률 차이가 커져 선택되는 단어가 거의 확정적입니다.

2) Top-k Sampling (상위 k개 중 선택)

• 모델이 예측한 확률이 높은 k개의 단어 중 하나를 무작위로 선택하는 방식
• 예를 들어 top-k를 5로 설정하면:
  • "오늘 날씨가"라는 입력이 주어졌을 때,
  • 모델이 가장 확률이 높은 5개 단어를 선택하고("좋다", "덥다", "춥다", "흐리다", "비온다"),
  • 그중 하나를 랜덤하게 선택함
• k 값이 작으면? → 더 일관된 결과를 생성 (일관성 증가)
• k 값이 크면? → 더 다양한 결과를 생성
• 일반적인 AI 챗봇에서는 40~50을 많이 사용합니다.

3) Top-p Sampling (누적 확률 기반 선택)

• 확률이 높은 단어부터 순서대로 더하면서, 누적 확률이 p%를 초과하면 나머지 단어들은 제거하는 방식
• Top-k보다 더 유연하게 작동하며, 문맥에 맞는 단어를 더 다양하게 선택할 수 있음
• 0.9가 일반적으로 가장 많이 사용됩니다.

가상 분포에서 Top-k는 후보 개수, Top-p는 누적 확률로 선택 범위를 정한다. 실제 모델의 측정 결과가 아니다. 원본 크게 보기

샘플링 기법 비교

기법	설명	낮은 값	높은 값
Temperature	토큰 확률 분포의 무작위성(randomness)을 조절하는 파라미터. 값이 낮을수록 상위 확률 토큰이 선택될 가능성이 높아지고, 값이 높을수록 다양한 토큰이 선택될 가능성 증가	일관성 있고 결정론적인 출력 (예: 법률 문서 요약, 기술 문서 작성)	다양하고 창의적인 출력 (예: 광고 카피, 스토리 생성)
Top-k	확률이 높은 상위 k개의 토큰 후보 중 하나를 무작위로 선택하는 방식	k가 작을수록 선택 후보가 제한되어 결과가 더 일관적	k가 클수록 선택 후보가 많아져 결과가 다양해짐 (일반 챗봇에서는 약 40~50 정도 사용)
Top-p	누적 확률이 p에 도달할 때까지의 토큰 집합에서 선택하는 방식. 후보 개수가 동적으로 결정됨	좁은 범위의 토큰에서 선택하여 안정적인 출력	넓은 범위의 토큰에서 선택하여 다양한 출력 (일반적으로 0.9 수준 사용)

실무 조정 예시

작업 유형	Temperature	Top-p	설명
코드 생성 / 정형 문서 작성	0.0~0.3	0.1~0.3	정확성과 일관성이 중요한 작업. 결정론적 출력에 가까운 결과를 유도
일반 업무 대화 / Q&A	0.4~0.7	0.8~0.95	자연스럽고 안정적인 응답 생성
브레인스토밍 / 창작	0.7~1.0	0.9~1.0	다양한 표현과 아이디어 생성을 유도

이해를 돕기 위한 대표적인 설정 예시이며, 실제 운영 환경에서는 모델과 서비스 목적에 맞게 조정이 필요합니다.

2026년 하반기 업데이트 · 2026-10-12 기준

상반기 원문 이후 달라진 점 — 최신 상용 모델 상당수가 temperature·top_p·top_k 조정을 막아 두어, 위 실무 조정 표를 그대로 API에 적용하면 오류가 납니다.

• 확인된 사실: Claude Opus 4.7 이후 모델(Opus 5.5 포함)에서 temperature, top_p, top_k를 기본값이 아닌 값으로 보내면 400 오류가 반환되며, Python SDK v1.0 이후에는 이 인자 자체가 정의되어 있지 않습니다. 문서는 "temperature = 0도 이전 모델에서 동일 출력을 보장한 적은 없다"고 덧붙이고, 동작 제어는 프롬프트로 하라고 권합니다. Claude Sonnet 5.5도 샘플링 파라미터를 400으로 거부합니다. (Claude Opus 5.5 migration guide, Claude Sonnet 5.5 migration guide, 2026-10-12 확인)
• 확인된 사실: OpenAI는 reasoning effort가 none이 아닐 때 temperature, top_p, top_logprobs를 제거하라고 안내하며, 이 파라미터는 none을 지원하는 모델(GPT-6 Sol, GPT-6 Luna)에서 effort를 none으로 둘 때만 쓸 수 있습니다. (OpenAI Latest model 가이드, 2026-10-12 확인)
• 해석·전망: 원문의 "OpenAI 0.0~2.0, Claude 0.0~1.0" 범위는 구형·일부 모델에 한정된 정보가 되었습니다. 샘플링 원리 자체는 여전히 LLM 이해의 핵심 개념이지만, 최신 추론 모델에서는 "사용자가 돌리는 손잡이"에서 "제공사가 고정한 내부 설정"으로 바뀌고 그 자리를 effort와 프롬프트가 대신하는 흐름입니다.
• 확인하지 못한 것: Claude Haiku 5.5, Gemini 3.x 계열의 샘플링 파라미터 허용 범위는 이번에 공식 문서로 직접 확인하지 못했습니다.

교육·실습 관점: "temperature를 0과 1로 바꿔 출력 비교하기" 실습은 모델을 신중히 골라야 합니다. 샘플링을 허용하는 모델(예: GPT-6 Sol·Luna를 effort none으로, 또는 로컬에서 돌리는 오픈 웨이트 모델)을 쓰고, 최신 Claude·OpenAI 추론 모드에서는 "같은 효과를 프롬프트와 effort로 내는 법"을 대신 실습하도록 바꾸는 것을 권합니다. 위 실무 조정 표는 "샘플링을 허용하는 모델에서의 참고값"이라고 명시해 주세요.

LLM의 한계를 보완하는 기법

LLM은 강력한 언어 이해·생성 능력을 갖추고 있지만, 할루시네이션, 학습 데이터 이후의 지식 부족, 맥락 관리의 어려움, 도메인 특화 부족 등 본질적인 한계가 존재합니다. 이러한 한계를 보완하기 위해 다양한 기법이 활용되며, 대표적으로 프롬프트 엔지니어링, RAG, 컨텍스트 엔지니어링, 파인튜닝이 있습니다.

프롬프트 엔지니어링(Prompt Engineering)

같은 모델에 질문 하더라도 어떻게 질문(프롬프트)을 작성하느냐에 따라 출력이 크게 달라질 수 있습니다. 프롬프트 엔지니어링은 LLM이 더 정확하고 원하는 방식으로 응답을 생성하도록 입력을 최적화하는 기법입니다.

알아두기

• 프롬프트를 구조화하거나 구체적인 예시를 포함시키면 모델의 응답 품질이 향상됨
• 단순한 질문보다는 맥락과 조건을 명확히 제시하는 것이 효과적
• Few-shot Learning, Chain-of-Thought 등 다양한 프롬프트 기법이 존재

예시

• 일반적인 프롬프트: "커피가 건강에 좋은 이유는?"
• 최적화된 프롬프트: "과학적 연구를 기반으로 커피가 건강에 미치는 긍정적인 영향을 설명하고, 관련된 논문이나 연구 결과를 인용하여 요약해줘."

프롬프트 엔지니어링에 대한 더 자세한 내용은 이후 챕터에서 다룹니다.

RAG (Retrieval-Augmented Generation, 검색 증강 생성)

LLM은 훈련된 데이터만을 기반으로 응답을 생성하기 때문에, 최신 정보나 특정한 도메인 지식을 포함하기 어렵습니다. RAG(Retrieval-Augmented Generation)는 검색(Retrieval)과 생성(Generation)을 결합하여 LLM이 외부 데이터베이스에서 관련 정보를 찾아 활용할 수 있도록 하는 기법입니다.

알아두기

• LLM이 직접 학습하지 않은 외부 정보를 검색하여 답변의 정확성을 향상시킴
• LLM을 재학습하지 않고도 새로운 정보를 추가하여 보다 유연한 응답 생성 가능

RAG에 대한 더 자세한 내용은 이후 챕터에서 다룹니다.

컨텍스트 엔지니어링(Context Engineering)

컨텍스트 엔지니어링은 LLM에 전달되는 컨텍스트(맥락 정보)를 체계적으로 설계·관리하여, 모델이 최적의 응답을 생성할 수 있도록 하는 기법입니다. 프롬프트 엔지니어링이 "어떻게 질문할 것인가"에 초점을 맞춘다면, 컨텍스트 엔지니어링은 "모델에게 어떤 정보를 어떤 구조로 제공할 것인가"까지 포괄하는 더 넓은 개념입니다.

알아두기

• 시스템 프롬프트, 외부 지식, 대화 이력, 도구 결과 등 모델에 입력되는 모든 맥락 정보를 설계 대상으로 삼음
• 제한된 Context Window 내에서 가장 관련성 높은 정보를 선별하고 구조화하여 제공
• MCP(Model Context Protocol)와 같은 표준 프로토콜을 통해 외부 데이터 소스 및 도구와의 연결을 체계화

컨텍스트 엔지니어링에 대한 더 자세한 내용은 이후 챕터에서 다룹니다.

파인튜닝(Fine-Tuning)

파인튜닝은 기본적으로 학습된 LLM을 특정한 도메인이나 목적에 맞게 추가 학습시키는 과정입니다. 이는 특정 분야(예: 의료, 법률, 금융 등)에서 더욱 정교하고 맞춤화된 응답을 얻기 위해 사용됩니다.

알아두기

• 모델이 특정한 데이터셋을 추가로 학습하여 특정한 스타일이나 도메인에 최적화됨
• 기업이나 연구 기관이 자체 데이터를 활용하여 맞춤형 AI를 개발할 때 주로 사용됨
• 작은 데이터로도 모델의 성능을 개선할 수 있는 방법이 존재(LoRA, Adapter 등 경량화 기법)

생성형 AI 모델은 한계가 분명히 존재하며 그 중 대표적인 문제가 할루시네이션입니다. 이를 줄이기 위해 다양한 최적화 기법이 필요하고, 보다 정확한 정보를 얻기 위해 지속적인 개선이 중요합니다.

2026년 하반기 업데이트 · 2026-10-12 기준

상반기 원문 이후 달라진 점 — OpenAI가 자사 파인튜닝 플랫폼을 단계적으로 종료하고 있어, "상용 API 모델을 파인튜닝한다"는 선택지가 좁아졌습니다.

• 확인된 사실: OpenAI 문서는 "파인튜닝 플랫폼을 단계적으로 종료(winding down)하고 있으며, 신규 사용자는 더 이상 접근할 수 없다"고 안내합니다. 기존 활성 고객의 신규 파인튜닝 작업 생성은 2027-01-06에 종료되고, 이미 만든 파인튜닝 모델은 기반 모델이 deprecated될 때까지 추론에 쓸 수 있습니다. (OpenAI Model optimization 가이드, OpenAI Deprecations, 2026-10-12 확인)
• 해석·전망: 파인튜닝이라는 기법 자체가 사라지는 것은 아닙니다. 다만 상용 폐쇄형 모델에서는 프롬프트·RAG·컨텍스트 엔지니어링으로 해결하고, 가중치를 직접 손대야 하는 경우에는 오픈 웨이트 모델에 LoRA 등을 적용하는 쪽으로 무게가 더 실릴 것으로 봅니다.
• 확인하지 못한 것: Anthropic·Google의 2026년 하반기 파인튜닝 제공 범위(어떤 모델을, 어떤 플랫폼에서)는 이번에 공식 문서로 확인하지 못했습니다.

교육·실습 관점: "OpenAI 대시보드에서 GPT 모델 파인튜닝해 보기" 실습은 신규 계정으로는 진행할 수 없습니다. 파인튜닝 실습이 필요하면 Hugging Face 생태계의 오픈 웨이트 모델 + LoRA 조합으로 바꾸고, 수업에서는 "파인튜닝은 마지막 수단이며 공급자 정책에 따라 선택지 자체가 사라질 수 있다"는 운영 리스크도 함께 짚어 주세요.

LLM의 한계

LLM은 자연어를 이해하고 생성하는 강력한 AI 기술이지만, 완벽하지 않으며 몇 가지 한계를 가지고 있습니다. 이러한 한계를 이해하고, 이를 극복하기 위한 방법을 고민하는 것이 LLM을 효과적으로 활용하는 데 중요한 요소입니다.

할루시네이션 (Hallucination)

LLM은 입력된 데이터에 기반해 확률적으로 가장 적절한 단어를 예측하여 문장을 생성합니다. 하지만 때때로 사실이 아닌 정보, 존재하지 않는 개념, 잘못된 내용을 마치 진짜인 것처럼 생성하는 현상이 발생하는데, 이를 할루시네이션(Hallucination)이라고 합니다.

예시:

• 사용자: "세계에서 가장 긴 다리는?"
• LLM: "세계에서 가장 긴 다리는 대한민국의 'X Bridge'이며, 길이는 50km입니다." (실제 존재하지 않는 다리)

이처럼 자신감 있게 틀린 정보를 생성하는 것이 할루시네이션의 핵심 문제입니다.

왜 할루시네이션이 발생할까?

• LLM은 "이해"하는 것이 아니라 "패턴을 예측"하는 모델이기 때문입니다. 모델은 확률적으로 가장 적절한 단어를 예측하는 방식으로 동작하고, 이 과정에서 사실과 다른 정보를 조합하여 "있을 법한" 문장을 생성할 수 있습니다.
• 학습 데이터의 한계: LLM은 기존 데이터에서 학습하기 때문에, 학습 데이터에 없는 정보는 유추해서 생성합니다. 예를 들어, 2024년 이후의 정보를 학습하지 않은 모델은 최신 뉴스를 정확히 반영할 수 없습니다.

할루시네이션을 줄이는 방법

• 할루시네이션을 줄이는 대표적인 방법 중 하나는 RAG(Retrieval-Augmented Generation, 검색 기반 생성) 기법입니다. RAG는 LLM이 응답을 생성할 때, 외부 데이터베이스나 실시간 검색을 참조하여 더 정확한 정보를 제공하는 방식입니다.
• 프롬프트 엔지니어링(Prompt Engineering)과 파인튜닝(Fine-Tuning)도 할루시네이션을 줄이고 최적화하는 기법입니다.

Context Window의 제한

• LLM은 한 번에 기억할 수 있는 정보의 양(Context Window)이 제한적입니다. 즉, 너무 긴 문서나 대화가 주어지면 초반 내용을 잊어버리고 응답을 생성할 수 있습니다.

예시:

1. 사용자가 5000자 이상의 글을 입력하고 요약을 요청하면,
2. LLM의 Context Window(예: 4096 토큰)를 초과하는 부분은 기억하지 못하고 무시됩니다.
3. 결과적으로, 중요한 정보가 빠진 요약이 생성될 가능성이 있습니다.

Context Window의 제한을 극복하는 방법

• 컨텍스트 압축 (Summarization & Chunking): 긴 문서를 요약하거나 분할하여 LLM이 효과적으로 처리할 수 있도록 함
• 더 큰 Context Window를 가진 모델로 교체: 더 큰 모델을 사용하면 컨텍스트 윈도우 제한을 극복할 수 있지만, 토큰 사용량이 많아질수록 비용이 증가하는 문제가 있기 때문에 적절한 모델 선택에 대한 고려가 필요함

데이터 편향 및 필터링

데이터 편향이란?

• LLM은 인간이 만든 데이터를 학습하기 때문에, 특정한 관점이나 편향이 반영될 가능성이 존재합니다.
• 학습 데이터가 영어 위주라면, 비영어권 언어에 대한 이해도가 낮아질 수 있고, 특정 사회적, 정치적 의견이 더 많이 포함된 데이터로 학습되었다면, 모델의 응답도 편향될 수 있습니다.

예시:

• 가장 좋은 프로그래밍 언어가 무엇인가요? → LLM이 학습한 데이터가 특정 언어 중심이라면 실제로는 개발 목적에 따라 최적의 언어가 다름에도 LLM은 "Python이 최고의 언어입니다"와 같은 일방적인 답변을 줄 수 있습니다.

편향을 줄이는 방법

1. 데이터 필터링 및 재학습: AI 연구자들은 중립적이고 공정한 데이터를 제공하기 위해 편향된 데이터를 걸러내고 수정하는 과정을 적용
2. 다양한 데이터 학습: 다양한 문화와 의견을 포함한 데이터를 학습하면, 특정 관점에 치우치지 않고 균형 잡힌 응답을 생성할 수 있음
3. 사용자의 비판적 사고 활용: LLM의 답변이 항상 객관적인 것이 아니므로, 사용자가 AI의 출처를 확인하고 비판적으로 접근하는 태도가 중요함

실시간 정보 부족 -- 최신 정보 반영의 어려움

• 대부분의 LLM은 사전에 학습된 데이터만을 기반으로 작동하는 "정적인" 모델입니다.

실시간 정보를 반영하는 방법

• MCP(Model Context Protocol)와 같은 표준 프로토콜을 통해 AI 모델이 외부 데이터 소스, 도구, 서비스에 직접 연결하여 실시간 정보를 활용
• RAG(Retrieval-Augmented Generation) 적용: 외부 검색 시스템과 연결하여 최신 정보를 검색한 후 답변을 생성
• 인터넷 연결이 가능한 AI 시스템 활용
• 프롬프트에 최신 데이터를 제공하는 방식: 사용자가 최신 정보를 입력한 후, AI에게 그 내용을 바탕으로 답변하도록 유도

2026년 하반기 업데이트 · 2026-10-12 기준

상반기 원문 이후 달라진 점 — MCP는 특정 회사의 프로토콜이 아니라 Linux Foundation 산하 재단이 관리하는 공동 표준이 되었고, 웹 검색은 모델 API의 기본 도구로 자리 잡았습니다.

• 확인된 사실: (원문 작성 이전에 이미 있었지만 원문에 반영되지 않은 변화) Anthropic은 2025-12-09 MCP를 Linux Foundation 산하 Agentic AI Foundation(AAIF)에 기증했습니다. AAIF는 Anthropic·Block·OpenAI가 공동 설립하고 Google·Microsoft·AWS·Cloudflare·Bloomberg가 지원하며, 발표 시점에 공개 MCP 서버가 1만 개를 넘고 ChatGPT·Cursor·Gemini·Microsoft Copilot·VS Code 등이 MCP를 채택했다고 밝혔습니다. (Anthropic — Donating the Model Context Protocol, 2026-10-12 확인)
• 확인된 사실: Claude Models API는 각 모델이 서버 측 web search·code execution 도구를 지원하는지 capabilities.server_tools로 알려 주고, Gemini 3.8 Flash는 검색 그라운딩(search grounding)을 지원합니다. (Claude Models overview, Gemini 3.8 Flash, 2026-10-12 확인)
• 확인된 사실: 현행 Claude 모델의 신뢰 가능한 지식 기준 시점(reliable knowledge cutoff)은 2026년 6월로 공개되어 있습니다. (Claude Models overview, 2026-10-12 확인)
• 해석·전망: 원문의 "2024년 이후 정보를 학습하지 않은 모델" 예시는 지금 기준으로는 "지식 기준 시점 이후"로 일반화해 읽는 것이 맞습니다. 기준 시점이 최신이어도 몇 달의 공백은 항상 생기므로, 실시간 정보 보완 기법의 필요성은 그대로입니다.

교육·실습 관점: 실시간 정보 실습은 "웹 검색 도구를 켠 경우와 끈 경우 같은 최신 뉴스 질문에 대한 답 비교"로 구성하면 할루시네이션과 지식 기준 시점 개념을 한 번에 보여 줄 수 있습니다. MCP를 소개할 때는 "Anthropic이 만든 프로토콜"보다 "업계 공동 재단이 관리하는 개방형 표준"이라고 설명하는 편이 현재 상황에 맞습니다.

LLM 한계 보완 기법 비교

LLM의 한계를 보완하기 위해서는 Prompt Engineering, RAG, Context Engineering, Fine-Tuning 등 다양한 기법을 활용할 수 있습니다. 다만 각 방법은 보완하는 한계, 적용 난이도, 비용이 서로 다르기 때문에 상황에 따라 최적의 선택이 달라집니다.

가장 먼저 시도할 수 있는 방법은 Prompt Engineering입니다. 추가 비용 없이 프롬프트만 조정해도 출력 품질을 빠르게 개선할 수 있기 때문입니다. 그러나 프롬프트만으로 해결되지 않는 문제도 많습니다. 최신 정보나 사내 데이터를 반영해야 하는 경우에는 모델을 재학습하지 않고도 외부 지식을 활용할 수 있는 RAG가 효과적입니다. 또한 모델에 전달되는 맥락 정보를 보다 체계적으로 설계하고 관리해야 한다면 Context Engineering이 필요합니다. 한편, 특정 업무나 도메인에 최적화된 모델이 필요한 경우에는 Fine-Tuning이 요구됩니다. 다만 이 방법은 비용과 유지보수 부담이 크기 때문에 신중하게 선택해야 합니다. 결국 각 기법의 장단점을 이해하고, 문제 유형과 운영 환경에 맞게 적절한 방법을 선택하는 것이 중요합니다.

비교 항목	Prompt Engineering	RAG	Context Engineering	Fine-Tuning
방식	모델을 추가 학습 하지 않고, 프롬프트(질문)를 조정하여 원하는 결과를 유도	검색 시스템을 활용해 모델이 외부 지식(DB, 문서)을 참고하여 답변 생성	시스템 프롬프트, 외부 지식, 대화 이력, 도구 결과 등 모델에 전달되는 전체 맥락을 체계적으로 설계·관리	모델의 가중치를 직접 조정하여 특정 데이터에 맞춰 학습
보완하는 한계	모델의 응답 방향과 품질 제어 부족	학습 데이터 이후 지식 부족, 할루시네이션	Context Window 내 정보 관리, 외부 도구·데이터 연결 체계화	도메인 특화 부족, 스타일·톤 불일치
훈련 기간	N/A	N/A	N/A	대개 몇분에서 몇시간
비용	없음	낮음 (지식DB 구축 비용)	낮음 (설계·운영 비용)	중간
커스터마이징	프롬프트 커스터마이징	기업 내부 데이터를 이용하여 지식DB 구축/검색	맥락 구조 설계, MCP 연동, 토큰 예산 관리	모델 가중치 일부
요구되는 ML 전문성	낮음	낮음-중간	낮음-중간	중간

한눈에 정리하는 이번 챕터

• 생성형 AI는 기존 AI와 달리 새로운 콘텐츠(텍스트, 이미지 등)를 생성할 수 있다.
• 생성 모델에는 Transformer, Diffusion, GAN이 있으며, 각각 텍스트/이미지 생성에 강점을 가진다.
• Foundation Model은 사전 학습(Pretraining)된 범용 AI 모델을 의미하며 다양한 AI 응용의 기반이 된다.
• LLM은 Foundation Model의 한 종류로 자연어를 이해하고 생성할 수 있는 AI 모델이다.
• LLM의 핵심 요소에는 토큰, Context, Parameter, 멀티모달이 있으며, 각각이 모델의 성능과 이해력에 영향을 미친다.
• VLM은 이미지+텍스트를 동시에 처리하는 모델이며, VLA는 여기에 행동(Action) 생성을 추가하여 로봇 제어 등에 활용된다.
• LLM은 Transformer 구조를 기반으로 작동하며, Sampling 기법(Temperature, Top-k, Top-p)을 활용해 언어를 생성한다.
• Reasoning Model은 답변 전 명시적 추론 과정을 수행하여 복잡한 다단계 문제의 정확도를 향상시킨다.
• LLM의 최적화를 위해 프롬프트 엔지니어링, RAG, 컨텍스트 엔지니어링, 파인튜닝이 사용되며, 이를 통해 원하는 출력을 보다 정밀하게 조정할 수 있다.
• LLM은 강력한 성능을 갖추고 있지만, 할루시네이션, 데이터 편향, 높은 연산 비용, 정확성 한계 등의 문제를 고려해야 한다.

2026년 하반기 업데이트 참고자료 (2026-10-12 확인)

• Claude Models overview — 현행 Claude 라인업, 1M 컨텍스트·128K 출력, Adaptive thinking, 새 토크나이저, 지식 기준 시점, 레거시 모델 목록
• Claude Opus 5.5 migration guide — Opus 4.7 이후 샘플링 파라미터·budget_tokens 400 오류, effort 전환
• Claude Sonnet 5.5 migration guide — Sonnet 5.5의 샘플링 파라미터·thinking 설정 제약
• OpenAI Deprecations — DALL·E·Sora API·o3·o4-mini·gpt-4.1-nano 종료일, 파인튜닝 신규 작업 종료일
• OpenAI Models — GPT-6 Astra·GPT-6.1 Sol·GPT-6 Luna, 약 1.05M 컨텍스트
• OpenAI Reasoning 가이드 — 현행 추론 모델 범위
• OpenAI Latest model 가이드 — reasoning effort와 temperature·top_p 사용 조건
• OpenAI Image generation 가이드 — 현행 이미지 모델(GPT Image) 구성
• OpenAI Model optimization 가이드 — 파인튜닝 플랫폼 단계적 종료
• OpenAI — Retiring GPT-4o and older models — ChatGPT에서 GPT-4o·GPT-4.1·o4-mini 제거(검색 결과로만 확인)
• What to know about the Sora discontinuation — Sora 앱·API 종료 일정(검색 결과로만 확인)
• Gemini API Models — 현행 Gemini 모델 구성
• Gemini 3.8 Flash — 컨텍스트·입력 모달리티·thinking·검색 그라운딩
• Gemini Deprecations — Gemini 2.5 Pro 접근 제한
• DeepSeek API Pricing — DeepSeek V4 계열, 1M 컨텍스트, thinking 모드
• Devin Desktop FAQ — Windsurf → Devin Desktop 리브랜딩, Cascade → Devin Local
• Windsurf is now Devin Desktop — 리브랜딩 공지(검색 결과로만 확인)
• Anthropic — Donating the Model Context Protocol — MCP의 AAIF 기증
• Addleshaw Goddard — AI Omnibus formally adopted — EU AI Act 고위험 의무 연기 일정
• 머니투데이 — AI기본법 과태료 계도기간 — 한국 AI 기본법 시행·계도기간 최소 1년
• 세계일보 — AI 생성 고지 의무 — 생성형 AI 결과물 고지 의무(검색 결과로만 확인)