Temperature — AI 답변의 창의성을 숫자 하나로 조절하는 원리

게시일 2026-04-30수정일 2026-04-30

On this page

ChatGPT에 같은 질문을 10번 했을 때 매번 비슷한 답이 나온다면 temperature가 낮게 설정된 것이고, 매번 조금씩 다른 답이 나온다면 높게 설정된 것이다. 이 파라미터 하나가 AI 출력의 일관성과 창의성 사이 균형 전체를 조절한다.

정의

Temperature는 언어 모델이 다음 토큰(단어)을 선택할 때 확률 분포를 얼마나 "날카롭게" 또는 "평평하게" 만들지를 결정하는 수치 파라미터다. 0에 가까울수록 가장 확률 높은 토큰만 선택(결정론적), 1 이상이 되면 확률이 낮은 토큰도 선택 가능(창의적)해진다.

파라미터명: temperature 범위: 보통 0.0 ~ 2.0 (모델별 상이) 기본값: ChatGPT 1.0 / Claude 1.0 / Gemini 1.0 (2026-04 기준)

확률 분포로 이해하는 원리

언어 모델은 다음 토큰을 출력할 때 모든 후보 토큰에 확률 점수(logit)를 계산한다. Temperature는 이 logit에 나눗셈을 적용해 분포의 형태를 변형한다.

# 개념 코드 (실제 구현 단순화)
import math

logits = [3.0, 1.5, 0.8, 0.3]  # 각 토큰의 원래 점수

def apply_temperature(logits, temperature):
    if temperature == 0:
        # 가장 높은 점수의 토큰만 선택 (greedy)
        return [1.0 if i == logits.index(max(logits)) else 0.0
                for i in range(len(logits))]
    scaled = [l / temperature for l in logits]
    exp_vals = [math.exp(s) for s in scaled]
    total = sum(exp_vals)
    return [e / total for e in exp_vals]

# temperature=0.1 → 가장 높은 토큰에 확률 집중
# temperature=1.0 → 원래 분포 유지
# temperature=2.0 → 분포가 평평해져 다양한 토큰 선택 가능

낮은 temperature(0.0~0.3): 분포가 날카로워져 가장 높은 확률의 토큰만 반복 선택. 답이 일정하고 예측 가능하다.

중간 temperature(0.7~1.0): 원래 확률 분포를 대체로 유지. 자연스러운 다양성과 일관성의 균형.

높은 temperature(1.2~2.0): 분포가 평평해져 낮은 확률의 토큰도 선택될 가능성이 높아진다. 예상치 못한 조합이 등장하는 대신 문법·논리 오류 위험도 증가.

용도별 권장 설정값

| 사용 사례 | 권장 temperature | 이유 | |---|---|---| | 코드 생성 | 0.0~0.3 | 문법 오류 최소화, 일관성 필요 | | 사실 질답 / RAG | 0.0~0.5 | 정확성 우선 | | 일반 대화 | 0.7~1.0 | 자연스러운 다양성 | | 창작 글쓰기 | 1.0~1.5 | 예상 밖 조합 유도 | | 마케팅 카피 브레인스토밍 | 1.2~1.8 | 아이디어 다양성 극대화 |

temperature만으로 품질이 결정되지 않는다. prompt-engineering과 함께 조정해야 효과적이다.

temperature 외 관련 파라미터

Temperature와 함께 자주 사용되는 샘플링 파라미터들이 있다.

Top-p(핵 샘플링, Nucleus Sampling): 누적 확률이 p를 넘기 전까지의 토큰만 후보로 허용한다. top_p=0.9이면 확률 상위 90%에 드는 토큰들만 후보로 남긴다. Temperature와 함께 사용하면 더 세밀한 출력 조정이 가능하다.

Top-k: 확률 순위 상위 k개 토큰만 후보로 허용한다. temperature와는 독립적으로 작동한다.

Frequency Penalty / Presence Penalty: 이미 등장한 토큰에 페널티를 부여해 반복을 줄이는 별도 파라미터다. Temperature와 독립적으로 작동하므로 동시에 조정 가능하다.

일반적으로 temperature와 top-p를 함께 조정하는 조합이 권장된다. top-k와의 혼용은 모델별 동작이 다르므로 주의가 필요하다.

정의

확률 분포로 이해하는 원리

용도별 권장 설정값

temperature 외 관련 파라미터

관련 용어