알고리즘 — AI가 문제를 푸는 방식을 설계하는 계산 절차

게시일 2026-04-30수정일 2026-04-30

On this page

AI가 체스를 두고, 최적 경로를 찾고, 콘텐츠를 추천하는 과정에는 공통 설계도가 있다. 문제를 어떤 순서로, 어떤 방법으로 풀 것인가를 명시한 알고리즘(Algorithm)이다.

정의

알고리즘(Algorithm)은 특정 문제를 해결하기 위해 순서가 정해진 유한한 계산 절차다. 입력(Input)을 받아 정해진 단계를 거쳐 출력(Output)을 만들어낸다. 9세기 수학자 알-콰리즈미(Al-Khwārizmī)의 이름에서 유래했다.

AI에서 알고리즘은 두 가지 의미로 쓰인다. 첫째는 전통적 의미 — 정렬·탐색·그래프 같은 고전 알고리즘. 둘째는 AI 학습 알고리즘 — 경사하강법(Gradient Descent), 강화학습(Reinforcement Learning), 진화 알고리즘 등이다. 둘 다 AI 시스템의 핵심 구성 요소다.

AI에서 알고리즘이 쓰이는 방식

탐색 알고리즘 — 최적 경로 찾기

AI가 선택지를 탐색할 때는 탐색 알고리즘이 작동한다.

BFS(너비 우선 탐색): 가까운 노드부터 모두 탐색. 최단 경로 보장.
DFS(깊이 우선 탐색): 한 경로를 끝까지 탐색 후 백트래킹. 메모리 효율적.
**A\* 알고리즘**: 휴리스틱을 더한 최적 경로 탐색. 게임 AI 이동 경로에서 표준.

LLM이 다음 토큰을 선택할 때 사용하는 빔 서치(Beam Search)도 탐색 알고리즘의 일종이다. 상위 K개 후보를 동시에 유지하며 최적 문장을 생성한다.

정렬 알고리즘 — 데이터 전처리의 기반

머신러닝 데이터 전처리, 추천 시스템 랭킹, 벡터 데이터베이스 검색 결과 정렬 등 AI 파이프라인 전반에서 정렬이 사용된다. 병합 정렬(Merge Sort), 퀵 정렬(Quick Sort)은 O(n log n) 시간 복잡도로 대용량 데이터를 처리한다.

학습 알고리즘 — AI를 학습시키는 핵심

AI 모델을 학습시키는 것 자체가 알고리즘의 실행이다.

경사하강법 (Gradient Descent):
1. 현재 가중치로 예측 수행
2. 예측 오차(Loss) 계산
3. Loss를 줄이는 방향으로 가중치 조금 수정 (학습률 × 기울기)
4. 1~3 반복

GPT, Claude, Gemini 모두 이 알고리즘의 변형(Adam, AdamW 등)으로 학습된다.

시간 복잡도 — 알고리즘 효율의 척도

알고리즘의 효율은 시간 복잡도(Big-O 표기법)로 표현한다.

| 표기 | 의미 | 예시 | |---|---|---| | O(1) | 입력 크기 무관 상수 시간 | 해시맵 조회 | | O(log n) | 로그 시간 | 이진 탐색 | | O(n) | 선형 시간 | 배열 순회 | | O(n²) | 제곱 시간 | 버블 정렬 | | O(2ⁿ) | 지수 시간 | 무차별 대입(브루트 포스) |

AI 추론 비용이 높은 이유 중 하나는 Transformer의 어텐션 연산이 O(n²) 복잡도를 가지기 때문이다. 컨텍스트 길이가 두 배가 되면 연산량은 네 배로 늘어난다. Flash Attention 같은 최적화 알고리즘이 이 문제를 해결하기 위해 개발됐다.