데이터셋(Dataset) — AI를 가르치는 교과서의 정체

AI 모델이 무엇을 알고 무엇을 모르는지는 학습에 사용된 데이터셋이 결정한다. 모델 구조나 알고리즘보다 데이터의 품질과 구성이 실제 성능을 좌우하는 경우가 많다. 고품질 데이터셋 확보가 AI 기업들의 핵심 경쟁 자산이 된 이유가 여기에 있다.

정의

데이터셋(Dataset)은 machine-learning 모델을 학습시키기 위해 수집·가공된 데이터의 묶음이다. 이미지, 텍스트, 음성, 수치 등 다양한 형태로 존재하며, 모델이 패턴을 학습하는 원재료 역할을 한다. 데이터셋의 규모, 다양성, 정확성이 결국 모델의 성능 상한선을 결정한다.

데이터셋의 구조

데이터셋은 일반적으로 세 가지 분할(Split)로 나뉜다.

• 학습 세트(Training Set): 모델이 직접 학습하는 데이터. 전체의 60~80%를 차지한다.
• 검증 세트(Validation Set): 학습 도중 모델 성능을 측정하고 hyperparameter를 조정하는 데 사용한다. 전체의 10~20%.
• 테스트 세트(Test Set): 학습이 끝난 후 최종 성능을 평가하는 용도로만 사용한다. 테스트 세트를 학습에 노출하면 모델 평가가 왜곡된다.

데이터 포인트 하나는 입력(Feature)과 정답(Label) 쌍으로 구성된다. 고양이 사진 분류 모델이라면 이미지가 입력, "고양이/개" 레이블이 정답이다. supervised-learning|지도학습에서는 이 라벨이 필수이며, unsupervised-learning|비지도학습에서는 라벨 없이 데이터만 사용한다.

데이터셋이 AI 성능을 결정하는 이유

데이터 편향(Bias): 데이터셋에 특정 인종, 성별, 언어가 과다 또는 과소 대표되면 모델은 그 편향을 그대로 학습한다. 의료 AI 모델이 특정 인구집단의 데이터만으로 학습되면, 다른 인구집단에서는 오진율이 높아진다.

데이터 규모: 일반적으로 데이터가 많을수록 모델 성능이 향상된다. GPT 계열 llm은 수천억 개의 토큰으로 구성된 방대한 텍스트 데이터셋으로 학습되었다. 단, 데이터가 많아도 품질이 낮으면 성능 향상 효과가 제한적이다.

데이터 다양성: 다양한 도메인, 언어, 스타일의 데이터를 포함할수록 모델의 범용성이 높아진다. 특정 도메인에만 치우친 데이터셋으로 학습한 모델은 다른 도메인에서 성능이 급격히 낮아진다.

대표적인 공개 데이터셋

| 데이터셋 | 유형 | 규모 | 주요 용도 | |---|---|---|---| | ImageNet | 이미지 분류 | 1,400만 장 | 컴퓨터 비전 벤치마크 | | Common Crawl | 웹 텍스트 | 수 페타바이트 | LLM 사전 학습 | | COCO | 이미지 감지 | 33만 장 | 객체 인식 | | The Pile | 텍스트 복합 | 825GB | LLM 사전 학습 | | SQuAD | 독해 Q&A | 10만 개 | NLP 벤치마크 |

데이터셋 구축의 실제 과제

고품질 데이터셋 구축은 AI 개발 비용의 상당 부분을 차지한다. 라벨링 작업은 사람이 직접 수행해야 하는 경우가 많아 인건비와 시간이 크게 소요된다. 의료 영상이나 법률 문서처럼 전문 지식이 필요한 라벨링은 비용이 더욱 높다.

데이터 수집 단계에서는 저작권, 개인정보 보호, 사용 동의 문제도 반드시 검토해야 한다. 인터넷에서 수집한 데이터에는 저작권 있는 콘텐츠가 포함될 수 있으며, 개인 식별 정보(PII)는 별도로 처리해야 한다. 이 문제는 현재 생성형 AI 기업들이 직면한 주요 법적 이슈 중 하나다.

합성 데이터(Synthetic Data)는 이러한 수집 비용과 법적 문제를 우회하는 대안으로 주목받고 있다. 실제 데이터를 기반으로 AI가 생성한 인공 데이터를 학습 데이터로 활용하는 방식이다.

활용 사례

• 자율주행 차량: 수백만 시간의 도로 주행 영상과 라이다 데이터를 학습 세트로 구성한다.
• 의료 진단 AI: 수십만 장의 X-ray, MRI 이미지와 전문의 진단 레이블로 데이터셋을 구성한다.
• 번역 모델: 수십 개 언어의 병렬 코퍼스(원문-번역문 쌍)를 대규모로 수집해 학습에 활용한다.
• 금융 이상 탐지: 정상 거래와 이상 거래 내역을 라벨링해 이진 분류 모델을 학습시킨다.

관련 용어

• machine-learning — 데이터셋을 기반으로 패턴을 학습하는 AI 기술
• llm — 대규모 텍스트 데이터셋으로 학습한 대형 언어 모델
• fine-tuning — 범용 모델을 특화 데이터셋으로 추가 학습하는 기법
• overfitting — 학습 데이터에 과도하게 적합되어 새 데이터에서 성능이 낮아지는 현상
• label — 지도학습에서 데이터 포인트에 붙이는 정답 정보