기계 학습

머신 러닝은 여기로 연결됩니다. 학술지에 대해서는 머신 러닝 (학술지) 문서를 참고하십시오.

기계 학습(機械學習) 또는 머신 러닝(영어: machine learning)은 데이터나 경험을 바탕으로 컴퓨터의 과제 수행 능력을 높이는 알고리즘과 그 원리를 연구하는 분야이다. 컴퓨터 과학과 통계학에 걸쳐 발전했으며, 인공지능을 구현하는 주요 방법 가운데 하나이다. 사람이 모든 판단 규칙을 일일이 작성하는 대신, 학습 알고리즘이 사례에서 규칙이나 모형을 찾아 예측·분류·의사결정 등에 사용한다.

대표적인 학습 방식에는 입력과 목표 출력의 쌍을 사용하는 지도 학습, 목표 출력 없이 자료의 구조를 찾는 비지도 학습, 행동의 결과로 얻은 보상을 이용하는 강화 학습이 있다. 사용되는 모형은 선형 모형과 결정 트리, 인공 신경망 등으로 다양하다. 딥 러닝은 여러 층의 신경망으로 자료의 표현을 학습하는 기계 학습의 한 분야이다.

1950년대에는 게임과 패턴 인식에서 기계 학습 연구가 이루어졌으며, 이후 기호적 방법과 통계적 방법, 신경망 연구 등을 통해 발전했다. 대규모 자료와 계산 성능의 향상은 복잡한 모형의 학습과 응용을 뒷받침했다. 기계 학습은 컴퓨터 비전, 음성 인식, 자연어 처리, 추천 시스템, 로봇 제어와 과학 연구 등에 쓰인다. 문장이나 영상을 만드는 생성형 인공지능에도 기계 학습 방법이 사용된다.

학습에 사용하지 않은 새로운 사례에서도 좋은 성능을 내는 능력을 일반화라고 하며, 이는 기계 학습의 주요 목표이다. 훈련 자료를 잘 설명하는 모형도 새로운 자료에서는 오류를 낼 수 있으므로, 모형을 만드는 자료와 평가하는 자료를 구별한다. 실제 성능은 자료의 질과 대표성, 학습 방법, 사용 환경에 따라 달라진다. 알고리즘 편향, 개인정보의 노출, 설명 가능성과 같은 문제도 기계 학습 시스템의 연구와 활용에서 다루어진다.

개념과 범위

학습 문제의 정의

컴퓨터 프로그램의 학습 여부를 판단하려면 수행할 과제, 학습에 사용할 경험, 성능의 측정 기준을 정해야 한다. 경험을 쌓으면서 정해진 기준에 따른 성능이 향상되면 학습이 이루어졌다고 본다. 예를 들어 체커 프로그램에서는 대국을 과제로, 이전의 대국 기록이나 스스로 둔 대국을 경험으로 삼고, 정해진 상대에 대한 승률로 성능을 측정할 수 있다.

스팸 분류에서는 사람이 스팸 여부를 표시한 이메일이 학습 자료가 된다. 학습 알고리즘은 단어의 출현 빈도나 발신자 정보와 같은 입력의 특징을 사용하여 스팸 여부를 예측하는 모형을 만든다. 이렇게 얻은 모형이 새 이메일의 스팸 여부를 판별한다.

학습 알고리즘을 설계할 때에는 모형을 표현하는 방식, 성능을 평가할 기준, 모형을 찾거나 조정할 방법을 정한다. 사람이 사례별 판단 규칙을 일일이 작성하지 않더라도, 어떤 자료로 무엇을 학습할지는 정해야 한다.

인접 분야와의 관계

 인공지능, 통계학 및 데이터 마이닝 문서를 참고하십시오.

인공지능은 인식·추론·계획·학습 등 지능과 관련된 문제를 다루는 넓은 분야이다. 기계 학습은 경험을 바탕으로 이러한 과제의 성능을 높이는 방법을 다룬다. 통계학과는 모형의 추정, 예측, 불확실성 분석 등에서 밀접하게 관련된다. 대규모 자료를 처리하는 알고리즘과 학습에 필요한 계산량도 주요 연구 대상이다.

데이터 마이닝은 자료에서 유용한 패턴과 관계를 찾아내는 과정에 기계 학습 방법을 활용한다. 패턴 인식은 관측된 자료에서 대상을 구별하거나 구조를 알아내는 문제를 다루며, 분류·군집화 등에서 기계 학습과 겹친다. 한편 수학적 최적화는 주어진 목적함수의 값을 개선하는 계산 방법을 제공한다. 기계 학습에서는 훈련 자료의 목적함숫값을 줄이는 일과 새로운 자료에서 예측 오차를 줄이는 일이 항상 일치하지는 않는다.

학습 방식

학습 방식은 어떤 자료와 피드백을 이용하는지에 따라 나뉜다. 분류·회귀·군집화는 무엇을 수행하는지에 따른 과제의 종류이다. 같은 학습 방식으로 여러 과제를 다룰 수 있으며, 하나의 시스템에서 여러 학습 방식을 함께 사용하기도 한다.

지도 학습

 이 부분의 본문은 지도 학습입니다.

지도 학습은 입력과 그에 대응하는 목표 출력을 함께 사용해 학습하는 방식이다. 학습된 모형은 새 입력에 대한 출력을 예측한다. 학습 자료는 $(x_{i},y_{i})$와 같은 쌍으로 나타낼 수 있다. 여기서 $x_{i}$는 입력이고 $y_{i}$는 표적값 또는 레이블이다. 예를 들어 필기 인식에서는 손으로 쓴 숫자의 그림이 입력이고, 그 그림에 해당하는 숫자가 레이블이다.

분류는 스팸 여부나 숫자의 종류처럼 범주를 예측하는 과제이고, 회귀는 가격이나 온도처럼 수치로 표현되는 값을 예측하는 과제이다. 이 밖에도 기계 번역처럼 문장을 출력하거나, 입력의 여러 부분에 서로 관련된 표지를 붙이는 과제가 있다.

비지도 학습

 이 부분의 본문은 비지도 학습입니다.

 클러스터 분석 및 차원 축소 (통계학) 문서를 참고하십시오.

서로 가까운 자료를 세 군집으로 나눈 예. 어떤 자료를 비슷하다고 보는지에 따라 군집 결과가 달라질 수 있다.

비지도 학습은 각 입력에 대응하는 목표 출력 없이 자료의 분포나 구조를 학습한다. 군집화에서는 비슷한 관측값을 묶어 자료를 여러 집단으로 나눈다. 예를 들어 구매 기록이 비슷한 고객들을 묶을 수 있다. 어떤 특징으로 유사성을 판단하느냐에 따라 집단의 구성이 달라지므로, 군집이 기존 분류의 범주와 다를 수 있다.

차원 축소는 많은 변수로 표현된 자료를 더 적은 수의 변수로 나타내는 방법이다. 주성분 분석은 자료의 분산이 큰 방향을 찾아 그 방향을 따라 자료를 표현한다. 차원 축소는 시각화·압축·분석에 쓰이며, 어떤 정보를 남기는지가 중요하다.

준지도 학습과 자기지도 학습

 이 부분의 본문은 준지도 학습 및 자기 지도 학습입니다.

준지도 학습은 레이블이 있는 자료와 없는 자료를 함께 이용한다. 예를 들어 일부 사진에만 대상의 이름을 붙이고, 이름이 붙지 않은 사진에서도 자료의 구조를 파악하여 분류기를 학습한다. 레이블이 없는 자료가 도움이 되려면 그 구조가 예측 대상과 관련되어야 한다.

자기지도 학습은 자료 자체에서 목표값이나 비교 대상을 만들어 학습하는 방식이다. 예를 들어 문장의 일부를 가리고 나머지 문맥으로 가려진 부분을 예측하게 할 수 있다. BERT의 사전학습에 이러한 방식이 사용된다. 영상에서는 같은 사진을 서로 다르게 변형한 두 입력을 비슷하게 표현하고, 다른 사진의 표현과는 구별하도록 학습할 수 있다. 이처럼 자료에서 목표값이나 비교 대상을 얻으므로 사람이 사례마다 별도의 레이블을 붙일 필요가 없다.

강화 학습

 이 부분의 본문은 강화 학습입니다.

강화 학습의 기본 구조. 에이전트의 행동은 이후의 상태와 보상에 영향을 준다.

강화 학습에서는 에이전트가 행동의 결과로 받는 보상을 바탕으로 행동 방식을 학습한다. 상태나 관측에 따라 행동을 선택하는 방식을 정책이라고 한다. 목표는 여러 행동에 걸쳐 얻는 누적 보상의 기댓값을 크게 하는 것이다. 예를 들어 게임에서는 한 수의 가치가 그 즉시 드러나지 않고 이후의 승패에 반영될 수 있다.

마르코프 결정 과정은 상태·행동·상태 전이·보상을 이용하여 강화 학습 문제를 표현하는 대표적인 수학적 모형이다. 학습 과정에서는 이미 좋은 결과를 낸 행동을 선택하는 활용과, 아직 충분히 알지 못하는 행동을 시도하는 탐색 사이의 균형이 중요하다. 보상은 정답 행동을 직접 알려 주지는 않는다. 또한 현재의 행동에 따라 이후에 접할 상태와 자료도 달라진다.

전이 학습과 자료의 제공 방식

 전이 학습, 온라인 기계 학습 및 액티브 러닝 (기계 학습) 문서를 참고하십시오.

전이 학습은 한 과제나 자료에서 학습한 지식·표현을 다른 과제나 환경에 활용한다. 미리 학습한 신경망을 특징 추출기로 사용하거나, 새 과제의 자료로 매개변수를 다시 조정하는 미세 조정이 그 예이다. 자기지도 학습으로 표현을 미리 학습한 뒤, 레이블이 있는 자료로 특정 분류 과제에 맞게 조정할 수 있다.

온라인 학습에서는 자료가 순차적으로 주어지고, 학습 결과를 그때그때 갱신하며 사용한다. 반면 일괄 학습에서는 모아 둔 자료로 학습한 뒤 그 결과를 적용한다. 한편 미니배치 학습은 한 번의 갱신에 자료의 일부를 사용하는 계산 방식이다. 고정된 자료를 여러 번 나누어 처리할 수도 있으므로 온라인 학습과는 구별된다.

능동 학습에서는 학습 알고리즘이 추가 정보를 얻을 사례를 선택한다. 예를 들어 분류가 불확실한 이메일을 골라 사용자에게 스팸 여부를 물을 수 있다.

학습과 평가

자료와 특징의 구성

 특징 공학 및 특징 학습 문서를 참고하십시오.

기계 학습에 쓰는 데이터는 예측 대상과 사용 환경에 맞게 모으고, 중복·결측값·측정 오류 등을 처리한다. 이 과정에서 입력에 포함할 정보도 정한다. 예를 들어 스팸 분류에서는 단어의 출현 빈도를, 영상 분석에서는 화소값이나 영상에서 추출한 특징을 사용할 수 있다. 이러한 입력 표현을 설계하는 작업을 특징 공학이라고 한다.

특징 학습에서는 예측에 쓸 자료의 표현을 학습한다. 인공 신경망에서는 중간층이 입력을 여러 단계로 변환하며, 이때 쓰이는 매개변수를 예측 과제에 맞게 학습한다. 사람이 설계한 특징과 학습으로 얻은 특징을 함께 쓰기도 한다. 다만 관련 없는 변수나 잡음이 늘어나면 학습과 평가가 어려워질 수 있다.

손실함수와 최적화

 손실 함수 및 경험적 위험 최소화 문서를 참고하십시오.

지도 학습에서는 모형의 예측과 목표 출력이 얼마나 다른지를 손실 함수로 나타낼 수 있다. 훈련 자료가 $S=((x_{1},y_{1}),\ldots ,(x_{n},y_{n}))$이고 모형의 예측을 $f_{\theta }(x)$라고 하면, 훈련 자료에서의 평균 손실은 $${\widehat {R}}_{S}(\theta )={\frac {1}{n}}\sum _{i=1}^{n}\ell {\bigl (}f_{\theta }(x_{i}),y_{i}{\bigr )}$$ 이다. 여기서 $\theta$는 모형의 매개변수이고, $\ell$은 손실함수이다. 예를 들어 회귀에서는 $\ell ({\widehat {y}},y)=({\widehat {y}}-y)^{2}$와 같은 제곱 손실을 쓸 수 있다. 훈련 자료의 평균 손실이 가장 작은 모형을 찾는 원리를 경험적 위험 최소화라고 한다.

경사 하강법은 미분 가능한 목적함수의 기울기를 이용하여 매개변수를 갱신한다. 확률적 경사 하강법은 매번 자료의 일부로 기울기를 계산하여 한 번의 갱신에 필요한 계산량을 줄인다. 인공 신경망에서 쓰이는 역전파는 기울기를 효율적으로 계산하는 방법이며, 이 기울기를 바탕으로 매개변수를 갱신하는 일은 최적화 알고리즘이 맡는다. 학습 방법에 따라 계산 절차는 다르다. 결정 트리는 자료를 나눌 조건을 선택하며 학습하고, 최근접 이웃 방법은 저장된 사례와 새 입력을 비교하여 예측한다.

훈련·검증·시험 자료

 이 부분의 본문은 훈련용 검증용 테스트 데이터 세트입니다.

새로운 자료에서의 성능을 평가하려면 모형의 학습·선택에 쓸 자료와 최종 평가에 쓸 자료를 나누어야 한다. 훈련·검증·시험 자료의 역할은 다음과 같다.

자료	역할
훈련 자료	모형의 매개변수나 예측 규칙을 학습한다.
검증 자료	후보 모형과 학습 설정을 비교하고 선택한다.
시험 자료	모형과 설정을 정한 뒤, 학습·선택에 사용하지 않은 자료에서 성능을 평가한다.

하이퍼파라미터는 학습으로 얻는 매개변수와 구별되는 설정값이다. 결정 트리의 최대 깊이나 학습률 등이 이에 해당한다. 검증 자료로 이러한 설정을 고를 수 있지만, 같은 검증 자료로 많은 후보를 비교하다 보면 선택한 모형이 그 자료에 과적합할 수 있다. 최종 성능은 모형의 학습과 선택에 사용하지 않은 시험 자료로 평가한다.

교차검증은 자료를 여러 부분으로 나누어 학습과 평가를 반복하는 방법이다. $k$겹 교차검증에서는 $k-1$개 부분으로 학습하고 남은 한 부분에서 평가하는 과정을 각 부분에 대해 반복한다. 자료를 나누는 방식도 평가 목적에 따라 달라진다. 학습 자료에 없는 사람에 대한 예측 성능을 평가할 때에는 같은 사람의 기록이 학습용 자료와 평가용 자료 양쪽에 섞이지 않도록 한다. 미래를 예측하는 시계열 문제에서는 과거 자료로 학습하고 이후의 자료에서 성능을 평가할 수 있다.

평가 지표

분류의 정확도는 맞게 분류한 사례의 비율이다. 특정 범주에 속하는 사례가 매우 드물 때에는 정확도만으로 성능을 판단하기 어렵다. 예를 들어 정상 사례가 99%인 자료에서 모든 사례를 정상으로 분류하면 정확도는 99%이지만 이상 사례는 하나도 찾지 못한다. 이런 경우에는 정밀도와 재현율, 민감도와 특이도 등을 함께 살핀다. 어떤 오류가 더 큰 손실을 일으키는지도 평가 기준에 반영한다. 회귀에서는 평균 제곱 오차나 평균 절대 오차 등을 사용한다.

모형이 범주뿐 아니라 그 범주에 속할 확률을 출력한다면, 예측 확률이 실제 빈도와 잘 맞는지도 평가한다. 예를 들어 어떤 사건의 확률을 약 80%로 예측한 사례들을 모았을 때 실제로 그 사건이 일어난 비율도 약 80%라면, 그 범위에서 확률이 잘 보정되어 있다고 볼 수 있다. 이러한 확률의 보정 정도와 범주를 맞히는 정확도는 서로 다른 평가 대상이다.

복잡한 모형의 성능은 단순한 예측 규칙과 비교하여 해석할 수 있다. 분류에서는 훈련 자료에서 가장 흔한 범주를 항상 출력하는 규칙을, 회귀에서는 훈련 자료의 평균값을 항상 출력하는 규칙을 비교 기준으로 삼을 수 있다. 이 기준보다 얼마나 좋은 성능을 보이는지 살피면, 입력에 담긴 정보를 활용하는 일이 예측에 도움이 되었는지 판단할 수 있다.

자료 누출

실제 예측할 때에는 알 수 없는 정보를 모형의 학습이나 선택에 사용하는 것을 자료 누출(영어: data leakage)이라고 한다. 예를 들어 특징 선택을 전체 자료에서 수행한 뒤 훈련 자료와 시험 자료를 나누면, 시험 자료의 정보가 모형을 만드는 과정에 미리 반영된다. 결측값을 채우거나 표준화하는 데 필요한 값도 훈련 자료에서 구한 뒤 검증·시험 자료에 적용한다.

대표적인 모형과 방법

기계 학습의 모형은 입력을 표현하고 예측값을 계산하는 방식이 서로 다르다. 같은 과제에도 여러 모형을 적용할 수 있으며, 자료의 성질과 예측 성능, 계산 비용 등을 고려하여 선택한다. 하나의 모형을 여러 학습 방식에서 사용할 수도 있다. 예를 들어 인공 신경망은 지도 학습과 비지도 학습, 강화 학습 등에 두루 쓰인다.

선형 모형과 확률 모형

 이 부분의 본문은 선형 회귀, 로지스틱 회귀 및 나이브 베이즈 분류입니다.

관측값에 맞춘 선형 회귀의 예. 직선은 입력과 출력 사이의 관계를 근사한다. 각 입력에서 관측값과 직선이 주는 예측값의 차이가 오차이다.

선형 회귀는 입력 특징의 선형결합과 절편으로 수치를 예측한다. 예를 들어 주택의 면적과 건축 연수를 특징으로 삼아 가격을 추정할 수 있다. 최소제곱법은 관측값과 예측값의 차이를 제곱하여 더한 값을 최소화하는 추정 방법이다. 로지스틱 회귀는 선형결합에 로지스틱 함수를 적용한다. 이진 분류에서는 그 출력을 한 범주에 속할 확률로 해석한다. 이름에 ‘회귀’가 들어가지만 분류에 널리 쓰이는 모형이다.

확률 모형은 관측값이나 예측 대상의 불확실성을 확률분포로 나타낸다. 나이브 베이즈 분류는 출력 범주가 주어졌을 때 입력 특징들이 조건부 독립이라는 가정 아래 베이즈 정리를 적용한다. 예를 들어 문서의 범주별 단어 출현 확률을 추정한 뒤, 새 문서가 어느 범주에 속할 가능성이 큰지 비교할 수 있다.

여러 집단이 섞인 자료에는 혼합 모형을 사용할 수 있다. 가우스 혼합 모형은 관측값의 분포를 여러 정규분포의 가중합으로 나타낸다. 각 관측값이 어느 집단에서 나왔는지는 직접 주어지지 않으며, 학습 과정에서 집단별 분포와 소속 확률을 함께 추정한다. 기댓값 최대화 알고리즘은 현재 모형으로 관측값의 소속 확률을 구하고, 이를 이용해 모형의 매개변수를 다시 추정하는 과정을 반복한다.

결정 트리와 앙상블

 이 부분의 본문은 결정 트리 학습법 및 앙상블 학습입니다.

결정 트리는 입력 특징에 대한 검사를 차례로 적용하여 예측을 내린다. 뿌리 마디에서 출발해 각 조건에 맞는 가지를 따라가며, 도달한 잎의 값으로 예측한다. 예를 들어 대출 상환 여부를 예측하는 나무는 소득이나 기존 채무에 관한 조건으로 사례들을 나눌 수 있다. 학습 과정에서는 이러한 분할 조건과 나무의 구조를 정한다.

앙상블 학습은 여러 모형의 예측을 결합한다. 랜덤 포레스트는 훈련 사례를 복원추출하고 각 분기에서 고려할 특징도 무작위로 제한하여 여러 결정 트리를 학습한다. 분류에서는 각 나무의 예측을 다수결 등으로 합친다. 앙상블의 성능은 개별 모형의 정확도뿐 아니라 모형들이 얼마나 서로 다른 오류를 내는지에 따라서도 달라진다.

부스팅은 여러 모형을 순차적으로 학습하여 결합하는 방법이다. 에이다부스트에서는 앞선 분류기가 잘못 분류한 훈련 사례의 비중을 높여 다음 분류기를 학습한다. 마지막에는 각 분류기의 성능을 반영한 가중 투표로 예측한다. 개별 분류기로는 하나의 조건만 검사하는 얕은 결정 트리처럼 단순한 모형을 사용할 수 있다.

서포트 벡터 머신과 최근접 이웃

 이 부분의 본문은 서포트 벡터 머신, 커널 메소드 및 K-최근접 이웃 알고리즘입니다.

서포트 벡터 머신은 분류 경계와 가장 가까운 훈련 사례까지의 거리인 마진을 이용한다. 자료를 선형으로 완전히 분리할 수 있을 때에는 마진이 가장 큰 초평면을 찾는다. 일반적인 경우에는 일부 사례가 마진 조건을 어기는 것을 허용하고, 그에 따른 손실을 함께 고려한다. 커널 방법을 쓰면 특징을 변환한 공간에서의 내적을 커널 함수로 계산할 수 있다. 이를 이용하면 비선형 분류 경계를 표현할 수 있다. 커널 방법은 서포트 벡터 머신 외의 학습 방법에도 적용된다.

K-최근접 이웃 알고리즘은 훈련 사례를 저장해 두고, 새 입력과 가까운 사례 $k$개를 찾아 예측한다. 분류에서는 이웃의 범주를 다수결로 정할 수 있고, 회귀에서는 이웃의 출력값을 평균할 수 있다. 사례 사이의 거리는 특징을 표현하는 방식과 거리함수에 따라 달라진다.

인공 신경망과 딥 러닝

 이 부분의 본문은 인공 신경망 및 딥 러닝입니다.

인공 신경망은 가중치가 있는 연산과 활성화 함수를 연결한 모형이다. 딥 러닝에서는 여러 층에 걸쳐 입력의 표현을 변환하고, 각 층의 가중치를 학습하여 복잡한 함수를 구현한다. 영상 인식의 경우 앞쪽 층에서 얻은 국소적인 특징을 뒤쪽 층에서 조합하여 분류에 사용할 수 있다. 인공 신경망은 생물학적 신경계에서 착안한 수학적 모형이며, 실제 뇌와는 구조와 학습 방식에 차이가 있다.

합성곱 신경망은 국소적인 연결과 가중치 공유를 이용하므로 영상과 같이 위치에 따른 구조가 있는 자료에 적합하다. 순환 신경망은 앞선 단계의 상태를 다음 단계의 계산에 사용하여 순차적인 자료를 다룬다. 트랜스포머는 입력 요소들 사이의 관련성을 계산하는 어텐션을 중심으로 구성된다.

생성 모형

 이 부분의 본문은 생성 모델입니다.

생성 모형은 자료의 확률적 구조를 학습하여 새로운 표본을 만들거나 관측값의 확률을 추정한다. 입력에서 목표 출력을 직접 예측하는 판별 모형과 달리, 생성 모형은 자료가 나타나는 분포를 모형화한다. 앞서 설명한 나이브 베이즈 분류기나 혼합 모형도 이러한 접근에 속하므로, 생성 모형이 모두 큰 신경망인 것은 아니다.

생성적 적대 신경망은 표본을 만드는 생성기와, 그 표본을 실제 자료와 구별하는 판별기를 함께 학습한다. 생성기는 판별기가 구별하기 어려운 표본을 만들도록 조정된다. 확산 모델에서는 자료에 잡음을 조금씩 더하는 과정에 대응하여, 잡음으로부터 자료를 만들어 내는 역방향 과정을 학습한다. 두 방법 모두 영상 생성 등에 쓰이지만 학습 목표와 표본을 만드는 절차는 다르다.

언어 모형 가운데 자기회귀 모형은 앞선 문맥을 조건으로 다음 요소의 확률을 예측하고, 이를 반복하여 문장을 생성한다. 트랜스포머를 이용한 대규모 언어 모형도 이 방식으로 학습할 수 있다. 사전학습한 모형을 새 자료로 미세 조정하는 방법과, 매개변수를 바꾸지 않고 입력 문맥에 과제 설명과 예시를 넣어 결과를 얻는 방법은 구별된다.

일반화와 학습 이론

 이 부분의 본문은 통계적 학습이론입니다.

일반화 오차와 과적합

왼쪽은 훈련 자료, 오른쪽은 같은 모집단에서 얻은 별도의 시험 자료이다. 주황색 곡선은 훈련 자료의 변동을 세밀하게 따르지만 시험 자료에는 잘 맞지 않는 과적합의 예를 보여 준다.

통계적 학습 이론은 유한한 자료로 학습한 모형이 새로운 사례에서 보일 성능을 연구한다. 지도 학습을 분석할 때에는 흔히 훈련 사례들이 같은 확률 분포 $P$에서 독립적으로 추출되었다고 가정한다. 이때 예측 함수 $f$의 기대 손실은 $$R(f)=\mathbb {E} _{(X,Y)\sim P}{\bigl [}\ell (f(X),Y){\bigr ]}$$ 로 나타낸다. 여기서 $\ell$은 예측값과 실제 값의 차이를 평가하는 손실함수이다. 훈련 자료의 평균 손실은 이미 관측한 표본에서 계산하지만, 기대 손실은 자료를 생성하는 분포 전체에 대한 평균이다. 이 분포는 대개 알려져 있지 않으므로 별도의 표본으로 성능을 추정한다.

과적합은 모형이 훈련 자료의 우연한 변동이나 잡음까지 따라가면서 새로운 자료에서 성능이 떨어지는 현상이다. 반대로 자료의 중요한 관계를 충분히 나타내지 못하면 과소적합이 발생할 수 있다. 예를 들어 몇 개의 관측점에 매우 굴곡진 곡선을 맞추면 훈련 오차는 작아져도 관측점 사이의 예측은 부정확할 수 있다. 훈련 자료에 잘 맞는다는 사실만으로 일반화 성능을 판단할 수 없는 이유이다.

표본 수와 모형의 복잡도

학습 알고리즘이 선택할 수 있는 예측 함수들의 모음을 가설 집합이라고 한다. 선형 회귀에서는 선형 함수들을, 결정 트리에서는 정해진 조건을 만족하는 나무들을 후보로 삼을 수 있다. 가설 집합이 너무 좁으면 자료가 아무리 많아도 중요한 관계를 표현하지 못한다. 반대로 표현력이 큰 집합에서는 훈련 자료에 잘 맞는 후보가 많아져, 그중 새로운 자료에서도 성능이 좋은 것을 고르기 어려워질 수 있다.

경험적 위험 최소화로 모형을 선택할 때에는, 가설 집합 안에서 가능한 최선의 오차와 유한한 표본에서 그 함수를 추정하면서 생기는 추가 오차를 나누어 분석할 수 있다. 후자를 추정 오차라고 한다. 가설 집합을 넓히면 가능한 최선의 오차는 줄어들 수 있지만, 추정 오차를 억제하는 데 필요한 표본은 더 많아질 수 있다. 따라서 자료를 더 모으는 일과 모형의 표현력을 높이는 일은 서로 다른 문제를 해결한다. 제한된 모형의 표현력을 자료의 양만으로 보완할 수는 없다.

VC 이론에서는 이진 분류에 쓰이는 가설 집합의 복잡도를 VC 차원으로 나타낸다. 이는 어떤 점들의 집합에 두 범주를 붙이는 모든 방법을 그 가설 집합의 함수들로 구현할 수 있을 때, 그러한 점 집합의 최대 크기이다. 가능한 크기에 한계가 없으면 VC 차원은 무한대이다. 이진 분류의 PAC 학습에서는 이 값으로 학습 가능성과 필요한 표본 수를 분석할 수 있다. VC 차원은 매개변수의 개수와 항상 같지는 않다.

정칙화와 귀납적 편향

 정칙화 및 귀납적 편향 문서를 참고하십시오.

정칙화는 새로운 자료에서의 오차를 줄이기 위해 학습에 제약을 두거나 학습 방법을 조정하는 것을 말한다. 예를 들어 손실함수에 가중치의 크기에 따른 벌점항을 더하면 지나치게 큰 가중치를 억제할 수 있다. 이때 훈련 오차가 다소 커지더라도 일반화 오차는 줄어들 수 있다. 제약이 너무 약하면 자료의 잡음까지 따라갈 수 있고, 너무 강하면 필요한 관계를 표현하지 못할 수 있으므로 그 강도도 모형 선택의 대상이 된다.

유한한 훈련 사례와 일치하는 함수는 여러 개일 수 있다. 그중 무엇을 선택할지 정하려면 함수의 형태, 매끄러움, 자료의 구조 등에 관한 가정이 필요하다. 이러한 선호나 가정을 귀납적 편향이라고 한다. 선형 관계를 가정하는 일이나 특정 형태의 정칙화를 적용하는 일도 모형 선택을 제한한다. 관측하지 않은 사례의 예측은 이러한 가정에 의존하므로, 실제 문제의 성질과 맞지 않으면 오차가 커질 수 있다.

인공 신경망처럼 매개변수가 많은 모형에서도 일반화는 매개변수 수만으로 결정되지 않는다. 같은 구조에서도 가중치에 가하는 제약, 학습을 멈추는 시점 등 학습 절차에 따라 결과가 달라질 수 있다. 이 때문에 모형이 표현할 수 있는 모든 함수의 복잡도와 실제 학습 절차가 선택하는 함수의 성질을 함께 살핀다.

학습 가능성과 계산량

 아마도 대략적으로 올바른 학습 및 계산 학습 이론 문서를 참고하십시오.

PAC 학습에서는 가설 집합과 자료의 추출 방식을 정하고, 원하는 정확도와 신뢰 수준을 달성하는 데 필요한 표본 수를 다룬다. 예를 들어 오차가 일정한 수준보다 작은 예측 함수를 높은 확률로 얻을 수 있는지 묻는다. 여기서 확률은 무작위로 추출되는 훈련 표본에 관한 것이다. 가설 집합에 오차가 없는 함수가 있다고 가정하지 않는 경우에는, 그 집합에서 가능한 최선의 오차에 충분히 가까운 모형을 얻을 수 있는지를 분석한다.

학습에 충분한 표본이 있다는 사실과, 그 표본에서 좋은 모형을 효율적으로 찾을 수 있다는 사실은 구별된다. 계산 복잡도 이론에서는 학습 알고리즘에 필요한 시간과 메모리 등 계산 자원을 분석한다. 후보 모형의 집합과 목적함수가 정해져 있어도 최적의 모형을 찾는 계산이 어려울 수 있다. 따라서 학습 이론은 예측의 정확도뿐 아니라 표본 수와 계산량 사이의 관계도 연구한다.

응용

영상·음성 인식과 언어 처리

컴퓨터 비전에서는 사진의 대상을 분류하거나, 영상 안에서 물체의 위치와 윤곽을 찾는 데 기계 학습을 사용한다. 광학 문자 인식은 문서나 수표의 영상을 문자로 바꾸는 응용이다. 사진 전체에 하나의 범주를 붙이는 분류와, 영상의 각 부분이 무엇에 해당하는지 구별하는 분할은 입력이 비슷해도 출력의 형태가 다르다. 각 과제에 맞는 학습 자료와 평가 기준이 필요하다.

음성 인식에서는 녹음된 소리로부터 발화 내용을 추정한다. 음성의 짧은 시간 구간에서 추출한 특징으로 말소리의 구성 요소를 추정하는 방법 등이 쓰인다. 자연어 처리에서는 문서의 주제나 감정을 분류하고, 질문에 해당하는 답을 지문에서 찾으며, 다른 언어로 문장을 번역하는 데 기계 학습을 쓴다.

기계 번역에서는 입력 문장을 바탕으로 다른 언어의 문장을 생성한다. 신경망 기반 번역 모형은 입력 문장의 표현과 이미 생성한 출력을 이용하여 다음 단어를 예측할 수 있다. 이렇게 번역문을 생성하는 과정에서는 출력 요소들 사이의 관계도 함께 모형화한다.

추천과 의사결정

 추천 시스템 문서를 참고하십시오.

추천 시스템은 사용자의 선택이나 평가 기록으로 관심을 가질 만한 항목을 추정한다. 협업 필터링은 사용자와 항목 사이의 평가 양상을 이용한다. 예를 들어 취향이 비슷한 사람들이 높게 평가한 영화를 아직 보지 않은 사용자에게 추천할 수 있다. 행렬 분해를 이용하는 방법은 사용자와 항목을 각각 벡터로 표현하고, 그 관계로 알려지지 않은 평점을 예측한다. 이 벡터들은 실제로 관측된 평점에서 학습한다.

개별 사용자는 전체 항목 가운데 일부만 평가하므로, 추천 시스템이 학습할 수 있는 평가 기록에는 빈 부분이 많다. 특히 새로운 사용자나 새 상품은 과거 기록만으로 선호를 추정하기 어렵다. 이를 보완하기 위해 상품의 속성이나 사용자의 다른 행동 정보를 함께 활용하기도 한다.

이상 탐지는 거래나 장비의 관측값에서 평소와 다른 양상을 찾는다. 신용카드 거래에서는 이례적인 사용을 찾아 사기 여부를 추가로 확인하는 데 쓰인다. 강화 학습은 로봇 제어나 게임처럼 현재의 행동이 다음 상황에 영향을 주는 문제에 적용된다. 이런 문제에서는 여러 행동에 걸쳐 얻는 누적 보상으로 성과를 평가한다.

알파고는 학습과 탐색을 결합한 사례이다. 사람의 기보로 착수를 예측하는 신경망을 학습하고, 자기대국의 승패를 이용해 정책을 개선했으며, 판세를 평가하는 신경망도 학습했다. 기보로 학습한 착수 확률과 자기대국으로 학습한 판세 평가를 몬테카를로 트리 탐색에 결합해 실제 착수를 선택했다. 이 시스템은 2015년 10월 유럽 바둑 챔피언 판후이와의 공식 다섯 대국에서 모두 승리했다.

과학 연구

생물정보학을 비롯한 과학 연구에서는 복잡한 관측 자료에서 관계를 찾고, 실험 결과를 해석하며, 관측하지 않은 대상의 성질을 예측하는 데 기계 학습을 사용한다. 알려진 과학 지식을 모형의 구조에 반영하거나 학습 자료와 함께 활용하기도 한다.

2021년 발표된 알파폴드 모형은 아미노산 서열과 관련 서열의 정렬 정보 등으로 단백질의 입체 구조를 예측했다. 이미 알려진 구조로 학습한 뒤, 아직 공개되지 않은 실험 구조를 맞히는 CASP14 평가에서 높은 정확도를 보였다. 예측된 구조는 실험 자료를 해석하는 데도 쓰이며, 저온전자현미경으로 얻은 밀도 지도를 해석하는 일이 그 예이다.

단백질 구조 예측의 정확도는 대상과 입력 정보에 따라 달라진다. 위의 알파폴드 모형에서는 정렬에 쓸 관련 서열이 부족하거나, 다른 종류의 단백질 사슬과의 상호작용에 구조가 크게 좌우되는 부분을 예측할 때 정확도가 낮아졌다. 이 모형은 예측한 구조의 각 아미노산 잔기에 대한 신뢰도도 함께 출력한다.

구현과 운영

기계 학습 시스템에서는 자료 처리, 모형의 학습, 예측에 계산 자원을 사용한다. 그래픽 처리 장치와 병렬 계산은 큰 신경망의 학습을 뒷받침하지만, 필요한 장비와 계산량은 모형과 자료의 규모에 따라 다르다. 모형을 학습할 때와 학습된 모형으로 예측할 때의 계산 비용도 다르다. 대규모 자료를 여러 장치에 나누어 처리할 때에는 자료와 계산 결과를 주고받는 통신 비용도 고려한다.

기계 학습을 이용하는 소프트웨어에는 예측 모형 외에도 자료 수집, 전처리, 모형과 설정의 관리, 성능 감시가 필요하다. 자료의 의미나 입력 분포가 바뀌면 같은 모형의 예측 성능도 달라질 수 있다. 추천 결과가 이용자의 행동을 바꾸고 그 기록이 다시 학습에 쓰이는 경우처럼, 시스템의 출력이 이후의 학습 자료에 영향을 주기도 한다. 이 때문에 운영 과정에서는 성능과 자료의 변화를 지속적으로 살피고 모형을 갱신할지 결정한다.

연합 학습에서는 각 장치가 원자료를 보관한 채 그 자료로 계산한 모형의 갱신 정보를 공유한다. 학습에는 장치별 자료의 차이와 통신 비용이 영향을 미친다. 원자료를 전송하지 않더라도 공유한 갱신 정보에서 개인정보가 드러날 수 있다.

한계와 사회적 쟁점

자료의 대표성과 환경 변화

기계 학습의 예측 성능은 학습·평가용 데이터가 실제 사용 환경을 얼마나 잘 반영하는지에 따라 달라진다. 예를 들어 한 병원에서 수집한 영상으로 학습한 모형은 다른 병원의 장비나 환자 집단에서 성능이 달라질 수 있다. 같은 서비스에서도 시간에 따라 이용자나 대상의 특성이 변할 수 있다. 자료의 분포가 달라지면 평가에서 확인한 성능이 실제 사용 환경에서는 유지되지 않을 수 있다.

2021년 공개된 WILDS 평가의 한 실험에서는 병리 조직 영상의 분류에서 이러한 성능 차이가 나타났다. 림프절 조직 영상에서 잘라 낸 작은 영상 조각에 종양이 있는지 분류하는 모형은 훈련 자료를 제공한 병원의 별도 시험 자료에서 평균 93.2%의 정확도를 보였으나, 새로운 병원 자료에서는 70.3%로 낮아졌다. 이는 환자 전체의 진단 정확도가 아니라 영상 조각별 분류를 평가한 결과이다.

상관관계를 이용한 예측과 인과 추론은 구별된다. 어떤 특징이 결과를 잘 예측한다는 사실만으로, 그 특징을 바꾸면 결과도 달라진다고 결론 내릴 수는 없다. 정책이나 처치의 효과를 추론하려면 연구 설계나 인과 구조에 관한 추가 가정이 필요하다.

설명 가능성과 공정성

 이 부분의 본문은 설명가능 인공지능 및 알고리즘 편향입니다.

설명가능 인공지능은 모형의 작동 방식이나 개별 예측의 근거를 사람이 이해할 수 있도록 설명하는 문제를 다룬다. 이러한 설명은 오류를 찾고 예측 결과를 사용할지 판단하는 데 도움이 된다. 설명의 내용과 수준은 개발자, 이용자, 판단의 영향을 받는 사람에 따라 다르다. 설명의 적절성과 모형의 정확성·공정성은 별도로 평가한다.

알고리즘 편향은 특정 집단에 불리한 오류나 결과가 반복되는 문제를 포함한다. 훈련 자료의 불균형이나 과거의 차별이 반영된 기록이 원인이 될 수 있으며, 예측 목표를 정하고 오류별 중요도를 매기는 과정에서도 편향이 생길 수 있다. 전체 평균 성능만으로 모형의 공정성을 판단하기는 어렵다. 공정성을 평가할 때에는 집단별 오류와 사용 환경, 결과가 사람들에게 미치는 영향을 함께 살핀다.

예측 목표의 선택이 편향을 일으킨 구체적 사례도 있다. 2019년 미국의 한 의료기관 자료를 분석한 연구에서는 추가 관리가 필요한 환자를 고르는 모형이 건강 상태 대신 향후 의료비를 예측하고 있었다. 같은 질병 부담을 가진 흑인 환자의 의료비가 백인 환자보다 낮았기 때문에, 같은 위험 점수를 받은 흑인 환자가 실제로는 더 아픈 경향이 나타났다. 이 모형은 인종을 입력에 포함하지 않았지만, 의료비를 환자에게 필요한 진료와 관리 수준의 척도로 삼는 과정에서 불균형이 생겼다.

개인정보와 보안

 적대적 기계 학습 및 정보 프라이버시 문서를 참고하십시오.

개인에 관한 자료로 학습한 모형은 개인정보를 노출할 위험이 있다. 개인정보를 보호하려면 원자료에 대한 접근뿐 아니라 모형의 출력과 공유되는 학습 정보도 살펴야 한다. 적대적 기계 학습에서는 학습 자료를 오염시키거나, 입력을 의도적으로 바꾸어 모형이 잘못 판단하게 하거나, 모형에서 민감한 정보를 추출하는 공격을 다룬다. 따라서 모형을 평가할 때에는 예측 성능과 함께 공격에 얼마나 잘 견디는지, 민감한 정보를 노출하지 않는지도 살핀다.

인공 신경망의 영상 분류 실험에서는 사람이 알아보기 어려운 작은 변화를 판다 사진에 더하자 모형이 이를 긴팔원숭이로 분류한 사례가 보고되었다. 입력의 겉모습이 거의 같더라도 모형의 판단은 크게 바뀔 수 있는 것이다. 이런 적대적 예제를 훈련 자료에 포함하여 공격에 대한 저항성을 높이는 방법도 연구된다.

생성 결과와 자원 사용

생성형 인공지능은 문장이나 영상처럼 그럴듯한 결과를 만들면서도 사실과 다른 내용이나 존재하지 않는 출처를 제시할 수 있다. 특히 문장의 유창함만으로 정확성을 판단하기 어렵다.

큰 모형을 학습하고 반복적으로 사용하는 데에는 계산 장비와 전력이 필요하다. 그에 따른 환경 부담은 작업의 종류와 학습·예측의 규모, 사용하는 하드웨어 등에 따라 달라진다. 시스템을 평가할 때에는 예측 성능과 함께 학습·운영에 드는 자원도 고려한다.

역사

 인공지능의 역사 문서를 참고하십시오.

초기 연구

1950년대에는 게임을 반복하며 프로그램의 성능을 높이는 연구와, 사례에서 분류 규칙을 학습하는 연구가 이루어졌다. 프랑크 로젠블랫의 퍼셉트론은 입력 사례와 범주를 이용하여 분류에 쓰이는 가중치를 학습하는 모형이었다. 생물학적 신경계에서 착안한 계산 모형을 실제 학습 절차와 연결한 초기 연구 가운데 하나이다.

아서 새뮤얼은 1959년 발표한 체커 연구에서 과거의 국면을 저장해 재사용하는 방법과 국면 평가 함수를 개선하는 방법을 제시했다. 사람이 정한 게임 규칙과 탐색 절차를 바탕으로, 프로그램이 경험을 쌓으며 판단 능력을 높이도록 한 것이다.

연구 공동체와 학습 이론의 발전

기계 학습은 인공지능과 패턴 인식, 통계학의 연구가 교류하면서 발전했다. 1980년에는 학습의 계산적 접근을 다루는 연구자들이 카네기 멜런 대학교에서 워크숍을 열었고, 1986년에는 전문 학술지 《Machine Learning》이 창간되었다. 초기 학술지에서는 생성 규칙, 결정 트리, 논리식과 같은 기호적 표현을 중시했으나, 1980년대 후반에는 확률 모형과 사례 기반 학습 등으로 연구 범위가 넓어졌다.

이 과정에서 학습 결과를 공통의 자료와 기준으로 비교하는 실험 평가가 자리 잡았다. 1987년에는 캘리포니아 대학교 어바인의 기계 학습 자료 저장소가 공개되어 여러 연구자가 같은 분류 과제에서 방법을 비교할 수 있게 되었다. 학습 과제와 성능 기준을 명확히 정해 실험하는 관행은 연구 결과를 재현하고 비교하는 데 기여했다.

인공 신경망 연구에서는 여러 층의 가중치를 학습하는 방법이 중요한 과제였다. 1970년대와 1980년대에 여러 연구자가 역전파를 독립적으로 연구했으며, 1986년에는 다층 신경망의 오차를 줄이면서 은닉층의 표현을 학습하는 방법이 널리 알려졌다. 한편 강화 학습에서는 시행착오를 통한 학습이 동적 계획법과 결합했고, 1980년대 후반에는 Q 학습 등의 방법이 발전했다.

이론 연구에서는 유한한 자료로 일반화할 수 있는 조건과 그에 필요한 계산량이 다루어졌다. 1960년대부터 발전한 통계적 학습 이론은 1990년대 서포트 벡터 머신의 발전과 함께 널리 알려졌다. 1984년에 제안된 PAC 학습은 학습의 성공을 정확도와 확률, 필요한 자료량과 계산 시간으로 분석하는 틀을 제공했다.

여러 학습기의 예측을 결합하는 앙상블 학습도 발전했다. 부스팅은 무작위 추측보다 조금 나은 학습을 높은 정확도의 학습으로 바꿀 수 있는지 묻는 이론적 문제에서 출발했다. 1995년 제안된 에이다부스트는 이를 실용적인 알고리즘으로 구현한 사례이다.

대규모 자료와 딥 러닝

2000년대 이후에는 대규모 자료와 계산 성능의 향상이 딥 러닝의 확산을 뒷받침했다. 2006년 무렵에는 깊은 신경망을 학습하는 연구가 다시 활발해졌으며, 이후 그래픽 처리 장치를 이용한 학습과 음성·영상 인식 응용이 발전했다. 2012년에는 합성곱 신경망을 이용한 시스템이 이미지넷의 영상 분류 대회에서 뛰어난 성능을 보여 컴퓨터 비전에서 딥 러닝이 확산되는 계기가 되었다.

2017년에는 어텐션을 중심으로 순차 자료를 처리하는 트랜스포머가 제안되었다. 대규모 텍스트로 학습한 모형을 여러 과제에 활용하는 연구에서는 BERT와 GPT-3 등이 발표되었다. BERT는 사전학습한 문맥 표현을 개별 과제에 맞게 조정했으며, 2020년 발표된 GPT-3 연구는 매개변수를 갱신하지 않고 입력 문맥에 과제 설명이나 예시를 주는 방식으로 여러 언어 과제의 성능을 평가했다.

같이 보기

• 계산 학습 이론
• 패턴 인식
• 데이터 과학
• 인공지능의 윤리

참고 문헌

개론서

• Tom M. Mitchell (1997). 《Machine Learning》 (PDF) (영어). McGraw-Hill. ISBN 9780070428072. 
• Shai Shalev-Shwartz; Shai Ben-David (2014). 《Understanding Machine Learning: From Theory to Algorithms》 (PDF) (영어). Cambridge University Press. ISBN 9781107057135.  각주의 ‘공개본’ 쪽수는 이 PDF의 본문 쪽수이다.
• Ian Goodfellow; Yoshua Bengio; Aaron Courville (2016). 《Deep Learning》 (영어). MIT Press. 
• Richard S. Sutton; Andrew G. Barto (2018). 《Reinforcement Learning: An Introduction》 (PDF) 2판 (영어). MIT Press. 

논문

• Arthur L. Samuel (1959). “Some Studies in Machine Learning Using the Game of Checkers” (PDF) (영어). 《IBM Journal of Research and Development》 3 (3): 210–229. doi:10.1147/rd.33.0210.  링크는 재수록본이다.
• David E. Rumelhart; Geoffrey E. Hinton; Ronald J. Williams (1986). “Learning representations by back-propagating errors” (PDF) (영어). 《Nature》 323: 533–536. doi:10.1038/323533a0. 
• Robert E. Schapire (1999). “A Brief Introduction to Boosting” (PDF) (영어). 《Proceedings of the Sixteenth International Joint Conference on Artificial Intelligence》 2: 1401–1406. 
• Yehuda Koren; Robert Bell; Chris Volinsky (2009). “Matrix Factorization Techniques for Recommender Systems” (PDF) (영어). 《Computer》 42 (8): 30–37. doi:10.1109/MC.2009.263.  링크된 공개본에는 쪽수가 42–49쪽으로 표시되어 있다.
• Gavin C. Cawley; Nicola L. C. Talbot (2010). “On Over-fitting in Model Selection and Subsequent Selection Bias in Performance Evaluation” (영어). 《Journal of Machine Learning Research》 11 (70): 2079–2107. 
• Pat Langley (2011). “The changing science of machine learning” (PDF) (영어). 《Machine Learning》 82 (3): 275–279. doi:10.1007/s10994-011-5242-y. 
• Pedro Domingos (2012). “A Few Useful Things to Know about Machine Learning” (PDF) (영어). 《Communications of the ACM》 55 (10): 78–87. doi:10.1145/2347736.2347755. 
• Ian J. Goodfellow 외 (2014). “Generative Adversarial Nets” (영어). 《Advances in Neural Information Processing Systems》 27. 
• Ian J. Goodfellow; Jonathon Shlens; Christian Szegedy (2015). “Explaining and Harnessing Adversarial Examples” (영어). 《International Conference on Learning Representations》. arXiv:1412.6572. 
• Michael I. Jordan; Tom M. Mitchell (2015년 7월 17일). “Machine learning: Trends, perspectives, and prospects” (PDF) (영어). 《Science》 349 (6245): 255–260. doi:10.1126/science.aaa8415. 
• Yann LeCun; Yoshua Bengio; Geoffrey Hinton (2015년 5월 28일). “Deep learning” (PDF) (영어). 《Nature》 521 (7553): 436–444. doi:10.1038/nature14539. 
• D. Sculley 외 (2015). “Hidden Technical Debt in Machine Learning Systems” (영어). 《Advances in Neural Information Processing Systems》 28: 2503–2511. 
• David Silver 외 (2016년 1월 28일). “Mastering the game of Go with deep neural networks and tree search” (PDF) (영어). 《Nature》 529: 484–489. doi:10.1038/nature16961. 
• H. Brendan McMahan; Eider Moore; Daniel Ramage; Seth Hampson; Blaise Agüera y Arcas (2017). “Communication-Efficient Learning of Deep Networks from Decentralized Data” (영어). 《Proceedings of Machine Learning Research》 54: 1273–1282. 
• Ashish Vaswani; Noam Shazeer; Niki Parmar; Jakob Uszkoreit; Llion Jones; Aidan N. Gomez; Łukasz Kaiser; Illia Polosukhin (2017). “Attention Is All You Need” (영어). 《Advances in Neural Information Processing Systems》 30. 
• Jacob Devlin; Ming-Wei Chang; Kenton Lee; Kristina Toutanova (2019). “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” (영어). 《Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies》 1: 4171–4186. doi:10.18653/v1/N19-1423. 
• Ziad Obermeyer; Brian Powers; Christine Vogeli; Sendhil Mullainathan (2019년 10월 25일). “Dissecting racial bias in an algorithm used to manage the health of populations” (PDF) (영어). 《Science》 366 (6464): 447–453. doi:10.1126/science.aax2342. 
• Tom B. Brown 외 (2020). “Language Models are Few-Shot Learners” (영어). 《Advances in Neural Information Processing Systems》 33: 1877–1901. 
• Ting Chen; Simon Kornblith; Mohammad Norouzi; Geoffrey Hinton (2020). “A Simple Framework for Contrastive Learning of Visual Representations” (영어). 《Proceedings of Machine Learning Research》 119: 1597–1607. 
• Jonathan Ho; Ajay Jain; Pieter Abbeel (2020). “Denoising Diffusion Probabilistic Models” (영어). 《Advances in Neural Information Processing Systems》 33: 6840–6851. 
• John Jumper 외 (2021). “Highly accurate protein structure prediction with AlphaFold” (영어). 《Nature》 596 (7873): 583–589. doi:10.1038/s41586-021-03819-2. 
• Pang Wei Koh 외 (2021). “WILDS: A Benchmark of in-the-Wild Distribution Shifts” (영어). 《Proceedings of Machine Learning Research》 139: 5637–5664. 

보고서와 기술 문서

• Elham Tabassi (2023년 1월 26일). 《Artificial Intelligence Risk Management Framework (AI RMF 1.0)》 (PDF) (영어). NIST AI 100-1. National Institute of Standards and Technology. doi:10.6028/NIST.AI.100-1. 
• Chloe Autio; Reva Schwartz; Jesse Dunietz; Shomik Jain; Martin Stanley; Elham Tabassi; Patrick Hall; Kamie Roberts (2024년 7월 26일). 《Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile》 (PDF) (영어). NIST AI 600-1. National Institute of Standards and Technology. doi:10.6028/NIST.AI.600-1. 
• The scikit-learn developers. “3.1. Cross-validation: evaluating estimator performance” (영어). 《scikit-learn documentation》. 2026년 9월 28일에 확인함. 
• The scikit-learn developers. “3.4. Metrics and scoring: quantifying the quality of predictions” (영어). 《scikit-learn documentation》. 2026년 9월 28일에 확인함. 
• The scikit-learn developers. “12. Common pitfalls and recommended practices” (영어). 《scikit-learn documentation》. 2026년 9월 28일에 확인함. 

• Ulrike von Luxburg; Bernhard Schölkopf (2008년 10월 27일). “Statistical Learning Theory: Models, Concepts, and Results” (영어). 《arXiv》. 2026년 9월 28일에 확인함.  2008년 공개 원고.
• The scikit-learn developers. “1.16. Probability calibration” (영어). 《scikit-learn documentation》. 2026년 9월 28일에 확인함.