머신러닝 기초

01

AI, 머신러닝, 딥러닝은 어떻게 다른가

세 말은 자주 섞여 쓰이지만 포함 관계가 있습니다. 인공지능(AI)은 사람처럼 인식하고 판단하는 기술 전체를 말합니다. 그 안에 데이터에서 배우는 머신러닝이 있고, 머신러닝 안에 여러 층의 신경망으로 배우는 딥러닝이 있습니다. 요즘 많이 쓰는 생성형 AI는 딥러닝으로 만든, 새 글이나 그림을 만들어 내는 모델입니다. 아래 그림에서 층을 골라 보세요.

머신러닝의 핵심은 규칙을 누가 만드느냐입니다. 예전 방식의 프로그램은 사람이 "제목에 '무료'와 '당첨'이 있으면 스팸" 같은 규칙을 직접 적습니다. 머신러닝은 스팸과 정상 메일을 잔뜩 보여 주고 규칙을 스스로 찾게 합니다. 규칙이 너무 많고 복잡하거나, 계속 바뀌어서 사람이 다 적을 수 없을 때 힘을 발휘합니다.

머신러닝이 맞지 않는 경우

• 규칙이 이미 분명하고 늘 같아야 할 때 (세금 계산, 정해진 할인 정책)
• 배울 데이터가 없거나 너무 적을 때
• 틀리면 안 되고 판단 근거를 하나하나 설명해야 하는데, 그만한 검증이 어려울 때
• 만들고 유지하는 비용이 얻는 이익보다 클 때

데이터에서 배운다고 했는데, 그 데이터는 어떤 모양이어야 할까요?

02

데이터·특성·레이블

고객이 서비스를 떠날지(이탈) 미리 알고 싶은 회사가 있습니다. 과거 고객의 기록을 표로 모았습니다. 한 줄이 고객 한 명이고, 칸마다 나이, 가입한 지 몇 달, 월 사용액이 있습니다. 모델이 보고 판단하는 이런 값을 특성(feature)이라고 합니다. 마지막 칸에는 그 고객이 실제로 떠났는지가 있습니다. 모델이 맞혀야 할 이 정답을 레이블(label)이라고 합니다.

모은 데이터는 그대로 다 학습에 쓰지 않고 세 묶음으로 나눕니다. 시험 공부에 빗대면 학습용은 교과서와 문제집, 검증용은 모의고사, 테스트용은 실제 시험입니다.

• 학습용: 모델이 이 데이터를 보고 배웁니다.
• 검증용: 모델을 어떻게 만들지 고를 때 씁니다. 예를 들어 4장에서 볼 의사결정나무를 질문 2개까지만 키울지 3개까지 키울지, 학습을 몇 바퀴 돌릴지 같은 선택지마다 모델을 만들어 보고, 검증용 데이터를 더 잘 맞히는 쪽을 고릅니다. 이렇게 학습 전에 사람이 정해 주는 값을 하이퍼파라미터라고 하며 6장에서 다시 봅니다.
• 테스트용: 고르기가 다 끝난 뒤 맨 마지막에 한 번만 성능을 잽니다.

검증용과 테스트용을 따로 두는 이유가 있습니다. 검증용 데이터를 잘 맞히는 쪽을 골랐으니, 고른 모델은 이미 검증용 데이터에 맞춰진 셈이고 그 점수는 실제보다 조금 좋게 나옵니다. 그래서 학습에도 고르기에도 한 번도 쓰지 않은 테스트용으로 진짜 실력을 잽니다. 시험 문제를 미리 보고 공부하면 실력을 잴 수 없는 것과 같습니다.

데이터가 적을 때는 교차 검증(cross-validation)을 씁니다. 데이터를 예를 들어 다섯 조각으로 나누고, 한 조각씩 돌아가며 검증용으로 쓰고 나머지로 학습합니다. 다섯 번의 결과를 평균 내면 데이터를 어떻게 나눴느냐에 따른 운을 줄일 수 있습니다. 이를 k-겹 교차 검증이라고 합니다.

이 표에는 정답(이탈 여부)이 있었습니다. 그런데 정답이 없는 데이터도 많습니다. 정답이 있느냐 없느냐에 따라 배우는 방식이 달라집니다.

03

지도 학습·비지도 학습·강화 학습

머신러닝은 무엇을 주고 배우게 하느냐에 따라 크게 셋으로 나뉩니다. 아래 그림은 과일 18개의 무게와 당도를 점으로 찍은 것입니다. 방식을 바꿔 보세요.

지도 학습에서 맞힐 것이 범주(스팸 / 정상, 사과 / 귤 / 포도)면 분류, 숫자(매출, 집값)면 회귀입니다. 비지도 학습의 군집은 비슷한 것끼리 묶어 주지만 그 무리가 무엇인지는 사람이 해석해야 합니다. 연관 규칙은 "기저귀를 사는 사람은 맥주도 산다"처럼 함께 일어나는 항목을 찾고, 얼마나 자주 함께 나오는지(지지도), 얼마나 믿을 만한지(신뢰도), 우연보다 얼마나 더 자주인지(향상도)로 규칙을 고릅니다.

둘 사이의 방식도 있습니다. 정답이 일부에만 있으면 준지도 학습이라고 합니다. 데이터 자체에서 정답을 만들어 배우는 자기 지도 학습도 있는데, LLM이 글의 다음 토큰을 맞히며 배우는 사전 학습이 그 예입니다. 사람의 피드백을 보상으로 삼아 LLM을 다듬는 RLHF는 강화 학습을 응용한 것입니다.

방식을 정했으면 실제로 어떤 모델을 쓸지 골라야 합니다. 가장 이해하기 쉬운 모델부터 봅니다.