01
모델은 배포하고 끝이 아니다
머신러닝 모델은 한 번 만들고 끝나는 소프트웨어가 아닙니다. 데이터를 모아 학습하고 평가해 배포한 뒤에도, 성능을 지켜보고 새 데이터로 다시 학습하기를 되풀이합니다. 아래 그림은 이 고리입니다. 단계를 골라 보세요.
- 배포
- 모델을 서비스에 올린다
머신러닝 생애 주기 — 마지막 재학습이 다시 데이터 준비로 이어지는 고리
배포: 모델을 서비스에 올린다. 하늘색 단계(배포·모니터링·재학습)가 MLOps가 특히 챙기는 부분입니다.
일반 소프트웨어는 코드가 바뀌지 않으면 동작도 그대로입니다. 머신러닝 모델은 코드가 그대로여도 들어오는 데이터가 바뀌면 성능이 바뀝니다. 그래서 코드뿐 아니라 데이터와 모델까지 버전을 관리하고 지켜봐야 합니다. 소프트웨어 개발과 운영을 묶은 DevOps를 머신러닝에 맞게 넓힌 것이 MLOps입니다.
실제 머신러닝 시스템에서 모델을 학습하는 코드는 작은 일부일 뿐이고, 데이터 수집·검증, 특성 만들기, 배포, 모니터링 같은 주변 일이 훨씬 크다는 연구가 있습니다. MLOps는 이 주변 일을 자동화하고 기록해서, 사람이 손으로 하다 생기는 실수를 줄입니다.
| 단계 | 모습 |
|---|---|
| 수동 | 노트북에서 손으로 학습하고 모델 파일을 넘긴다. 다시 만들기 어렵다 |
| 파이프라인 자동화 | 데이터부터 등록까지 파이프라인이 돌고, 새 데이터가 오면 자동으로 다시 학습한다 |
| CI/CD 자동화 | 파이프라인 자체의 코드도 시험·배포를 자동화한다 |
문제에 이런 표현이 나오면 → 이렇게 고른다
- “데이터→학습→평가→배포→모니터링→재학습의 반복”머신러닝 생애 주기
- “ML 모델의 개발과 운영을 자동화·표준화”MLOps
- “코드가 그대로면 모델 성능도 그대로다”틀린 보기 — 데이터가 바뀌면 성능이 바뀐다
- “코드·데이터·모델의 버전을 함께 관리”MLOps의 재현성
첫걸음은 사람이 손으로 하던 일을 정해진 순서의 파이프라인으로 바꾸는 것입니다.
02
파이프라인과 재현성
학습 파이프라인은 데이터 검증, 특성 만들기, 학습, 평가, 모델 등록을 정해진 순서로 자동 실행하는 흐름입니다. 새 데이터가 쌓이거나 정해진 시간이 되면 돌고, 평가 단계에 기준을 둬서 기준에 못 미치는 모델은 다음 단계로 넘어가지 못하게 합니다. 아래 그림에서 이번 모델이 기준에 못 미치게 해 보세요.
- 데이터 검증
- 통과
- 특성 만들기
- 통과
- 학습
- 통과
- 평가
- 통과
- 모델 등록
- 통과
새 데이터가 들어올 때마다 자동으로 도는 학습 파이프라인
모든 단계를 자동으로 통과해 새 모델이 레지스트리에 등록됐습니다. 사람이 손으로 하지 않으니 매번 같은 절차가 같은 순서로 돌고, 나중에 똑같이 다시 만들 수 있습니다.
실험 추적
학습할 때마다 쓴 데이터, 코드 버전, 하이퍼파라미터, 결과 지표를 기록해 비교한다.
메타데이터와 계보
이 모델이 어떤 데이터와 어떤 단계를 거쳐 나왔는지 이어서 추적한다(lineage).
모델 레지스트리
모델 버전, 평가 결과, 승인 상태(스테이징·운영)를 모아 관리하고 되돌릴 수 있게 한다.
데이터 검증
학습 전에 빠진 값, 범위를 벗어난 값, 형식이 바뀐 열을 자동으로 잡아낸다.
문제에 이런 표현이 나오면 → 이렇게 고른다
- “학습·평가·배포 단계를 자동으로 이어서 실행”ML 파이프라인 (오케스트레이션)
- “실험마다 하이퍼파라미터와 지표를 기록·비교”실험 추적
- “모델이 어떤 데이터에서 나왔는지 추적”메타데이터·계보 (lineage)
- “모델 버전과 승인 상태를 관리하고 되돌리기”모델 레지스트리
- “기준 미달 모델이 자동으로 배포되지 않게”평가 단계의 품질 관문
레지스트리에 올라간 모델을 이제 실제 서비스에 내보냅니다. 내보내는 방법이 여러 가지입니다.
광고
03
배포: 언제, 어떻게 예측하고 바꿔 끼우나
먼저 예측을 언제 하느냐에 따라 두 가지로 나뉩니다. 정해진 시간에 많은 데이터를 한꺼번에 예측해 저장해 두는 배치 추론, 요청이 올 때마다 바로 예측해 돌려주는 실시간(온라인) 추론입니다. 기기 안에서 바로 예측하는 엣지 추론도 있습니다.
| 방식 | 잘 맞는 일 | 특징 |
|---|---|---|
| 배치 추론 | 매일 밤 전체 고객 이탈 점수 계산 | 싸고 단순하다. 결과는 다음 실행까지 그대로 |
| 실시간 추론 | 결제 순간 사기 판별, 검색 추천 | 응답이 빨라야 한다. 엔드포인트를 늘 띄워 두고 늘고 줄인다 |
| 엣지 추론 | 휴대폰 카메라, 공장 기계 | 네트워크 없이 빠르다. 모델을 작게 만들어야 한다 |
새 모델로 바꿀 때는 한 번에 바꾸는 것보다 위험을 나눠 바꾸는 방법이 많이 쓰입니다. 아래 그림에서 방법을 바꿔 보세요.
- v2가 답한 요청
- 2 / 20
- 되돌리기
- 10%만 영향, 비율을 0으로 돌린다
새 모델 v2를 서비스에 올리는 방법 — 연두 = v2가 답한 요청
요청의 10%만 v2로 보내 지켜보고, 괜찮으면 비율을 점점 늘립니다. 문제가 생겨도 일부 사용자만 영향을 받습니다.
어느 방법이든 새 모델이 기존 모델보다 정말 나은지는 실제 지표로 확인합니다. 평가 지표 자료의 A/B 테스트가 그 방법입니다. 그리고 레지스트리에 이전 버전을 남겨 두어 언제든 되돌릴 수 있게 합니다.
문제에 이런 표현이 나오면 → 이렇게 고른다
- “정해진 시간에 대량으로 예측”배치 추론
- “요청마다 낮은 지연으로 즉시 예측”실시간(온라인) 추론·엔드포인트
- “트래픽 일부만 새 모델로 보내며 점점 늘린다”카나리 배포
- “새 모델이 요청 복사본을 받아 예측만, 사용자에겐 안 감”섀도 배포
- “두 환경을 띄워 두고 연결을 한 번에 전환·즉시 되돌림”블루/그린 배포
배포를 마쳤다고 안심할 수는 없습니다. 모델이 보는 세상은 계속 바뀝니다.
Pro 전용
여기까지 무료로 읽을 수 있어요
나머지 5개 장은 Pro 구독자에게 열려 있어요. 장마다 3D 그림과 "문제에 이런 표현이 나오면" 정리가 이어지고, 마지막 장에서는 직접 풀어 보며 확인합니다.
- 04모니터링과 드리프트
- 05재학습 전략
- 06학습-서빙 차이와 특성 저장소
- 07LLM 서비스 운영
- 08상황에 맞는 방법
PasslyExam
개념을 읽었다면, 이제 시험 문제로 확인할 차례
PasslyExam은 자격증 시험 범위에 맞춰 만든 오리지널 연습문제와 해설, 실전 모의고사를 제공합니다. 왜 그 보기가 정답이고 비슷한 보기는 왜 틀리는지까지 해설로 짚습니다. 가입하면 매일 무료로 연습문제를 풀 수 있습니다.