학습과 서비스의 특성 불일치, 같은 모델인데 결과가 달라지는 이유
페이지 정보

본문
학습한 모델 파일을 그대로 서비스에 배포했는데 예상과 다른 결과가 나오는 경우가 있습니다. 이때 모델 가중치가 같은지만 확인하면 조사 범위가 너무 좁아집니다.
모델 앞에서 원시 데이터를 읽고 숫자로 바꾸는 과정이 달라졌을 수 있기 때문입니다. 학습과 서비스의 입력 차이를 살펴보는 개념이 training-serving skew입니다.
이 글에서는 그중 특성 처리의 불일치를 중심으로, 초급 개발자가 어떤 순서로 원인을 좁힐 수 있는지 정리합니다. 아래의 상품 가격과 점수 사례는 설명을 위한 가정이며 실제 서비스의 장애나 측정 결과가 아닙니다.

AI 생성 삽화 · 개념 이해를 위한 AI 연출 이미지이며 실제 시스템 구성도나 측정 결과가 아닙니다.
핵심 정리
모델 버전뿐 아니라 입력 스키마, 단위, 전처리 결과, 변환에 쓰인 통계와 조회 시점을 함께 비교합니다. 통계 차이는 조사 신호이며, 같은 요청을 두 경로에서 재현해 어느 단계부터 달라지는지 확인하는 것이 중요합니다.
1. 같은 모델도 다른 입력을 받으면 결과가 달라집니다
간단한 가상 모델이 점수 y=2x+1을 계산한다고 생각해 봅니다. 학습 과정에서는 가격을 천 원 단위로 변환해 x=3을 넣었고, 서비스에서는 원 단위의 3000을 그대로 넣었다면 출력은 각각 7과 6001입니다.
식은 같은데 입력의 의미가 달라진 사례입니다. 실제 모델은 이보다 복잡하지만 조사 출발점은 비슷합니다.
예측 결과만 비교하지 말고 모델 호출 직전의 특성 이름과 값부터 대조합니다. 입력 배열의 길이가 같다고 의미까지 같은 것은 아닙니다.
예를 들어 나이와 이용 횟수의 순서를 바꾸어 넣어도 배열 크기 검사만 통과할 수 있습니다. 따라서 모델 파일 식별자와 함께 특성의 순서, 자료형, 단위를 기록하는 비교표가 도움이 됩니다.
모든 결과 차이가 특성 불일치인 것은 아닙니다. 입력을 맞춘 뒤에도 차이가 남으면 모델 설정이나 수치 계산 조건 등 다음 원인을 조사합니다.
처음부터 재학습으로 해결하려 하면 입력 오류가 새 모델에도 남을 수 있습니다.
2. 원시 입력과 전처리한 특성을 나누어 봅니다
Google의 모니터링 문서는 입력 스키마의 차이와 가공된 특성의 차이를 구분합니다. 원시 데이터 검사를 통과했다고 변환 결과까지 올바르다는 뜻은 아닙니다.
가상의 회원 데이터에 등급이라는 문자열 필드가 있다고 해 봅니다. 학습에서는 앞뒤 공백을 제거한 뒤 범주를 찾고 서비스에서는 그대로 조회하면 겉보기에 비슷한 문자열이 다른 값으로 처리될 수 있습니다.
이 경우 원시 요청, 공백 처리 후 값, 범주 번호를 단계별로 비교하면 차이가 시작된 위치를 찾기 쉽습니다. 결측값도 빈 문자열, 필드 없음, 명시적인 null 중 무엇으로 들어오는지 구분합니다.
기본값을 넣는 위치가 다르면 최종 배열의 크기는 같아도 값은 달라질 수 있습니다. 비교 기록에는 정상 사례뿐 아니라 빈 입력과 처음 보는 범주도 포함합니다.
다만 실제 개인정보를 그대로 개발 로그에 쌓는 방식은 피하고, 권한이 통제된 재현 자료나 같은 조건을 표현하는 합성 사례를 사용합니다.
3. 전처리 코드와 학습된 변환 정보를 함께 배포합니다
숫자를 변환하는 함수가 같아도 그 함수가 사용하는 값이 다르면 결과는 달라집니다. 설명용으로 x에서 평균을 빼는 변환을 생각해 봅니다.
x가 12이고 학습에서 저장한 평균이 10이면 변환 결과는 2입니다. 서비스가 요청 묶음에서 평균 12를 다시 계산하면 결과는 0이 됩니다.
코드 한 줄만 비교해서는 이 차이를 놓칠 수 있습니다. 범주 사전, 정규화 통계처럼 데이터로부터 구한 정보도 버전 관리 대상입니다.
TensorFlow Transform은 데이터 분석으로 얻은 값을 포함한 변환을 그래프로 표현하고 서비스 경로에서 활용하는 방식을 제공합니다. 특정 도구를 반드시 도입해야 한다는 뜻은 아닙니다.
직접 만든 파이프라인에서도 모델과 변환 자료가 서로 맞는 조합인지 확인할 수 있어야 합니다. 배포 목록에 모델 식별자, 특성 정의 버전, 변환 자료 식별자를 함께 두면 어떤 조합을 재현해야 하는지 명확해집니다.
파일 이름이 같다는 확인만으로 내용까지 같다고 판단하지 않는 것도 중요합니다.
4. 예측 시점에 알 수 있었던 데이터인지 확인합니다
학습 자료를 만들 때 현재의 데이터베이스를 조회하면 과거 요청 당시에는 없던 정보를 붙일 수 있습니다. 가상의 배송 예측에서 주문 순간의 처리 시간을 추정하면서 이미 배송이 끝난 뒤의 최종 상태를 입력에 넣으면 실제 요청 상황을 재현하지 못합니다.
이 사례에서는 문자열 변환 코드가 같아도 정보의 시점이 문제입니다. 특성을 정의할 때 값의 생성 시각과 서비스에서 조회 가능한 시각을 따로 생각합니다.
최근 일주일의 횟수 같은 집계는 어느 시점을 끝으로 계산하는지 적습니다. 경계 시각이 다르면 같은 이름의 특성이 다른 사건을 포함할 수 있습니다.
예측 시점에 제공할 수 있는 특성만 학습에 사용하는 원칙은 Google의 공식 설명에서도 강조됩니다. 조사표에는 조회 대상과 시간 기준을 함께 남깁니다.
과거 원본을 보관하지 않았다면 당시 값을 완벽히 재현할 수 없을 수도 있습니다. 이때 현재 값으로 채운 결과를 원래 입력이라고 부르지 않고 재현의 한계로 명시합니다.
5. 분포 비교와 개별 요청 재현은 서로 보완합니다
전체 데이터의 분포를 비교하면 갑자기 결측값이 늘거나 새로운 범주가 유입된 현상을 찾는 데 도움이 됩니다. TensorFlow Data Validation은 학습·서비스 데이터의 통계를 비교하는 기능과 서로 다른 시기의 데이터를 비교하는 기능을 설명합니다.
그러나 평균이 달라졌다는 사실만으로 코드 오류나 성능 저하가 확정되지는 않습니다. 가령 가상의 쇼핑 서비스에서 행사 기간에 고가 상품 조회가 늘었다면 입력 분포 변화 자체는 실제 이용 변화일 수 있습니다.
반대로 두 특성의 열 순서가 바뀌었는데 값의 범위가 비슷하면 단순 평균 비교로 놓칠 여지도 있습니다. 따라서 분포 경고가 뜨면 해당 구간의 재현 가능한 요청을 골라 원시 값부터 모델 입력까지 대조합니다.
전체 평균 외에 서비스 버전이나 요청 유형별로 차이가 집중되는지도 살펴봅니다. 알림 기준을 정할 때는 어떤 비교 기간과 집계 단위를 사용했는지 남깁니다.
경고 해소와 예측 품질 회복도 별개이므로 가능하다면 정답이 확인된 평가 자료로 결과를 다시 확인합니다.
6. 작은 비교표 하나로 조사 순서를 고정합니다
처음에는 요청 식별자, 원시 입력, 변환 결과, 모델 버전, 출력의 다섯 칸으로 재현 표를 만들 수 있습니다. 실무에서는 필요한 항목을 더하되 모든 로그를 한꺼번에 모으기보다 차이가 처음 생기는 지점을 찾는 데 집중합니다.
동일한 설명용 입력을 학습 전처리 함수와 서비스 전처리 함수에 넣고 결과를 나란히 비교합니다. 차이가 있으면 해당 단계의 규칙과 변환 자료를 확인하고, 없으면 다음 단계로 이동합니다.
숫자 비교에서는 요구 정밀도에 맞는 허용 오차를 정하되 단위가 천 배 다른 문제를 오차로 덮지 않습니다. 수정 후에는 문제를 드러낸 사례와 기존 정상 사례를 다시 실행합니다.
예를 들어 공백 처리 수정이라면 공백이 없는 기존 등급 값도 그대로 매핑되는지 확인합니다. 배포 뒤에는 같은 특성의 경고와 서비스 지표가 어떻게 달라지는지 관찰합니다.
조사 문서에는 확인된 원인, 바꾼 단계, 재현 방법, 아직 확인하지 못한 조건을 남기면 다음 담당자도 같은 기준으로 검증할 수 있습니다.
7. 자주 묻는 질문
Q1. 같은 가중치를 배포하면 입력 문제는 없나요?
가중치와 전처리는 별도 확인 대상입니다. 같은 파일을 써도 특성의 순서나 단위, 결측값 처리, 범주 사전이 달라지면 모델이 받는 값이 달라질 수 있습니다.
Q2. 데이터 드리프트와 같은 말인가요?
학습과 서비스 사이를 비교하는 관점과 시간에 따른 데이터 변화를 비교하는 관점은 구분할 수 있습니다. 어떤 두 집단을 비교했는지 먼저 명시하면 경고의 의미를 해석하기 쉽습니다.
Q3. 분포 경고가 나오면 바로 재학습해야 하나요?
경고만으로 조치를 확정하지 않습니다. 실제 이용 변화인지 처리 오류인지 조사하고, 재현 사례와 예측 품질을 확인한 뒤 수정 또는 재학습 범위를 정합니다.
Q4. 초보 프로젝트에서도 전용 플랫폼이 필요한가요?
처음에는 동일 입력을 두 경로에 넣는 검사와 버전 기록부터 시작할 수 있습니다. 관리할 특성과 배포 경로가 늘어날 때 자동 검증 도구의 도입 범위를 검토합니다.
참고 자료
- 이전글Python asyncio의 await, 기다림과 병렬 실행을 구분하기 26.10.03
- 다음글쿠버네티스 Deployment와 StatefulSet, Pod 교체와 식별자의 차이 26.10.01
댓글목록
등록된 댓글이 없습니다.