AI Compressor · 제조 AI 파일럿을 어떻게 양산으로 옮길 것인가
한 라인의 품질과 투자 효과를 다른 공장에서 재현하는 법
부품 제조사가 한 라인에서 AI 검사 이력 기능을 시험했다. 품질 담당자는 일련번호를 입력해 검사 결과와 재검사 기록을 찾고, 신규 OEM의 성적서를 예전보다 빨리 제출했다. 공장장은 같은 기능을 다른 두 라인에도 적용하고 싶어 한다. 두 번째 라인은 검사기 제조사가 다르고, 세 번째 라인은 야간에 통신이 끊기면 결과를 로컬에 저장했다가 한꺼번에 보낸다. 첫 파일럿에서 확인한 속도가 양산에서도 유지될지는 이 차이를 다뤄봐야 알 수 있다.
첫 편은 제조사가 어떤 병목에 투자할지, 두 번째 편은 소프트웨어 회사가 고객의 요구를 어떻게 제품으로 만들지 다뤘다. 세 번째 질문은 한 라인의 성과를 양산과 다른 공장으로 옮길 때도 품질과 경제성이 유지되는가다. 시험 결과를 바탕으로 제품팀과 공장 운영팀이 각각 무엇을 확인해야 하는지 살펴보자.
- 합격 기준 합의품질·속도·예외
책임자와 원기록 - 병행 시험기존 결과와 대조
누락·오판정 확인 - 제한적 실사용한 품목·한 교대
장애와 복귀 시험 - 다음 라인 검증장비·교대 차이
도입 공수 확인
각 단계의 기준을 충족하면 다음 단계로 진행한다. 미충족 항목은 수정 후 다시 시험한다.
첫 번째 흐름의 화살표는 각 단계의 합격 기준을 충족한 뒤 다음 적용 범위로 진행한다는 뜻이다. 먼저 품질과 속도의 기준 및 책임자를 정하고, 기존 절차와 새 시스템의 결과를 대조한다. 이후 한 품목과 한 교대에서 장애 발생 시의 동작과 기존 절차로의 복귀까지 확인한다. 다음 라인에서는 장비나 교대가 달라지는 부분을 검증한다. 어느 단계에서든 누락이나 오류가 발견되면 해당 원인을 수정하고 같은 조건으로 다시 시험한다.
파일럿을 시작하기 전에 양산에서 통과할 조건을 정한다
처음부터 파일럿의 책임자를 정한다. 생산팀은 적용 품목과 시험 교대를 고르고, 품질팀은 비교에 쓸 원기록과 합격 기준을 정한다. 설비팀은 장비 연동과 복귀 방법을 검토하고, 공급사의 제품팀은 잘못된 판정, 기록 누락, 지원에 든 시간을 남긴다. 현장에 인력이 부족하다면 품질 담당자의 검토 시간과 설비를 시험에 쓸 시간도 생산 계획에 넣는다.
대상 업무가 시험 대상 부품의 성적서 준비라면, 시작은 일련번호가 지정된 시점이고 끝은 승인된 성적서가 제출 가능한 상태가 된 시점이다. 중간에 자료 조회, 예외 확인, 재검사 판정, 최종 승인 시각을 기록한다. 평균과 중앙값은 일상적인 처리 속도를 보여준다. 오래 걸린 건은 원자료를 열어 통신 지연인지, 기록이 없었는지, 승인자가 부재했는지 확인한다. 운영팀은 어느 구간을 다음 릴리스에서 개선할지 이 기록으로 결정할 수 있다.
속도와 품질을 같은 건에서 확인한다
가상의 파일럿에서 같은 품목군의 과거 40건과 새 시스템으로 처리한 40건을 비교한다고 하자. 성적서 승인까지 걸린 시간의 중앙값이 120분에서 45분으로 줄었다. 그러나 새 시스템이 작성한 두 건에서 최초 판정과 재검사 판정이 뒤바뀌었다. 두 건을 품질 담당자가 승인 전에 잡았다면 출시 후 오출하로 이어진 사례는 없었지만, 담당자의 검토가 그 오류를 막았다는 사실은 남는다. 이 경우 다음 개발 범위는 판정의 시간 순서를 지키고 재검사 여부를 명확히 표시하는 것이다.
시험 항목에는 정상 생산, 품목 전환, 재검사, 통신 중단 후 기록 재전송, 승인 기준 변경을 넣는다. 업무 기록이 부족한 예외는 제조사와 함께 시험용 데이터를 만든다. 모델이 근거를 찾지 못하면 확인 요청을 내보내고, 적용 기준이나 판정은 승인된 데이터에서 가져오도록 한다. 앤트로픽 엔지니어링팀은 실제 실패를 평가 사례로 만들고, 업데이트 전 평가와 운영 중 관찰을 함께 쓰는 방법을 설명한다. 이 접근을 공장에 적용하면 승인 전 대조와 출시 후 오류 추적을 같은 흐름에 넣을 수 있다. Anthropic, Demystifying evals for AI agents
양산에서는 예외가 생겼을 때의 동작을 본다
시험판의 결과를 기존 절차와 비교한 뒤, 한 품목과 한 교대부터 실사용을 시작한다. 교대 중 연결이 끊기면 시스템은 마지막으로 확인된 기록의 시각을 보여줘야 한다. 품질 담당자는 어떤 부품을 보류할지 알고, 현장 담당자는 정해둔 기존 절차로 복귀할 수 있어야 한다. 연결이 복구된 뒤에는 뒤늦게 도착한 기록이 중복 저장됐는지, 이미 발행한 성적서에 수정이 필요한지를 확인한다.
업데이트에도 같은 기준을 적용한다. 검사 모델이나 장비 연결 방식이 바뀌면 영향받는 품목과 라인을 확인하고, 승인된 방식으로 이전 버전을 복원할 수 있게 한다. Sculley 등의 연구는 머신러닝 시스템에서 데이터 의존성과 구성 변경이 시간이 지나며 유지보수 비용을 늘릴 수 있음을 지적했다. 제조 소프트웨어라면 장비 데이터의 의미나 품질 기준이 바뀔 때 누구에게 알려야 하는지, 어떤 검증을 다시 해야 하는지를 릴리스 절차에 포함할 수 있다. Sculley 외, Hidden Technical Debt in Machine Learning Systems
두 번째 공장의 경제성을 따로 계산한다
첫 파일럿에 공급사 엔지니어가 80시간을 썼고, 두 번째 라인에는 45시간이 든다고 가정하자. 이를 비교할 때는 변경한 장비 종류와 설정 항목, 대조한 시험 건수를 함께 적는다. 35시간이 줄어든 이유가 공통 연동과 시험 자료를 재사용했기 때문이라면, 비슷한 장비를 쓰는 다음 라인의 도입 비용을 추정할 수 있다. 두 번째 라인의 장비가 원래 더 단순했다면 복잡한 라인과의 비교가 추가로 필요하다.
제조사는 절감된 검토 시간과 실제 초과근무 비용, 출하 보류 감소, 신규 수주 준비 기간을 본다. 공급사는 고객별 시운전 시간과 추가 지원 비용, 현장 엔지니어가 직접 처리해야 하는 문의 비율을 본다. 예를 들어 고객 공장이 매달 20시간을 확보했지만 공급사의 현장 방문이 매번 필요하다면 다음 릴리스에 원격 진단과 고객이 직접 수정할 수 있는 설정을 검토할 이유가 생긴다. 어느 쪽의 부담이 늘었는지를 함께 봐야 제품의 가격과 지원 범위를 정할 수 있다.
- 파일럿 결과승인 시간
120분 → 45분 - 품질 검토40건 중 2건에서
판정 순서 오류 발견 - 원인 수정·재시험재검사 연결과
시간 순서 검증
오류·복구·운영 기준 충족
제한된 교대에서 실사용 후 다음 라인 검증
오류 재발 또는 지원 부담 증가
해당 원인을 수정하고 같은 시험 반복
본문의 가상 사례다. 시간 단축과 품질 확인을 함께 평가한다.
두 번째 흐름의 가상 사례에서는 승인 시간이 120분에서 45분으로 줄었지만, 40건 중 2건에서 재검사 판정의 순서가 잘못 표시됐다. 이 오류를 담당자가 승인 전에 발견했다면 그 검토가 품질을 지킨 과정도 기록해야 한다. 원인을 수정한 뒤 판정 순서와 재검사 연결을 다시 시험하고, 복구와 운영 기준까지 충족하면 제한된 교대에서 사용한다. 다른 라인으로 확대할 때는 오류 재발과 지원 부담의 변화를 함께 확인한다.
확대 여부는 다음 라인의 조건으로 결정한다
첫 라인에서 기준을 충족했다면 업무와 장비가 비슷한 두 번째 라인을 고른다. 새 검증 항목은 그 라인에서만 생기는 차이에 집중한다. 동일한 이력과 판정 기준을 적용할 수 있고, 품질 검토에 쓰는 시간이 줄고, 공급사의 도입 공수도 낮아졌다면 같은 품목군을 운영하는 다른 공장에 제안할 근거가 생긴다. 판정 오류가 재발하거나 담당자 지원이 늘었다면 해당 원인을 다음 제품 업데이트에 반영하고 다시 측정한다.
생산팀과 공급사가 마지막으로 확인할 질문은 구체적이다. 연결이 끊겼다가 복구된 다음 날에도 승인된 성적서를 제때 낼 수 있는가? 두 번째 공장의 담당자가 자기 교대에서 이 흐름을 운영할 수 있는가? 그 두 장면이 검증되면 파일럿의 시간을 도입 계획과 다음 계약의 근거로 쓸 수 있다.