AI 시제품이 팀의 도구가 되려면
AI 네이티브 기업 2화 · 문서 갱신, 오류 수정, 검토 시간
AI 네이티브 기업 · 2화
시제품을 만든 사람이 자리를 비워도 팀은 이 도구를 고쳐서 계속 쓸 수 있을까?
금요일 오후, 고객지원팀의 한 직원이 제품 매뉴얼을 읽고 답변을 써 주는 AI 시제품을 시연한다. 지난주에 들어온 문의를 넣자, 정확한 문서 링크와 함께 초안이 나온다. 월요일에는 새 버전이 출시된다. 같은 질문을 넣었더니 AI가 지난주 매뉴얼을 근거로 여전히 자신 있게 답한다. 시제품을 만든 직원은 휴가 중이다. 동료는 어느 문서가 연결돼 있는지, 무엇을 고쳐야 하는지, 수정한 답변을 어떻게 확인할지 모른다.
1화에서는 고객 답변의 초안이 몇 초 만에 나왔는데도 발송까지 사흘이 걸린 이유를 살펴봤다. 이제 질문이 바뀐다.
배포일에 매뉴얼도 바뀌어야 한다
고객이 “이 기능을 어디에서 켜나요?”라고 물었을 때, 버전마다 메뉴 위치가 다르다면 답변에는 먼저 제품 버전이 필요하다. 지원팀은 버전을 확인할 수 없을 때 고객에게 무엇을 물을지 정한다. 제품팀은 새 버전의 안내를 언제 공개하고, 구버전 문서를 어떤 버전에 한해 계속 제공할지 정한다. 일부 고객에게만 기능이 열린 상태라면 적용 조건도 문서에 남긴다.
구글에서 일하던 D. 스컬리와 동료들은 2015년 논문에서 머신러닝 시스템의 유지보수 비용이 코드 밖에서도 쌓인다고 설명했다. 시스템이 의존하는 데이터나 외부 환경이 바뀌면, 모델 코드가 그대로여도 결과는 달라질 수 있다. 고객 지원 사례에서는 제품 출시가 바로 그런 변화다. 제품 배포와 함께 문서의 적용 범위가 갱신돼야 답변도 최신 상태를 유지할 수 있다. Sculley 외 · Hidden Technical Debt in Machine Learning Systems
출시 점검에 질문 세 개를 추가해 보자. 새 버전에서는 메뉴를 올바르게 안내하는가? 기존 버전 고객에게도 맞는 안내를 하는가? 버전을 모르면 확인 질문을 하는가? 답변에 문서 링크와 적용 버전이 표시되면, 검토자는 문장이 자연스러운지 읽는 데서 그치지 않고 근거가 고객 상황에 맞는지 확인할 수 있다.
오류 한 건을 고친 뒤 비슷한 문의도 다시 돌려본다
오답이 발견되면 먼저 고객에게 정확한 답을 전달한다. 그다음에는 당시 질문과 제품 버전, AI가 가져온 문서, 잘못된 답변, 담당자가 확인한 내용을 함께 남긴다. 같은 “잘못된 메뉴 안내”라도 원인에 따라 고치는 곳이 다르다. 문서에 예전 화면이 남아 있으면 제품팀이 문서를 갱신한다. 최신 문서가 있는데도 구버전 문서를 가져왔다면 도구의 검색 조건을 고친다. 고객이 버전을 밝히지 않았는데 확정적으로 안내했다면 확인 질문을 하도록 절차를 바꾼다.
하버드경영대학원의 이야보르 보지노프는 하버드 비즈니스 리뷰에서 AI 프로젝트를 과제 선정, 개발, 평가, 도입, 운영의 다섯 단계로 설명한다. 고객지원팀에 적용하면 평가와 운영은 이어져 있다. 운영 중 발견한 오답을 다음 평가에 넣고, 비슷한 사례와 함께 다시 실행한다. 예를 들어 새 버전 답변을 고친 다음에도 구버전 안내가 여전히 정확한지 확인한다. 수정이 다른 답변에 어떤 영향을 주는지 볼 수 있기 때문이다. Harvard Business Review · The Right Way to Launch an AI Initiative
6분이 30초가 됐을 때, 팀은 몇 분을 아꼈나
가상의 문의 한 건을 보자. 사람이 처리할 때는 문서 검색과 답변 작성에 6분, 검토에 2분이 들어 총 8분이 걸렸다. AI를 썼더니 초안은 30초 만에 나왔고, 그동안 담당자는 다른 일을 할 수 있었다. 하지만 적용 버전과 근거를 확인하는 데 5분, 답변을 고치는 데 4분이 들었다. 팀이 실제로 투입한 시간은 9분이다. 고객이 답을 받기까지 걸린 시간은 접수 시각과 발송 시각을 따로 기록해야 알 수 있다. 승인 대기 때문에 한 사람이 쓰는 시간과 고객이 기다리는 시간은 크게 달라질 수 있다.
에릭 브린욜프슨, 대니얼 록, 채드 사이버슨은 ‘생산성 J곡선’ 연구에서 새 기술의 효과를 내려면 업무 재설계와 교육 같은 보완 투자가 필요하고, 초기에 그 투자의 가치가 생산성 통계에 충분히 드러나지 않을 수 있다고 설명한다. 이 사례에 적용하면, 버전별 매뉴얼을 정비하고 상담원을 교육하는 초기 작업과 문의를 처리할 때마다 드는 검토 비용을 나눠 기록할 이유가 생긴다. 문서 정비가 끝난 뒤에도 매번 검토에 9분이 든다면, 어느 유형에서 일이 늘었는지 살펴볼 수 있다. Brynjolfsson·Rock·Syverson · The Productivity J-Curve
파일럿에서는 같은 유형의 문의끼리 비교한다. 팀의 작업 시간에는 검색, 작성, 확인, 수정에 들어간 시간을 모두 넣는다. 고객 기준으로는 접수부터 발송과 최종 해결까지 걸린 시간, 같은 문제로 다시 연락한 비율을 본다. 버전 안내처럼 근거가 분명한 문의에서 시간이 줄고 재문의가 늘지 않는다면 그 범위를 유지할 근거가 생긴다. 여러 제품이 얽힌 문의에서 검토가 길어진다면 해당 유형은 따로 살펴보고, 문서나 도구를 고친 뒤 다시 비교한다.
다음 출시일에 새 매뉴얼이 반영되고, 시제품을 만든 사람이 없어도 동료가 오답의 원인을 찾아 수정하고, 그 결과를 팀의 작업 시간과 고객의 대기 시간으로 확인할 수 있다면 시제품은 팀의 도구가 된다. 다음 편에서는 그 도구가 고객 문의나 견적을 어디까지 처리할 수 있고, 어떤 약속부터 사람의 승인이 필요한지 살펴본다.