Elephant Index
목록으로
AI Nativeness3분

AI를 쓰면서 팀은 무엇을 배워야 할까

AI와 일하는 회사 · 10화

연재 「AI와 일하는 회사」 19번째 글

Read in English

신입 상담원이 환불 요청을 받았다. AI는 지난 상담 사례를 바탕으로 환불을 거절하는 문장을 써줬다. 선임은 먼저 고객의 구매 경로를 묻는다. 제품 상세 페이지가 결제 시점에 바뀌었거나 판매 채널의 약속이 달랐다면, 비슷한 불만이라도 다른 안내가 필요하기 때문이다. 신입이 초안만 읽으면 선임이 어떤 정보를 보고 판단을 바꿨는지 배우기 어렵다.

결과를 고친 이유를 함께 남긴다

상담 화면에서 선임이 초안을 수정할 때 “표현이 어색함”만 기록하면 다음 사람은 무엇을 확인할지 알 수 없다. “주문 채널을 먼저 확인해야 함”, “구매 당시 안내와 현재 공지가 다름”처럼 결정을 바꾼 사실을 남긴다. 고객 정보를 다시 공유할 필요는 없다. 판단에 필요한 조건을 중심으로 사례를 정리해 같은 유형의 문의에 적용할 수 있는지 검토한다.

교육 때는 예전 문의 한 건을 놓고 먼저 직원이 확인할 항목을 고른다. AI 초안을 본 뒤 무엇이 빠졌는지 비교한다. 신입과 선임의 답이 다르다면 틀린 곳부터 찾기보다 상대가 어떤 정보를 전제했는지 묻는다. 팀 안에서 합의한 기준이 문서에 없다면 그날 추가하고, 판단이 갈리는 예외는 누가 결정할지 정한다.

업무 규칙을 고치는 시간을 마련한다

수정 사례가 많아도 주간 업무에서 돌아볼 자리가 없으면 자료만 쌓인다. 팀 회의에서 반복된 오류 한두 건을 골라 문서, 교육, 도구 가운데 무엇을 고칠지 결정한다. 지난주에 바꾼 기준이 이번 주 문의에서 실제로 쓰였는지도 확인한다. 같은 이유로 다시 수정했다면 교육이 부족했는지, 화면에서 근거를 찾기 어려웠는지 살핀다.

팀의 숙련도를 평가할 때 도구를 몇 번 썼는지와 함께, 담당자가 초안을 왜 고쳤는지 설명할 수 있는지 보고 싶다. 그 설명이 다음 사람에게 전달되어 같은 상황에서 더 빨리, 더 정확하게 판단할 수 있다면 그 경험이 회사에 남는다.

상담 연구에서 업무 성과와 학습을 어떻게 구분했나

브린욜프슨, 리, 레이먼드는 고객지원 조직에서 AI 상담 보조 도구가 순차 도입되는 과정을 연구했다. 출판 논문에서 시간당 해결 건수는 평균 15% 늘었고, 경력이 짧은 상담원에게서 효과가 더 컸다. 연구진은 도구가 일시적으로 작동하지 않았을 때의 성과도 살펴 학습 가능성을 검토했다. 특정 고객지원 조직의 결과이므로 다른 업무에서 같은 크기의 효과가 난다고 가정할 수는 없다. Brynjolfsson·Li·Raymond, 《Quarterly Journal of Economics》

실무 교육에 적용하면 상담원이 도구와 함께 처리한 건과, 나중에 도움 없이 비슷한 문의를 검토한 건을 비교할 수 있다. 두 번째 문의에서도 구매 당시의 안내 문구와 판매 채널을 먼저 확인한다면 어떤 판단이 전달됐는지 알 수 있다. 일시적으로 도구를 끄는 대신 교육용 사례를 활용하면 고객 응대에 영향을 주지 않고 확인할 수 있다.

한 번의 정정을 팀의 학습으로 만드는 절차

상담원이 반품 답변을 고쳤다면 수정 문장과 함께 어떤 판매 채널인지, 구매 당시 어떤 안내였는지를 기록한다. 그래야 동료가 다음 건에서 똑같은 답을 복사하는 대신 같은 판단 기준을 적용할 수 있다.

업무 흐름과 판단 지점
  1. AI 답변과 원래 근거 저장
  2. 수정 이유를 유형별 기록
  3. 팀이 사례 검토·규칙 수정
  4. 도구 없는 교육 사례로 확인
유사 상담 사례 판단 정확도 (%)
교육 전 20건 중 11건
55%
교육 후 20건 중 16건
80%

가상 교육 결과다. 두 시험에 난이도가 비슷한 서로 다른 사례를 사용하고 도구 없이 평가한다고 가정했다.

전후 시험의 정확도가 올라도 교육의 인과효과를 단정하려면 사례 난이도와 평가 기준, 참여자 구성을 더 살펴야 한다. 팀 회의에서는 점수와 함께 가장 많이 놓친 근거를 확인하고, 그 근거가 매뉴얼과 검토 화면에서 잘 보이는지 점검한다.

목록으로