어느 숫자를 믿을 것인가
AI와 일하는 회사 · 3화
월요일 아침, 영업팀과 재무팀이 AI에게 지난달 매출을 물었다고 해보자. 영업팀 화면에는 12억 원, 재무팀 화면에는 10억 원이 나온다. 영업팀은 계약이 체결된 시점에 집계했고, 재무팀은 납품이 끝나 매출로 인식한 거래를 집계했다. 두 숫자 모두 근거가 있다. 그런데 경영회의에서 어느 숫자를 써야 하는지 모른다면, 답을 몇 초 만에 얻어도 회의는 그 자리에서 멈춘다.
질문에 숫자의 쓰임을 붙인다
분기 목표에 얼마나 가까워졌는지 묻는다면 수주액과 인식 매출을 나란히 보여주는 편이 낫다. 당장 생산량을 정하는 회의라면 수주액에 더해 납품 예정일과 취소 가능성을 알아야 한다. 같은 회사 안에서도 목적에 따라 필요한 숫자가 다르다. 지표를 정리할 때 이름과 계산식에 더해, 언제 쓰고 어떤 거래를 제외하는지 기록해 두면 AI도 답의 범위를 설명할 수 있다.
예를 들어 AI가 “10억 원입니다”라고 답하는 대신, “재무팀이 월 마감에 쓰는 인식 매출 기준으로 10억 원입니다. 마감 이후 접수된 반품은 반영되지 않았습니다”라고 보여준다고 하자. 담당자는 바로 근거 거래를 열어 볼 수 있어야 한다. 기준일이 빠졌거나 부서마다 집계 기간이 다르면 먼저 묻는다. 판단에 필요한 자료가 비어 있을 때는 빈칸을 드러내는 것도 결과다.
숫자를 고칠 사람을 정한다
유통팀이 취소된 주문을 집계에서 빼면 숫자가 달라진다. 그때 AI 답변만 수정하면 다음 회의에서 다시 문제가 생긴다. 원본 거래 상태가 틀렸는지, 집계 규칙이 틀렸는지, 답변에 잘못된 규칙이 연결됐는지부터 구분한다. 거래 기록은 운영팀이, 지표 정의는 그 지표를 관리하는 부서가, 답변의 연결은 도구를 운영하는 팀이 고친다. 같은 오류가 두 번 나오면 그 거래를 다음 검증에 쓸 사례로 남긴다.
회의를 준비할 때 자주 나오는 질문 하나를 골라, 두 사람이 독립적으로 답해 보면 시작할 곳이 보인다. 숫자가 다를 때 누가 맞는지부터 따지기보다 서로 어떤 결정을 앞두고 있는지 묻는다. 그리고 그 결정을 맡은 사람이 숫자에서 원래 기록까지 따라갈 수 있는지 확인한다.
위키미디어는 조회수와 기기 수를 왜 따로 공개할까
위키미디어의 분석 API 문서에는 페이지 조회수와 고유 기기 수가 별도 지표로 정의돼 있다. 조회수는 정해진 조건에 해당하는 페이지 요청을 세고, 고유 기기 수는 독자 규모를 간접적으로 추정하는 데 쓰인다. 한 기기로 여러 페이지를 보면 두 지표는 서로 다른 질문에 답한다. 고유 기기는 사람 수를 그대로 세는 지표로 해석하기 어렵다. 위키미디어 조회수 정의 · 고유 기기 정의
영업팀의 수주액과 재무팀의 매출액도 같은 화면에 표시할 수 있지만, 먼저 집계 단위와 시점을 명시해야 한다. 예를 들어 6월에 계약하고 7월에 납품한 거래 한 건을 골라 두 지표에 반영되는 달을 적어본다. 취소나 반품이 뒤늦게 들어왔을 때 어느 기간의 수치가 갱신돼야 하는지도 확인한다. 실제 거래 한 줄을 두 정의에 대입해 보면, 문서에 이름만 적어 두었을 때 놓치기 쉬운 차이가 보인다.
같은 거래가 두 지표에 들어가는 시점
6월 수치를 묻는 사람에게는 그 숫자로 무엇을 결정할지부터 확인한다. 신규 수요를 보려면 계약 기준이 적합하고, 물량 처리 상황이 궁금하면 출하를 본다. 같은 거래 원장에서도 어떤 날짜를 적용하느냐에 따라 월별 그림이 달라진다.
- 지표의 쓰임 지정
- 집계 사건과 기준일 지정
- 거래 원장과 대조
- 정정 책임자 지정
가상 거래 세 건이다. 6월 계약·7월 출하 70, 6월 계약·6월 출하 50, 7월 계약·7월 출하 30을 합산했다.
지표 정의에는 집계 사건, 기준 시각, 취소 처리, 책임자를 붙인다. 7월 출하 70 중 20이 8월에 반품된다면 7월 숫자를 수정할지 8월에 별도로 반영할지도 정한다. AI 답변에는 해당 정의와 조회 기간을 함께 표시해야 독자가 숫자를 재현할 수 있다.