활동량 ≠ 성과
성과 = 결과 개선 × 품질 확보
AI가 답변을 몇 건 만들고, 보고서를 몇 개 작성했는지는 활동이다. 중요한 것은 그 결과 업무시간과 오류, 비용이 실제로 줄었는지다.
결과가 좋아 보여도 담당자의 수정과 재작업이 늘었다면 품질이 확보됐다고 보기 어렵다. 위의 산식은 서로 다른 수치를 실제로 곱한다는 뜻이 아니다. 결과가 개선되고 그 결과를 믿고 사용할 수 있을 때 비로소 성과라고 볼 수 있다는 개념식이다.
유통과 물류 현장에서 숫자를 오래 다루며 비슷한 장면을 자주 봤다.
출고량이 늘어도 미납이 함께 늘 수 있다. 재고금액이 줄어도 잘 팔리는 상품이 부족해진 결과일 수 있다. 작업량이 많아졌다고 해서 오류와 재작업까지 줄었다고 단정할 수도 없다.
숫자는 좋아졌지만 현장은 나아지지 않는 경우가 있기 때문이다.
✓ 활동량은 성과가 아니다
AI 도입 이후 가장 먼저 눈에 들어오는 숫자는 사용 건수다.
챗봇이 답변한 문의 수, AI가 작성한 문서 수, 발주량을 추천한 횟수처럼 AI가 얼마나 많이 사용됐는지를 보여주는 숫자를 활동 지표(Activity Metrics)라고 볼 수 있다.
활동 지표는 도구가 실제로 사용되고 있는지 확인하는 데 필요하다. 어느 부서에서 많이 활용하는지, 현장에서 외면받고 있지는 않은지 살피는 데도 도움이 된다.
그러나 활동 지표는 성과를 증명하지 못한다.
AI가 고객 문의를 많이 처리했더라도 재문의가 늘었다면 상담은 좋아진 것이 아니다. 보고서를 많이 작성했더라도 담당자가 사실관계와 문장을 대부분 다시 고쳐야 한다면 실질적인 시간 절감도 크지 않다.
물류에서도 마찬가지다. AI가 발주를 몇 번 추천했는지보다, 추천 이후 결품과 과잉재고가 실제로 줄었는지가 더 중요하다.
업무가 얼마나 좋아졌는지를 보여주는 숫자가 결과 지표(Outcome Metrics)다.
활동 지표는 AI가 움직였다는 사실을 보여주고, 결과 지표는 업무가 실제로 나아졌는지를 보여준다.
✓ 결과만으로도 부족한 이유
결과 지표가 좋아졌다고 해서 성과가 완성되는 것은 아니다.
예를 들어 AI를 적용한 뒤 보고서 작성시간이 줄었다고 하자. 겉으로는 좋은 결과다. 하지만 오류와 누락이 늘어 담당자가 검토와 수정에 다시 시간을 쓰고 있다면 절감된 시간은 다른 곳에서 되돌아온다.
재고금액이 줄었더라도 결품과 미납이 늘었다면 재고 운영이 좋아졌다고 보기 어렵다. 상담 처리시간이 짧아졌더라도 잘못된 답변과 재문의가 늘었다면 상담 품질은 떨어진 것이다.
그래서 결과 지표와 함께 품질 지표(Quality Metrics)를 봐야 한다.
여기서 품질은 정확도만 뜻하지 않는다.
- 답변과 결과가 맞는지
- 필요한 정보가 빠지지 않았는지
- 같은 기준으로 일관되게 처리되는지
- 사람이 다시 고치지 않고 사용할 수 있는지
이를 확인하는 지표에는 오류율, 누락률, 재작업률, 담당자 수정률, 재문의율 등이 있다.
결과가 좋아지고 품질이 확보될 때 비로소 실질적인 성과가 된다.
✓ 현장에서 본 숫자의 착시
작업장의 생산성을 볼 때도 단순 작업 수량만 확인하면 문제가 생긴다.
하루 제작 수량이 늘었더라도 오조립이나 누락이 많아 다시 작업해야 한다면 실제 생산성은 좋아진 것이 아니다. 출고량이 늘었더라도 납품처에서 오류가 발견돼 반품이나 추가 운송이 발생하면 비용과 시간이 다시 들어간다.
재고도 전체 금액만 보면 문제를 놓치기 쉽다.
전체 재고금액은 줄었지만 판매가 잘되는 상품이 부족해졌을 수 있다. 반대로 총재고는 충분해 보여도 움직이지 않는 상품만 쌓여 있을 수 있다.
내가 현장에서 반복해서 확인한 것도 이 차이였다.
전체 숫자는 괜찮아 보이는데 일부 품목은 계속 부족했고, 다른 품목은 출고되지 않은 채 남아 있었다. 출고 건수만 보면 일이 정상적으로 진행된 것 같지만, 품목별 미납과 재작업을 함께 보면 다른 모습이 보였다.
비슷한 착시는 헬스케어 물류 현장에서도 자주 나타난다. 재고 데이터가 실제 현장과 어떻게 어긋나는지는 헬스케어 물류 혁신 글에서도 다뤘다.
AI 성과를 볼 때도 같은 질문이 필요하다.
이 숫자는 활동을 보여주는가, 결과를 보여주는가.
결과가 좋아진 대신 다른 품질 문제가 생기지는 않았는가.
✓ 업종마다 달라지는 성과 기준
AI 성과는 모든 업무에서 같은 숫자로 판단할 수 없다. 같은 도구를 사용해도 업무의 목적이 다르기 때문이다.
| 업종·업무 | 활동 지표 | 결과 지표 | 품질 지표 |
|---|---|---|---|
| 고객상담 | AI 답변 건수, 자동 처리율 | 처리시간 단축, 고객 만족도 향상 | 오답률, 재문의율, 상담원 수정률 |
| 물류·재고 | 발주 추천 건수, 수요예측 실행 횟수 | 결품률 감소, 과잉재고 감소, 재고회전 개선 | 추천 정확도, 누락률, 담당자 수정률 |
| 제조·품질 | AI 검사 건수, 이상 탐지 건수 | 불량률 감소, 설비 중단시간 감소 | 오탐률, 미탐률, 재작업률 |
| 회계·사무 | 자동 분류 건수, 보고서 생성 수 | 마감기간 단축, 승인시간 단축 | 사실 오류율, 누락률, 재작성률 |
고객상담에서는 답변 건수보다 처리시간과 고객 반응이 중요하다. 제조에서는 검사 건수보다 불량과 설비 중단이 줄었는지를 봐야 한다.
물류에서는 발주 추천 건수보다 결품과 과잉재고가 어떻게 달라졌는지가 중요하다. 동시에 담당자가 AI 추천을 계속 수정하고 있지는 않은지도 확인해야 한다.
활동 지표, 결과 지표, 품질 지표는 서로 다른 질문에 답한다.
- 활동 지표: AI가 얼마나 사용됐는가
- 결과 지표: 업무가 얼마나 좋아졌는가
- 품질 지표: 그 결과를 믿고 사용할 수 있는가
✓ 도입 전에 정할 세 가지
AI 도입 후에 지표를 정하면 좋아 보이는 숫자만 선택하기 쉽다.
사용 건수가 많으면 사용량을 성과처럼 보여주고, 처리시간이 줄면 시간 절감만 강조할 수 있다. 기대했던 결과가 나오지 않은 항목은 보고에서 빠질 가능성도 있다.
그래서 도입 전에 세 가지를 정해야 한다.
첫째, 현재 수준이다.
AI 도입 전 업무시간, 오류율, 재작업률, 결품률 등을 기록해야 한다. 기존 수치가 없으면 도입 이후 무엇이 달라졌는지 비교하기 어렵다.
둘째, 개선할 결과다.
막연히 업무 효율을 높인다고 정하기보다 보고서 작성시간, 결품률, 고객 재문의율처럼 구체적인 결과를 정해야 한다.
셋째, 유지할 품질이다.
시간은 줄이되 오류는 늘지 않아야 한다. 재고는 줄이되 결품이 늘지 않아야 한다. 자동화율은 높이되 담당자의 수정과 재작업이 증가하지 않아야 한다.
| 점검 항목 | 확인 기준 | 실무 포인트 |
|---|---|---|
| □ 현재 수준 | 도입 전 시간·오류·비용 | 비교 기준 기록 |
| □ 결과 목표 | 시간·비용·업무 변화 | 업무 목적과 연결 |
| □ 품질 기준 | 정확도·누락·재작업 | 신뢰성과 실용성 확인 |
| □ 검토 주기 | 주간·월간·분기 | 단기 수치와 추세 구분 |
✓ 결국 성과를 보는 기준
AI 도입 논의에서는 어떤 모델을 사용할지, 어떤 기능을 자동화할지부터 이야기하기 쉽다.
하지만 현장에서 숫자를 오래 다뤄보면 도구보다 질문이 먼저라는 사실을 알게 된다.
출고량이 늘었다고 납품이 좋아진 것은 아니다. 재고가 줄었다고 운영이 건강해진 것도 아니다. 작업 건수가 많다고 생산성이 높아진 것도 아니다.
AI가 많은 일을 했다는 사실과, AI 덕분에 일이 좋아졌다는 사실도 다르다.
돌아보면 내가 현장에서 익힌 것은 복잡한 분석기법보다 숫자를 의심하는 습관에 가까웠다.
이 숫자는 무엇을 보여주는가.
이 숫자가 좋아지면 현장도 실제로 좋아지는가.
그 결과를 믿고 계속 사용할 수 있는가.
AI 시대에도 이 질문은 달라지지 않는다.
활동량은 성과가 아니다. 결과가 개선되고 품질이 확보될 때 비로소 AI 성과가 된다.
English Summary
AI activity does not automatically equal business performance. Activity metrics show how much AI is used, while outcome metrics show whether the work actually improved. Real AI performance appears only when outcomes improve and the results remain accurate, complete, and usable.