AI를 붙이기 전에 매출이 몇 개인지부터 세어야 합니다
AI를 업무에 붙이자는 이야기는 보통 이런 그림에서 시작합니다.
"원장님이 그냥 물어보면 되는 겁니다. '이번 달 실매출 얼마야?' 하면 AI가 답하는 거죠."
기술적으로는 지금 당장 됩니다. 어렵지 않습니다. 문제는 그 다음입니다. AI는 답을 합니다. 항상 합니다.
AI는 정의를 되묻지 않습니다#
전에 한 의원에서 경영 요약 화면의 증감률이 원장님이 아는 숫자와 안 맞은 적이 있습니다. 원인은 계산 오류가 아니었습니다. 같은 카드 안에 장부가 두 개 있었습니다 (병원 매출 증감률이 원장님이 아는 숫자와 다른 이유).
'매출'이라는 한 단어에 실제로는 여섯 개쯤 되는 숫자가 들어 있었고, 화면마다 그중 다른 걸 쓰고 있었던 겁니다.
이 상태에서 "이번 달 실매출 얼마야?"를 사람에게 물으면 이렇게 됩니다.
"어떤 기준으로요? 결제 기준이요, 진료 기준이요? 선납권은 넣습니까?"
되물어 옵니다. 이 되묻기가 안전장치입니다. AI는 안 되묻습니다. 여섯 개 중 하나를 골라서 답합니다. 그리고 왜 그걸 골랐는지 말하지 않습니다.
틀린 답이 더 그럴듯해집니다#
사람이 잘못 집계하면 대개 티가 납니다. 자릿수가 이상하거나, 말하는 사람이 자신 없어 하거나, 근거를 못 댑니다.
AI가 잘못 집계하면 그런 신호가 없습니다. 문장이 매끄럽고, 단위가 붙어 있고, 근거처럼 보이는 설명이 따라옵니다.
검증 비용이 줄어드는 게 아니라 오히려 올라갑니다. 매끄러운 답 열 개 중 어느 게 틀렸는지 골라내는 일은, 애초에 직접 계산하는 것보다 오래 걸리는 경우가 많습니다.
정의가 흔들리는 데이터 위에 AI를 얹으면, 틀린 답이 더 빠르고 더 많이, 더 확신 있게 나옵니다.
규칙으로 되는 건 규칙으로 두십시오#
'AI로 하자'는 말이 나오는 일 중 상당수는 사실 AI가 필요 없습니다. 정형화된 집계, 조건 분기, 정해진 양식 채우기는 규칙(자동화)의 영역입니다. 규칙은 같은 입력에 같은 답을 내고, 틀렸을 때 어디가 틀렸는지 짚을 수 있습니다.
AI가 실제로 값을 하는 건 규칙으로 안 써지는 쪽입니다.
- 상담 메모처럼 사람이 자유롭게 쓴 글을 요약하거나 분류하기
- 문의 내용을 읽고 어느 담당에게 보낼지 나누기
- 같은 뜻인데 다르게 적힌 표현들을 하나로 묶기
이 일들의 공통점은, 틀려도 사람이 바로 알아볼 수 있다는 것입니다. 요약이 이상하면 원문을 보면 됩니다. 분류가 틀리면 옮기면 됩니다.
반대로 금액 집계는 틀려도 알아볼 수가 없습니다. 숫자는 그냥 숫자로 보입니다. 그래서 집계는 규칙에, 해석은 AI에 두는 편이 안전합니다.
붙이기 전에 채우는 표#
AI 도입을 검토 중이라면, 도구를 고르기 전에 이 표부터 채워보시길 권합니다. 칸이 안 채워지는 용어가 나오면, 거기가 AI를 붙이면 안 되는 자리입니다.
| 용어 | 한 줄 정의 | 계산식 | 정한 사람 |
|---|---|---|---|
| 실매출 | 무엇을 더하고 무엇을 빼는가, 환불은 언제 반영하는가 | ||
| 신환 | 어느 시점부터 신환인가, 재방문은 며칠까지인가 | ||
| 리드 | 어디까지가 유효한 문의인가, 중복은 어떻게 세는가 |
'정한 사람' 칸이 비어 있으면 그 정의는 정해진 게 아니라 관행입니다. 관행은 화면마다 다르게 굳습니다.
이번 주에 확인해 보십시오#
- 지금 쓰는 시스템에서 '매출'이 표시되는 화면이 몇 개입니까? 그 화면들이 같은 계산식을 씁니까?
- 우리 조직에서 '신환'의 정의를 한 문장으로 적을 수 있는 사람이 있습니까?
- AI로 하려는 일이 정형 집계입니까, 아니면 사람이 쓴 글을 다루는 일입니까? 앞쪽이면 규칙으로 먼저 만들어 보십시오.
- AI가 낸 답이 틀렸을 때, 틀렸다는 걸 알아볼 방법이 있습니까?
4번에 답이 없으면 아직 붙일 때가 아닙니다. AI 도입에서 제일 먼저 준비돼야 하는 건 모델이 아니라 채점 방법입니다.
채점 방법을 먼저 만듭니다#
채점 방법은 거창한 게 아닙니다. 실제 사례 20~30건과, 사람이 매긴 정답입니다. 반나절이면 만들어집니다.
- 지난 한 달에서 실제 입력 20건을 뽑습니다. 지어낸 예시 말고 진짜 들어온 것으로. 깔끔한 것만 고르지 말고 이상한 건, 애매한 건을 일부러 섞습니다. 거기서 갈리기 때문입니다.
- 두 사람이 각자 정답을 답니다. 서로 안 보고, 같은 20건에.
- 둘의 답을 맞춰봅니다. 여기가 핵심입니다. 갈리는 건이 나오면 그건 AI 문제가 아니라 정의가 없다는 뜻입니다. 사람 둘이 못 맞추는 걸 모델이 맞출 리 없습니다. 그 자리를 먼저 정하십시오.
- 합의된 20건을 파일로 저장합니다. 이게 채점표입니다.
- 도구를 붙인 뒤 같은 20건을 매주 다시 돌립니다. 몇 개 맞는지 세기만 하면 됩니다.
20건이 적어 보이지만, 20건에서 4개를 틀리면 실제 업무에서도 그쯤 틀립니다. 숫자의 정밀도가 중요한 게 아닙니다. 틀린다는 걸 아는 것과 모르는 것의 차이가 큽니다.
그리고 이 작업의 부수 효과가 더 클 때가 많습니다. 3번에서 갈렸던 항목들을 정리하고 나면 AI를 안 붙여도 그 업무가 정리됩니다. 실제로 여기서 멈추고, 규칙 몇 줄로 끝나는 경우가 꽤 있습니다. 그래도 손해가 아닙니다. 정의는 남고, 정의가 남으면 나중에 무엇을 붙여도 채점이 됩니다.