AI에게 일을 시켰습니다. 결과도 꽤 좋습니다. 몇 번 반복하다 보면 이런 생각이 들 수 있습니다. “이 정도면 이제 그냥 맡겨도 되지 않을까?”
그런데 최근 OpenAI 수석과학자 야쿱 파초키(Jakub Pachocki)가 쓴 An Alien Mind를 읽으면서 이 질문을 다시 생각하게 됐습니다.
‘낯선 지능’이라는 표현이 뜻하는 것
제목을 직역하면 ‘낯선 지능’ 또는 ‘이질적인 지능’ 정도입니다. 여기서 말하는 뜻은 AI가 외계인처럼 행동한다는 이야기가 아닙니다.
현대 AI는 사람이 모든 행동을 규칙으로 하나씩 설계한 프로그램과는 다릅니다. 대규모 데이터와 학습 과정에서 능력이 형성되고, 그 내부 작동을 연구자들도 완전히 설명하지 못하는 부분이 남아 있습니다.
AI가 잘 작동하는 것과 우리가 그 작동 방식을 충분히 이해하는 것은 같은 말이 아닙니다.
자료를 요약하는 AI와 행동하는 AI는 다릅니다
자료를 요약하고 초안을 만드는 정도라면 틀린 부분을 사람이 다시 고칠 수 있습니다. 영향 범위도 비교적 작습니다.
하지만 AI가 외부 메일을 보내고, ERP 데이터를 바꾸고, 주문을 확정하고, 다음 작업까지 이어서 하게 되면 이야기가 달라집니다.
AI가 무엇을 할 수 있는지만 볼 게 아니라, 틀렸을 때 어디까지 영향을 주는지도 봐야 합니다.
‘잘하는가’와 ‘맡겨도 되는가’는 다른 질문입니다
메일 초안을 잘 쓰는 것과 메일 발송 권한까지 주는 것은 다릅니다. 재고를 잘 분석하는 것과 ERP 수량을 직접 수정하게 하는 것도 다릅니다.
1. 무엇을 맡길 것인가
2. 어디까지 행동할 권한을 줄 것인가
3. 어느 단계에서 사람이 확인할 것인가
사람이 확인할 지점을 먼저 정하는 방법
업무마다 위험도는 다릅니다. 그래서 모든 일을 같은 방식으로 자동화할 필요는 없습니다.
부담이 작은 일은 AI가 초안 작성, 정리, 비교, 형식 변환까지 맡고 사람이 결과를 확인하면 됩니다.
실행 전 확인이 필요한 일은 외부 메일 발송, ERP 수정, 주문 확정처럼 다른 사람이나 시스템에 영향을 주는 업무입니다.
사람이 최종 판단해야 할 일은 계약, 결제, 중요한 거래, 인사처럼 책임이 크고 되돌리기 어려운 업무입니다.
파초키가 더 크게 말하는 것도 결국 ‘통제’입니다
파초키의 글은 회사 업무 자동화보다 훨씬 큰 이야기를 다룹니다. AI가 AI 개발을 더 많이 돕게 되는 상황, 정렬과 모니터링, 방어 체계, 그리고 인간이 미래에 대한 통제권을 유지하는 문제입니다.
그는 현재 어떤 연구소도 정렬과 모니터링 문제를 충분히 해결했다고 보기 어렵다고 말하며, 공통 안전 기준이 마련될 때까지 자발적인 속도 조절과 국제적 조정이 필요하다고 주장합니다.
‘AI가 어느 일을 잘한다’는 사실만으로 권한까지 넓혀도 된다는 뜻은 아닙니다. 능력이 커질수록 위임 범위와 확인 지점을 함께 설계해야 한다는 것이 제가 이 글에서 가져온 실무적 질문입니다.
AI를 잘 쓰는 것보다 어디까지 맡길지가 중요해지고 있습니다
예전에는 “AI가 이것도 할 수 있을까?”를 많이 물었습니다. 이제는 한 가지 질문을 더 붙여야 할 것 같습니다.
“할 수 있다면, 어디까지 맡길 것인가?”
저는 요즘 AI를 잘 쓰는 것보다 어디까지 맡기고, 어디서 사람이 확인할지 정하는 일이 더 중요해지고 있다고 느낍니다.
여러분은 AI 결과를 어디까지 확인하고 쓰시나요?
출처
OpenAI, Jakub Pachocki, “An Alien Mind”, 2026년 9월 6일.