AI 도입했는데 왜 "선배한테 물어봐요"를 반복할까? 업무 AX

#AI도입 #암묵지 #중소기업AI #지식이전

AI 도입했는데
왜 직원들은 아직도 "선배한테 물어봐요"를 반복할까?

2026.05.14 · 중소기업 AX와 암묵지

AI 챗봇을 도입했다. ERP도 업그레이드했다. 사내 업무 자동화 툴도 붙였다. 그런데 현장에서 여전히 들리는 소리는 하나다.

"일단 팀장님한테 여쭤볼게요." "그건 김 과장님이 잘 아세요." "선배한테 물어봐요, 경험이 많으니까."

도대체 왜일까? 수천만 원 들여 AI를 도입했는데, 직원들은 여전히 사람에게 물어보고 있다. 이건 AI가 나쁜 게 아니다. AI에 넣지 않은 것이 있기 때문이다.

AI가 잘하는 것 vs. 선배가 잘하는 것

구분	AI가 처리하는 것	선배에게 묻는 것
지식 유형	매뉴얼, 규정, 공식 프로세스	상황별 판단, 관계 노하우, 예외 처리
대표 예시	"휴가 신청 방법", "발주 절차"	"이 거래처는 조금 다르게 해야 해"
특징	문서화되어 있음 → AI 학습 가능	머릿속에만 있음 → AI에 미입력
해결 가능?	✅ AI 도입으로 해결됨	❌ 암묵지 전환 없이 해결 불가

AI는 '형식지'를 잘 처리한다. 형식지란 문서, 매뉴얼, 데이터처럼 명확하게 기록된 지식이다. 반면 직원들이 선배에게 묻는 이유는 '암묵지' 때문이다. 암묵지는 경험으로 쌓인 판단력, 직관, 관계 기술처럼 언어로 표현하기 어려운 지식이다.

현장에서 벌어지는 3가지 전형적인 장면

장면 #1

신입이 AI에게 물었다 — "이 고객 클레임, 어떻게 처리해요?"

AI는 표준 클레임 처리 절차를 알려줬다. 하지만 이 고객은 3년 전부터 까다로운 컴플레인 이력이 있고, 담당 영업이 특별 관리하는 VIP다. 그 맥락은 AI에 없다.

결국

"그냥 김 과장님한테 여쭤볼게요" → 선배 의존 반복

장면 #2

중간 관리자가 AI에게 물었다 — "이 협력업체 단가, 얼마가 적정해요?"

AI는 시장 평균 단가 범위를 알려줬다. 하지만 이 업체는 품질이 90점짜리인데 가격이 80점이라 오래 써온 거래처고, 대표가 직접 관계 맺은 곳이다. 그 판단 기준은 AI에 없다.

결국

"대표님한테 여쭤봐야겠네요" → 여전히 사람에게 의존

장면 #3

영업팀 신입이 AI에게 물었다 — "이 제안서, 어떤 톤으로 써야 해요?"

AI는 일반적인 제안서 작성법을 알려줬다. 하지만 담당 바이어는 숫자보다 스토리를 좋아하고, 너무 격식체이면 오히려 거리감을 느끼는 스타일이다. 그 인사이트는 AI에 없다.

결국

"선배한테 같이 봐달라고 해야겠다" → 또 선배 의존

문제의 본질 — AI에 넣지 않은 지식이 있다

세 장면의 공통점은 하나다. AI가 모르는 게 아니라, 회사가 AI에게 알려주지 않은 것이다. 선배들 머릿속에만 있는 판단 기준, 거래처별 맥락, 상황별 예외 처리 방식 — 이것이 바로 암묵지다.

🔴 핵심 문제: 대부분의 기업이 AI를 도입할 때 형식지(매뉴얼, 규정)만 넣는다. 직원들이 실제로 궁금해하는 암묵지(판단, 맥락, 예외)는 여전히 선배 머릿속에 있다.

왜 암묵지는 AI에 잘 안 들어가는가?

이유 1

말로 설명하기 어렵다 — 베테랑들은 "그냥 느낌으로 안다"고 말한다. 수십 년 경험에서 나온 직관은 스스로도 언어화하기 어렵기 때문에 문서로 옮기지 못한다.

이유 2

바빠서 정리할 시간이 없다 — 가장 많이 아는 사람이 가장 바쁘다. 암묵지를 언어화하고 정리하는 작업은 중요하지만 당장 급하지 않아서 미뤄진다.

이유 3

AI 도입 담당자가 현업을 모른다 — IT 부서나 외부 컨설턴트가 AI를 도입할 때, 현업의 암묵지를 발굴하고 연동하는 과정은 생략되는 경우가 많다.

이유 4

암묵지의 가치를 과소평가한다 — "그 정도는 다들 알겠지"라고 생각하지만, 실제로 신입이나 다른 부서는 전혀 모르는 경우가 대부분이다.

해결책 — 암묵지를 먼저 꺼낸 다음 AI에 넣어야 한다

✅ 올바른 순서: AI 도입 → 형식지 학습 → 암묵지 발굴 (인터뷰 + 사례 수집) → AI 연동
이 순서를 지켜야 직원들이 AI를 믿고 사용하게 된다.

단계 1

암묵지 인터뷰 — 핵심 인력과 1:1 인터뷰를 진행한다. "이 상황에서는 어떻게 판단하세요?", "예외적으로 처리한 케이스가 있나요?" 형식으로 질문해 머릿속 지식을 꺼낸다.

단계 2

사례 문서화 — 인터뷰에서 나온 내용을 '사례 카드' 형식으로 정리한다. 상황 → 판단 기준 → 결과 순으로 기록하면 AI가 이해하기 쉬운 형태가 된다.

단계 3

AI 프롬프트 또는 지식 베이스 반영 — 정리된 암묵지를 AI의 사전 지식으로 입력하거나, 사내 RAG(검색 증강 생성) 시스템에 연동한다.

단계 4

반복 개선 — 직원들이 AI에게 묻고 만족스럽지 않은 답변이 나올 때마다 해당 암묵지를 추가로 발굴해 보완한다.

⚠️ 주의: 암묵지 발굴 없이 AI만 도입하면, 직원들은 1~2번 사용해보다가 "이거 별로야"라고 낙인찍고 다시 선배에게 돌아간다. AI 도입 실패의 가장 흔한 패턴이다.

우리 회사 암묵지 현황 자가 진단

📋 아래 항목 중 해당되는 게 있다면, 암묵지 전환이 시급합니다

✔ 특정 직원이 자리를 비우면 업무가 멈추거나 느려진다

✔ 신입이 AI나 매뉴얼 대신 선배에게 물어보는 게 일상이다

✔ AI를 도입했지만 실제로 쓰는 직원이 소수다

✔ "그건 경험해봐야 알아"라는 말이 자주 나온다

✔ 핵심 인력이 퇴사하면 업무 인수인계에 3개월 이상 걸린다

❌ 암묵지 전환 없이 AI 도입

직원들이 AI를 불신하고, 결국 선배 의존 구조가 유지된다. AI 도입 비용만 낭비되고 조직은 변하지 않는다.

✅ 암묵지 전환 후 AI 도입

직원들이 AI를 신뢰하고 적극 활용한다. 선배 의존이 줄고 업무 효율이 올라가며 조직 지식이 자산으로 축적된다.

📚 크몽 전자책

📘 중소기업 AX와 암묵지 — 전자책

암묵지 발굴 인터뷰 방법부터 AI 연동 전략까지
실무에서 바로 쓸 수 있는 단계별 가이드

📖 지금 바로 보기 →

자주 묻는 질문

Q. AI를 도입했는데도 직원들이 선배한테 물어보는 이유가 뭔가요?

AI는 매뉴얼, 규정, 공식 프로세스 같은 '형식지'를 처리합니다. 하지만 선배에게 묻는 이유는 '이 상황에서는 이렇게 해야 해', '이 거래처는 좀 다르게 접근해야 해' 같은 암묵지 때문입니다. 이 암묵지가 AI에 입력되지 않으면 아무리 좋은 AI를 도입해도 직원들은 결국 선배에게 물을 수밖에 없습니다.

Q. 암묵지를 AI에 입력하려면 어떻게 해야 하나요?

암묵지를 AI에 연동하려면 먼저 '언어화' 과정이 필요합니다. 베테랑 직원과의 인터뷰, 업무 관찰, 사례 수집을 통해 말로 설명하기 어려운 노하우를 텍스트로 변환합니다. 그다음 이 내용을 AI 프롬프트나 사내 지식 베이스에 반영하면 AI가 암묵지 기반 답변을 줄 수 있게 됩니다.

Q. 중소기업에서 암묵지 전환이 특히 중요한 이유는 무엇인가요?

중소기업은 핵심 인력 1~2명에게 업무 노하우가 집중되는 경향이 있습니다. 대기업처럼 체계적인 교육 시스템이나 방대한 문서 자산이 없기 때문에, 그 사람이 자리를 비우거나 퇴사하면 조직 전체가 흔들립니다. 암묵지를 조기에 전환해 두는 것이 조직 리스크를 줄이는 가장 효과적인 방법입니다.