우리 회사 (기업전용) AI 챗봇 만들기 전에 준비해야 할 것 5가지

#사내AI챗봇 #챗봇준비 #중소기업AX #지식베이스

우리 회사 AI 챗봇 만들기 전에
준비해야 할 것 5가지

2026.05.14 · 중소기업 AX와 암묵지

중소기업 AX의 첫 번째 프로젝트로 사내 AI 챗봇을 선택하는 경우가 많다. "우리 회사 업무를 다 아는 챗봇" — 매력적인 아이디어다. 직원들이 뭔가 모를 때 챗봇에게 물어보면 되고, 신입 교육도 쉬워지고, 선배 의존도 줄어든다.

그런데 막상 만들어보면 "이게 맞아요?" 소리만 나오는 챗봇이 되는 경우가 태반이다. 이유는 하나다. 준비 없이 만들었기 때문이다.

🔴 준비 없이 챗봇을 만들면: 일반적인 AI 답변만 나오고 → 직원들이 "ChatGPT랑 다를 게 없네"라고 하며 → 2주 안에 사용 포기 → 챗봇 구축 비용 낭비

챗봇 구축 전 반드시 해야 할 준비 5가지

준비 1

❓ 챗봇이 답해야 할 질문 Top 30 수집

챗봇을 만들기 전, 먼저 "직원들이 가장 많이 하는 질문이 무엇인가"를 파악한다. 이것 없이 챗봇을 만들면 정작 직원들이 필요한 답은 없는 챗봇이 된다.

수집 방법:
• 각 팀장에게 "신입이 자주 묻는 질문 10개"를 요청한다
• 그룹웨어·메신저에서 "~어떻게 해요?", "~어디에 있어요?" 검색
• CS팀이라면 최근 3개월 문의 로그 분석
• 전체 직원 대상 5분 설문: "업무 중 가장 답답했던 순간은?"

수집된 질문을 유형별로 분류하면 챗봇이 집중해야 할 영역이 보인다.

💡 팁: 질문이 많이 겹치는 영역 = 챗봇이 가장 효과를 낼 수 있는 곳

준비 2

📚 지식 소스 목록화 및 최신화

챗봇은 "배운 것"만 답할 수 있다. 챗봇이 참고할 지식 소스를 목록화하고, 낡거나 틀린 내용을 미리 정비한다. 잘못된 문서를 학습시키면 챗봇이 잘못된 답을 자신 있게 말하는 최악의 상황이 생긴다.

점검할 지식 소스:
• 업무 매뉴얼·SOP (최종 업데이트 날짜 확인)
• 사규·취업규칙·복리후생 안내
• 제품·서비스 스펙, 가격 정보
• 자주 쓰는 계약서·양식 해설
• 과거 Q&A 게시판, 교육 자료

원칙: 2년 이상 업데이트되지 않은 문서는 챗봇 학습 전 반드시 검토한다.

💡 팁: 문서 정비가 귀찮아서 미루면 챗봇이 구식 답변을 할 수 있다 — 오히려 해가 된다

준비 3

🧠 핵심 암묵지 텍스트화

챗봇이 직원들의 신뢰를 얻으려면 "문서에도 없는 실용적인 답"을 줄 수 있어야 한다. 이것이 바로 암묵지를 챗봇에 연결하는 핵심이다.

실전 방법 — 암묵지 사례 카드 작성:
[상황] 고객이 납기 단축을 요청할 때
[일반 원칙] 생산 스케줄 확인 후 가능 여부 판단
[실제 판단 기준] A라인은 2일 앞당기기 가능, B라인은 불가. 단, 주말 특근 가능 시 예외 적용
[주의 사항] VIP 고객(코드: S등급)은 대표 보고 후 결정

이런 형식의 사례 카드를 핵심 업무별로 20~50개 만들면 챗봇이 현업에 맞는 답을 줄 수 있다.

💡 팁: 사례 카드는 베테랑 직원 인터뷰로 만든다. 1명당 5~10개 카드가 목표

준비 4

🚧 챗봇 범위와 "모르면 모른다"고 하는 설계

챗봇이 가장 신뢰를 잃는 순간은 모르는 걸 아는 척 답할 때다. 처음부터 챗봇이 답할 수 있는 범위와 없는 범위를 명확히 설계해야 한다.

범위 설계 원칙:
• 챗봇이 자신 있게 답할 수 있는 영역 → 명확히 학습
• 불확실하거나 최신 정보가 필요한 질문 → "담당자에게 확인하세요" 안내
• 개인정보·보안·법률 관련 → 챗봇 범위에서 제외
• 정책 결정이 필요한 질문 → 상위 결재자에게 에스컬레이션

"저는 이 질문에 대해서는 정확한 답변을 드리기 어렵습니다. ○○팀 담당자에게 문의해 주세요."라고 말하는 챗봇이 오히려 신뢰받는다.

💡 팁: 범위 밖 질문은 챗봇이 학습 기회로 기록해 두면, 다음 버전 개선에 활용할 수 있다

준비 5

📊 성공 기준과 피드백 루프 설계

챗봇은 만들면 끝이 아니다. 지속적으로 개선해야 유용한 도구가 된다. 처음부터 무엇을 기준으로 성공을 측정할지와 어떻게 피드백을 받고 개선할지를 설계한다.

측정 지표 예시:
• 주간 챗봇 사용 횟수
• 만족 답변 비율 (👍/👎 버튼)
• "담당자에게 연결"로 에스컬레이션된 비율
• 특정 질문 유형별 정확도

피드백 루프: 직원이 "이 답은 틀렸어요"라고 표시하면 해당 내용을 암묵지 카드로 추가해 챗봇을 개선한다. 이 루프가 돌아야 챗봇이 점점 우리 회사에 맞게 성장한다.

💡 팁: 초기 3개월은 매주 피드백을 검토하고 개선한다. 이 작업이 AX의 핵심이다

챗봇 구축 전 최종 체크리스트

📋 5가지 준비가 모두 됐는지 확인하세요

✔ 직원들이 가장 많이 하는 질문 30개 이상을 수집했는가?

✔ 챗봇이 참고할 문서가 최신 상태로 정비되어 있는가?

✔ 암묵지 사례 카드가 최소 20개 이상 준비되어 있는가?

✔ 챗봇이 답할 수 있는 것과 없는 것의 범위가 정의되어 있는가?

✔ 챗봇 성과를 측정하고 개선할 담당자와 주기가 정해졌는가?

✅ 결론: 사내 AI 챗봇은 "만드는 것"이 아니라 "키우는 것"이다. 위 5가지 준비가 된 상태에서 시작해야 직원들이 신뢰하고 계속 사용하는 챗봇이 된다.

📚 크몽 전자책

📘 중소기업 AX와 암묵지 — 전자책

암묵지 사례 카드 템플릿, 챗봇 설계 가이드 수록
사내 AI 챗봇 구축부터 운영까지 실전 로드맵

📖 지금 바로 보기 →

자주 묻는 질문

Q. 사내 AI 챗봇을 만들 때 가장 중요한 준비는 무엇인가요?

챗봇이 답해야 할 질문 목록을 먼저 정의하는 것이 가장 중요합니다. '챗봇이 무엇을 알아야 하는가'를 명확히 해야 그에 맞는 지식 소스를 준비하고 암묵지를 언어화할 수 있습니다. 질문 목록 없이 챗봇을 만들면 모든 것을 아는 것처럼 설계하다가 아무것도 제대로 못 하는 챗봇이 됩니다.

Q. RAG 챗봇과 일반 ChatGPT의 차이는 무엇인가요?

일반 ChatGPT는 공개된 인터넷 데이터로 학습되어 일반적인 답변을 줍니다. RAG(Retrieval Augmented Generation) 챗봇은 우리 회사의 내부 문서·지식 베이스를 실시간으로 검색해 회사 맥락에 맞는 답변을 생성합니다. 사내 업무용 챗봇은 RAG 방식으로 구축해야 실질적으로 유용합니다.

Q. 챗봇 구축 비용은 얼마나 드나요?

구축 방식에 따라 천차만별입니다. 노코드 SaaS 도구(Notion AI, Chatbase 등)를 활용하면 월 수십만 원으로 시작 가능합니다. 자체 RAG 시스템 구축은 초기 개발비 500~2,000만 원에 운영비가 추가됩니다. 중소기업은 SaaS로 먼저 파일럿을 진행하고, 성과가 나오면 자체 구축으로 전환하는 것을 권장합니다.