사내 문서 검색 AI(RAG), 도입 전에 8가지를 확인하세요
사내 문서 검색 AI(RAG)를 도입하기 전에 문서 범위, 최신본 관리, 파일 형식, 열람 권한, 데이터 처리, 평가 질문, 근거 표시, 운영 담당 8가지를 확인하는 체크리스트예요.
슬러닉 · · 7분 읽기
신입사원이 출장비 규정을 찾느라 공유 드라이브를 한참 뒤지고 있어요. 결국 옆자리 선배에게 물어서 답을 얻었어요. 사내 문서 검색 AI(RAG)는 이런 시간을 줄여 주지만, 도입 전에 문서와 권한부터 확인해야 제대로 작동해요.
RAG는 사내 문서를 찾아 답하는 방식이에요
RAG(Retrieval-Augmented Generation)는 질문이 들어오면 사내 문서에서 관련 부분을 먼저 찾아요. 그다음 찾은 내용을 근거로 AI가 답을 써요. 그래서 일반 AI 채팅보다 우리 회사 기준에 맞는 답을 받을 수 있어요.
일반 AI 채팅은 우리 회사 규정을 모르니 그럴듯한 일반론으로 답해요. RAG는 우리 문서를 먼저 찾기 때문에 "출장비 규정 3장에 따르면"처럼 근거를 댈 수 있어요.
AI를 새로 학습시키지 않아도 된다는 점도 장점이에요. 문서만 바꾸면 답도 바뀌어서 규정이 자주 바뀌는 회사에 잘 맞아요. 새 문서를 넣는 날부터 바로 답에 반영돼요.
다만 RAG의 답은 넣은 문서의 수준을 넘지 못해요. 문서가 흩어져 있거나 낡았으면 AI도 틀린 답을 그럴듯하게 내놓아요. 아래 8가지를 먼저 확인하세요.
문서 준비: 먼저 확인할 3가지
1. 어떤 문서를 넣을지 범위를 정했나요
처음부터 모든 문서를 넣지 마세요. 인사 규정이나 제품 매뉴얼처럼 질문이 많은 영역 하나로 시작하세요. 범위가 좁으면 정답을 모으기 쉽고, 틀린 답의 원인도 빨리 찾을 수 있어요.
2. 최신본이 하나로 관리되나요
"최종", "최종_수정"처럼 버전이 여러 개면 AI가 낡은 문서를 근거로 답할 수 있어요. 넣기 전에 최신본만 남기고 개정일을 적어 두세요. 문서 맨 앞에 시행일과 담당 부서를 적으면 답변에도 함께 보여 줄 수 있어요.
3. AI가 읽을 수 있는 형식인가요
스캔한 PDF, 이미지 속 글자, 복잡한 표는 제대로 읽히지 않을 수 있어요. 자주 찾는 문서부터 텍스트로 바꾸거나 표를 정리하세요. 표가 많은 문서는 표 내용을 문장으로 풀어 쓴 요약본을 함께 넣는 방법도 있어요.
보안·권한: 놓치기 쉬운 2가지
RAG는 흩어진 문서를 한곳에 모으는 만큼, 사고가 나면 영향도 커요. 아래 두 가지는 시작 전에 정하세요.
4. 문서 열람 권한이 반영되나요
모든 직원이 모든 문서를 볼 수 있는 건 아니에요. 인사·급여 문서처럼 권한이 필요한 자료는 AI 답변에서도 권한이 있는 사람에게만 보여야 해요.
문서 저장소에 이미 있는 권한 정보를 그대로 쓰면 관리하기 쉬워요. 권한 반영이 어렵다면 처음엔 전 직원이 볼 수 있는 문서만 넣으세요.
5. 외부 AI로 나가는 데이터를 확인했나요
RAG는 찾은 문서 내용을 AI 모델에 보내 답을 만들어요. 외부 AI 서비스를 쓴다면 데이터가 저장되는지, 학습에 쓰이는지 확인하세요. 사내 입력 기준은 사내 생성형 AI 사용 가이드라인 글을 참고하세요.
운영·평가: 오래 쓰려면 3가지
6. 평가용 질문과 정답을 모았나요
직원이 자주 묻는 질문과 정답을 미리 모으세요. 질문은 "출장 가면 식비는 얼마까지 돼요?"처럼 실제 말투 그대로 모아야 해요. 도입 전후로 같은 질문을 던져 보면 품질을 숫자로 확인할 수 있어요.
7. 근거를 보여 주고 모르면 모른다고 하나요
답변마다 근거 문서와 위치를 함께 보여 주게 하세요. 문서에 없는 내용은 지어내지 않고 "찾지 못했어요"라고 답하게 해야 해요. 근거 위치가 보이면 직원이 원문을 직접 확인할 수 있어서 답을 믿고 쓰기 쉬워져요.
8. 문서를 고치는 담당자가 있나요
규정이 바뀌면 AI에 넣은 문서도 바뀌어야 해요. 문서 담당자와 업데이트 주기를 정해 두세요. 직원이 "답이 틀렸어요"라고 알릴 수 있는 창구를 만들면 고칠 곳을 빨리 찾을 수 있어요.
한눈에 보는 체크리스트
| 영역 | 항목 | 확인 질문 |
|---|---|---|
| 문서 | 범위 | 첫 영역을 하나로 좁혔나요 |
| 문서 | 최신본 | 버전이 하나로 정리됐나요 |
| 문서 | 형식 | 스캔·이미지 문서를 정리했나요 |
| 보안 | 권한 | 열람 권한이 답변에도 반영되나요 |
| 보안 | 데이터 처리 | 외부로 나가는 데이터를 확인했나요 |
| 운영 | 평가 | 질문과 정답 목록이 있나요 |
| 운영 | 근거 표시 | 답변마다 근거 문서를 보여 주나요 |
| 운영 | 담당자 | 업데이트 담당과 주기가 있나요 |
8가지를 모두 갖춘 뒤에 시작할 필요는 없어요. 권한과 데이터 처리는 나중에 바꾸기 어려워요. 그래서 1, 4, 5번은 시작 전에 정하고, 나머지는 PoC(작게 만들어 효과를 확인하는 시험)를 하면서 채워도 돼요.
PoC 기간에는 직원 몇 명에게 먼저 열어 두고 질문 기록을 모으세요. 어떤 질문이 많고 어디서 틀리는지 보이면 다음 범위를 정하기 쉬워요.
RAG를 고객 문의 답변의 근거로 쓰는 방법은 CS 응대 AI 자동화에서 다뤘어요. 슬러닉의 AI 시스템 구축은 과제 정의, 설계, PoC, 구축, 운영 이관 순서로 진행해요.
정리: 핵심 3가지
- RAG의 답은 넣은 문서의 수준을 넘지 못해요. 문서 정리가 먼저예요.
- 열람 권한과 외부로 나가는 데이터는 도입 전에 꼭 확인하세요.
- 평가 질문, 근거 표시, 업데이트 담당자가 있어야 오래 쓸 수 있어요.
우리 회사 문서로 RAG를 시작할 수 있을지 궁금하다면 상담 문의하기로 지금 상황을 알려 주세요.

