생성형 AI 도입이 ‘한번 써보자’는 실험 단계에서 ‘전사 표준 인프라’ 단계로 넘어가고 있습니다. 국내 대기업 개발·제조 부문이 챗GPT(ChatGPT), 제미나이(Gemini), 클로드(Claude)를 동시에 표준 도구로 올리고, 글로벌 제약사가 신약 개발 파이프라인에 AI를 붙이는 흐름이 그 신호입니다. 그런데 같은 시기에, 사용량 통제 없이 전사에 문을 열었다가 예상을 크게 벗어난 API 청구서를 받았다는 기업 사례도 나옵니다. 이 글은 도입 사례와 리스크 보도를 교차해, ‘어떤 조건에서 어떻게 도입해야 하는가’를 도구 소개가 아니라 의사결정 기준으로 정리합니다. 결론부터 말하면 승부처는 ‘어떤 모델을 샀느냐’가 아니라 ‘라우팅·한도·검증·운영을 설계했느냐’입니다.
왜 ‘최고 모델 하나’가 아니라 멀티모델인가
최근 도입의 공통 패턴은 하나만 고르지 않는다는 점입니다. 이유는 모델마다 잘하는 구간이 다르기 때문입니다. 통상 긴 문서 요약·코드 리뷰·논리적 초안에서는 클로드 계열이, 웹 검색·멀티모달 연동에서는 제미나이가, 범용 대화·플러그인 생태계에서는 챗GPT가 서로 다르게 평가됩니다. 문제는 벤치마크 1등이 분기마다 바뀐다는 것이고, 조직 전체를 한 모델에 묶으면 그 모델의 가격 인상·정책 변경·서비스 중단에 그대로 노출되는 ‘벤더 종속(lock-in)’이 생깁니다. 실제로 주요 모델은 몇 달 단위로 버전과 가격표가 바뀌므로, ‘지금 가장 좋은 것’에 조직을 고정하는 것 자체가 리스크입니다.
그래서 멀티모델은 ‘여러 개를 쓴다’가 아니라 ‘갈아탈 수 있게 만든다’로 이해해야 합니다. 실행은 두 가지입니다. 첫째, 업무 유형별 라우팅 기준을 문서로 못 박습니다(예: 대외비 코드는 사내 격리·온프레미스형, 외부 공개용 초안은 범용 모델, 대량 반복 분류는 경량 모델). 둘째, 프롬프트와 사내 지식 연결을 특정 벤더 전용 기능에 과도하게 맞추지 않습니다. 흔한 함정은 한 벤더의 전용 에이전트·플러그인에 워크플로를 깊게 심어 두는 것인데, 그러면 6개월 뒤 더 싸고 좋은 모델이 나와도 이전 비용이 커서 못 옮깁니다. 반대로 흔한 오해는 ‘여러 개 쓰면 관리만 복잡해진다’인데, 초기 관리 비용은 늘어도 계약 협상력과 장애 대응력이 함께 올라갑니다.
산업별로 기대효과와 성과지표가 갈린다
AI가 무엇을 해주길 바라는지는 산업·부서마다 완전히 다르고, 여기서 성과지표(KPI)도 달라져야 합니다. 공공·교육·행정처럼 정형 문서가 많은 영역은 1차 목표가 ‘행정업무 자동화’입니다. 공문 초안, 보고서 골격, 데이터 정리처럼 형식이 반복되는 작업이 대상이며, 실무 연수가 잇따라 열리는 것도 도구보다 ‘반복 업무를 프롬프트로 바꾸는 법’ 수요가 크다는 뜻입니다. 이 영역의 지표는 명확히 ‘시간’입니다. 표준 문서 1건 초안을 30~40분에서 5~10분으로 줄였는지, 담당자가 검토·수정에만 집중하게 됐는지를 숫자로 재야 합니다.
반면 제약·바이오 같은 연구개발 중심 산업은 목표가 ‘속도’가 아니라 ‘판단 보조’입니다. 방대한 논문·실험 데이터·규제 문서를 요약·연결해 연구자의 결정을 앞당기는 것이 핵심인데, 여기서 결과물을 그대로 믿으면 사고가 납니다. 생성형 AI는 그럴듯하지만 틀린 내용을 지어내는 ‘환각(hallucination)’ 위험이 있고, 규제 산업에서는 근거 출처 추적과 사람의 검증이 통과 조건입니다. 따라서 이 영역의 지표는 ‘얼마나 빨랐나’가 아니라 ‘출처가 붙은 검증 가능한 초안을 얼마나 냈나’여야 합니다. 사무 영역의 속도 지표를 연구 영역에 그대로 적용하는 것이 도입 초기 조직의 대표적 실수이며, 반대로 연구용 검증 절차를 단순 문서 작업에까지 강요하면 자동화 효과가 사라집니다.
도입 후 진짜 폭탄은 ‘비용’: 토큰 과금의 원리
가장 실질적인 함정은 비용입니다. 사용 제한 없이 전사에 개방했다가 한 달 만에 예상 밖 청구서를 받았다는 보도가 나오는데, 구체적 금액은 보도마다 편차가 크므로 액수 자체보다 ‘왜 그런 일이 벌어지는가’를 이해하는 편이 낫습니다. 핵심은 API 비용이 처리한 텍스트 양(토큰)에 ‘쓴 만큼’ 붙는다는 구조입니다. 긴 문서를 통째로 넣으면 입력 토큰이, 답변이 길어지면 출력 토큰이 늘고, 자동화 스크립트가 같은 호출을 반복하면 비용은 선형이 아니라 곱셈으로 튑니다. 특히 대화 맥락을 매번 통째로 다시 보내는 방식이면, 대화가 길어질수록 회당 비용이 계속 커지는데 이걸 모르는 조직이 많습니다.
비용은 도입 전에 최소 세 가지를 설계하면 통제됩니다. 첫째, 사용자·부서·프로젝트별 한도(quota)와 예산 초과 알림을 먼저 겁니다. 무제한 개방은 사고의 시작이고, 한도가 있어야 이상 급증을 그날 안에 잡습니다. 둘째, 작업 난이도로 모델을 나눕니다. 단순 분류·요약은 경량·저가 모델, 복잡한 추론만 고가 모델로 보내는 ‘다운시프트’는 그 자체로 비용을 몇 배 단위로 줄입니다(경량 모델과 최상위 모델의 단가 차이가 통상 수 배~십수 배에 달하기 때문입니다). 셋째, 반복되는 고정 맥락은 프롬프트 캐싱으로 재사용하고, 불필요하게 긴 입력은 전처리로 잘라냅니다. 흔한 오해는 ‘정액 구독이면 안전하다’는 것인데, 개인용 구독과 달리 전사 자동화는 대부분 사용량 기반 과금이라 통제 장치가 없으면 정액의 안전망 자체가 없습니다.
보안·책임·운영: 도입 전 못 박아야 할 것
비용 다음 축은 보안과 책임 소재입니다. 가장 먼저 정할 것은 ‘무엇을 입력해도 되는가’입니다. 고객 개인정보, 미공개 재무·기술 자료를 외부 API에 그대로 넣으면 유출과 계약 위반 위험이 생깁니다. 따라서 데이터를 등급으로 나누고(공개/사내/기밀), 민감 데이터는 ‘입력값을 학습에 쓰지 않는다’고 명시한 기업용(엔터프라이즈) 요금제나 사내 격리 환경에서만 처리되도록 경로를 분리해야 합니다. 여기에 더해, AI가 만든 결과의 오류에 대한 최종 책임은 사람에게 있다는 원칙을 정책으로 명문화해야 합니다. 이 한 줄이 없으면 ‘검증 없이 붙여넣기’ 관행을 막을 근거가 사라집니다.
마지막으로 도입은 ‘켜면 끝’이 아니라 지속 운영입니다. 모델은 수시로 버전이 바뀌어 어제 잘 돌던 프롬프트가 업데이트 뒤 다르게 반응할 수 있으므로, 자주 쓰는 프롬프트를 코드처럼 버전·이력으로 관리하고 결과 품질을 정기 점검하는 담당자와 절차가 있어야 합니다. 도구를 넣고도 성과가 안 나는 조직의 공통점은 계정만 나눠주고 ‘무엇을 어떻게 시킬지’에 대한 교육과 업무 재설계를 건너뛴다는 것입니다. 6개월~2년 관점에서 실제 격차를 만드는 것은 모델 선택이 아니라, 업무 프로세스를 AI에 맞게 다시 짜고 사람의 검증·활용 역량을 함께 끌어올렸는지입니다. 도입 성패는 기술이 아니라 운영에서 갈립니다.
자주 묻는 질문
개인용 클로드나 챗GPT 무료·구독 버전을 회사 업무에 그대로 써도 되나요?
권장되지 않습니다. 개인용 서비스는 입력 데이터 처리 방식에 대한 기업용 보호 조건이 약해, 고객정보나 미공개 자료를 넣으면 유출·계약 위반 위험이 생깁니다. 업무 도입 시에는 ‘입력값을 학습에 쓰지 않는다’고 명시한 기업용 요금제나 관리 계정을 통해 데이터 등급·사용 범위·한도를 통제하는 것이 원칙입니다.
전사 도입 시 API 비용이 갑자기 폭증하는 걸 막으려면 뭘 먼저 해야 하나요?
가장 먼저 부서·사용자별 사용 한도(quota)와 예산 초과 알림을 걸어 무제한 개방을 막는 것입니다. 이어서 단순 작업은 경량·저가 모델로, 복잡한 추론만 고가 모델로 분리(다운시프트)하고, 반복되는 고정 맥락은 프롬프트 캐싱으로 재사용하며 긴 입력은 전처리로 잘라내면 비용이 크게 줄어듭니다. 비용이 토큰 사용량에 곱셈으로 붙는다는 구조를 먼저 이해하는 것이 핵심입니다.
여러 AI를 동시에 도입하면 관리만 복잡해지는 것 아닌가요?
초기 관리 비용은 늘지만, 특정 벤더의 가격 인상·정책 변경·장애에 조직 전체가 묶이는 종속 위험을 줄여 협상력과 대응력을 확보합니다. 핵심은 업무 유형별로 기본 모델을 정하는 라우팅 기준을 문서화하고, 특정 벤더 전용 기능에 워크플로를 과하게 심지 않아 나중에 갈아탈 수 있게 설계하는 것입니다.
AI 도구를 도입했는데 왜 성과가 안 날까요?
계정만 나눠주고 업무 재설계와 교육을 생략했기 때문일 가능성이 큽니다. 반복 업무를 프롬프트로 전환하는 법, 결과를 검증하는 절차, 자주 쓰는 프롬프트를 버전으로 관리하는 운영 체계가 없으면 도구는 방치됩니다. 성과는 모델 성능보다 프로세스와 사람 역량의 재설계에서 나옵니다.