연봉 5억 직함은 왜 2년 만에 저물었나
2023년, 미국 AI 기업 앤트로픽(Anthropic)이 ‘프롬프트 엔지니어 겸 라이브러리언’ 직무에 최대 37만 5천 달러(약 5억 원)를 제시한 채용 공고는 이 직함의 전성기를 상징했다. 코딩을 몰라도 AI에게 말 거는 요령만 익히면 고연봉이 열린다는 기대가 학원 강좌와 유료 프롬프트 마켓으로 번졌다. 그러나 2026년 IT 인재 수요를 다룬 기술 매체들의 정리에서 ‘프롬프트 엔지니어’는 더 이상 독립된 최상위 수요 직군으로 잡히지 않는다. 채용 시장의 관심은 AI 엔지니어, ML 옵스, 데이터 파이프라인 쪽으로 옮겨갔다.
오해하기 쉬운 지점은 ‘프롬프트를 잘 쓰는 능력이 필요 없어졌다’는 해석인데, 사실은 정반대다. 그 능력이 사라진 게 아니라 별도 직함으로 분리할 만큼 희소하지 않게 됐다. 표 계산을 잘한다고 ‘엑셀 엔지니어’ 직함을 따로 두지 않듯, 프롬프트 작성은 개발자·기획자·마케터 누구나 갖춰야 할 기본기로 흡수됐다. 기술적 배경도 있다. 초기 모델은 ‘단계별로 생각하라(Let’s think step by step)’는 문구 하나로 수학 문제 정답률이 크게 뛸 만큼 표현에 민감했지만, 추론 과정을 모델 내부에 내장한 세대가 등장하면서 문장을 다듬어 얻는 이득의 폭이 눈에 띄게 줄었다. 즉 ‘문구 튜닝’의 한계 효용이 떨어진 것이다.
프롬프트에서 컨텍스트로: 무게중심의 이동
2025년 이후 AI 개발자 사이에서 자리 잡은 개념이 ‘컨텍스트 엔지니어링’이다. 오픈AI 출신 연구자 안드레이 카파시(Andrej Karpathy)가 “대부분의 실전 문제는 프롬프트가 아니라 컨텍스트를 채우는 일”이라는 취지로 이 용어를 퍼뜨린 것이 분기점이 됐다. 차이는 명확하다. 프롬프트 엔지니어링이 ‘한 번의 질문을 어떻게 잘 쓸까’라면, 컨텍스트 엔지니어링은 ‘모델이 답을 만드는 데 필요한 정보 전체를 어떻게 조립해 넣을까’를 다룬다. 여기에는 질문 문장뿐 아니라 검색으로 끌어온 문서(RAG, 검색증강생성), 이전 대화 이력, 사용자 프로필, 도구 실행 결과, 시스템 규칙이 모두 들어간다. 답의 품질을 좌우하는 변수가 ‘문장 한 줄’에서 ‘입력 컨텍스트 전체의 선별과 배치’로 넓어진 셈이다.
이 차이는 실무에서 구체적 판단으로 드러난다. 대표적 함정이 ‘컨텍스트 창(context window)이 크니 관련 문서를 왕창 넣으면 된다’는 발상이다. 스탠퍼드 연구진의 ‘Lost in the Middle'(2023) 실험은 모델이 입력의 맨 앞과 맨 뒤 정보는 잘 활용하지만 가운데에 묻힌 정보는 놓치는 경향을 보여줬다. 창이 128K든 100만 토큰이든, 무관한 문서를 함께 넣으면 정확도는 떨어지고 토큰 비용만 늘어난다. 그래서 컨텍스트 엔지니어링의 실체는 세 가지 관리다. ① 무엇을 넣고 뺄지 고르는 검색 품질, ② 한정된 토큰 예산 안에서 근거를 앞뒤 핵심 자리에 배치하는 순서, ③ 길어진 대화를 요약·압축하는 방식. 체크포인트로 바꾸면, 답이 틀렸을 때 프롬프트 문구부터 손대는 습관을 버리고 ‘필요한 근거가 실제로 컨텍스트에 들어갔는가’를 먼저 확인하는 순서가 기본기다.
에이전트 확산이 이 흐름을 되돌릴 수 없게 만든다
컨텍스트 엔지니어링이 한철 유행이 아니라 구조적 변화인 이유는 ‘AI 에이전트’의 확산에 있다. 한 번 묻고 한 번 답하는 챗봇과 달리, 에이전트는 여러 단계에 걸쳐 도구를 호출하고 중간 결과를 다시 입력으로 삼아 작업을 이어간다. 검색→코드 실행→결과 확인→재시도처럼 단계가 5~10회로 늘면, 매 단계의 출력이 다음 단계의 컨텍스트로 쌓인다. 이때 컨텍스트를 관리하지 못하면 앞 단계의 사소한 오류가 뒤로 누적되고, 대화가 길어질수록 모델이 초기 지시를 잊거나 엉뚱한 경로로 새는 ‘컨텍스트 부패(context rot)’가 나타난다. 사람이 프롬프트를 다듬는 것보다, 시스템이 매 턴 컨텍스트를 정리·압축하는 설계가 성패를 가르는 구간이다.
주의할 함정은 ‘에이전트만 붙이면 알아서 똑똑해진다’는 기대다. 단계가 하나 늘 때마다 실패 지점과 API 호출 비용이 함께 늘어난다. 각 단계 성공률이 90%라도 10단계를 연쇄하면 전체 성공률은 0.9의 10제곱, 약 35%로 주저앉는다. 검증 없는 자동 실행이 오히려 리스크가 되는 이유다. 그래서 도입 전에 ‘어느 단계까지 사람이 확인하고, 어디서 자동화를 끊을 것인가’라는 경계를 먼저 못 박아야 한다. 실무에서 흔한 절충은, 조회·요약처럼 되돌릴 수 있는 작업은 자동으로 흘리되 결제·삭제·외부 발송처럼 되돌리기 힘든 행동에는 사람 승인(human-in-the-loop)을 강제로 끼우는 방식이다.
실무자는 어떤 역량에 돈과 시간을 걸어야 하나
그렇다면 개인은 무엇을 준비해야 할까. 결론부터 말하면 ‘프롬프트 잘 쓰기’를 단일 취업 스펙으로 삼는 전략은 수명이 짧다. 대신 6개월~2년 관점에서 오래 버티는 세 가지가 있다. 첫째, 문제를 정의하고 ‘좋은 결과의 기준’을 세우는 판단력이다. AI가 초안을 1분 만에 뽑아낼수록 무엇이 합격인지 가려내는 사람의 안목이 병목이자 가치가 된다. 둘째, 데이터·검색·도구 연결을 이해하는 시스템 감각이다. RAG, 벡터 검색, API 연동처럼 컨텍스트를 실제로 채우는 파이프라인을 다룰 줄 알아야 한다. 셋째, 결과를 검증하고 실패를 재현·추적하는 평가 역량이다. 이 세 가지는 특정 모델 버전이 바뀌어도 폐기되지 않는다.
다만 양극단의 과장은 경계해야 한다. ‘AI가 모든 직무를 없앤다’도, ‘AI는 장난감일 뿐’도 현실과 거리가 있다. 현실적 판단 기준은 작업의 성격으로 갈린다. 반복적이고 규칙이 분명하며 틀려도 되돌리기 쉬운 작업일수록 AI 위임의 이득이 크고, 책임 소재가 무겁거나 예외가 많은 작업일수록 사람의 검증 비중을 남겨야 한다. 도구를 도입할 때는 벤더의 화려한 데모가 아니라 세 가지 질문을 함께 계산하는 습관이 성과와 실패를 가른다. ‘우리 데이터·업무 맥락에서도 재현되는가’, ‘틀렸을 때 책임과 롤백은 누가 지는가’, ‘토큰·유지보수·모니터링을 합친 총비용은 얼마인가’. 이 계산을 건너뛴 도입은 화면상 화려하지만 6개월 뒤 방치되기 쉽다.
자주 묻는 질문
프롬프트 엔지니어라는 직업은 이제 완전히 사라지나요?
독립 직함으로서의 인기는 확실히 식었습니다. 2023년 앤트로픽의 최대 37만 5천 달러 공고로 상징되던 희소 전문직 지위는 사라지는 중이지만, 프롬프트 작성 능력 자체가 무의미해진 건 아닙니다. 개발자·기획자·마케터 모두의 기본기로 흡수됐고, 컨텍스트 설계·평가 역량과 결합될 때 가치가 커집니다.
컨텍스트 엔지니어링과 프롬프트 엔지니어링은 정확히 뭐가 다른가요?
프롬프트 엔지니어링은 ‘한 번의 질문 문장을 어떻게 잘 쓸까’에 집중합니다. 컨텍스트 엔지니어링은 모델이 답을 만드는 데 필요한 정보 전체(검색 문서, 대화 이력, 사용자 정보, 도구 결과, 규칙)를 무엇을 넣고 뺄지·어떤 순서로 배치할지 설계합니다. 초점이 문장 한 줄에서 입력 전체의 구성으로 넓어진 것입니다.
컨텍스트 창이 100만 토큰이면 관련 문서를 많이 넣을수록 좋은가요?
아닙니다. 창이 커도 무관한 정보를 많이 넣으면 정확도가 떨어지고 토큰 비용만 늘어납니다. 스탠퍼드의 ‘Lost in the Middle’ 연구처럼 모델은 입력 가운데에 묻힌 정보를 놓치는 경향이 있습니다. 핵심은 ‘많이’가 아니라 ‘필요한 것을 선별해 앞뒤 핵심 자리에’ 넣는 것이고, 검색 품질과 요약·압축 전략이 더 중요합니다.
AI 에이전트를 붙이면 자동으로 성능이 좋아지지 않나요?
단계가 늘수록 실패 지점과 비용도 함께 늘어납니다. 각 단계 성공률이 90%여도 10단계를 연쇄하면 전체 성공률은 약 35%까지 떨어집니다. 그래서 조회·요약처럼 되돌릴 수 있는 작업만 자동화하고, 결제·삭제·외부 발송처럼 되돌리기 어려운 행동에는 사람 승인을 끼우는 경계 설계가 필요합니다.
비전공자도 이 흐름에서 준비할 수 있는 역량이 있나요?
있습니다. 문제를 정의하고 좋은 결과의 기준을 세우는 판단력, 결과를 검증하고 틀린 지점을 재현·추적하는 평가 습관은 코딩 없이도 기를 수 있고 모델이 바뀌어도 폐기되지 않습니다. 여기에 데이터와 검색이 어떻게 연결되는지에 대한 시스템 감각을 더하면 실무 경쟁력이 됩니다.