미디어원 ㅣ 김정호기자
LLM 애플리케이션이 기업 업무 안으로 들어오면서 보안의 기준점이 달라지고 있다. 과거의 애플리케이션 보안은 사용자가 클릭한 링크, 업로드한 파일, 호출한 API를 중심으로 위험을 판단했다. 그러나 AI 에이전트는 이메일과 문서, 웹페이지, 내부 검색 결과, 외부 도구 응답을 읽고 그 내용을 바탕으로 다음 행동을 결정한다. 이때 모델이 읽는 콘텐츠가 곧 모델을 움직이는 지시가 될 수 있다는 점에서, AI 시스템 자체가 새로운 공격 표면이 된다.
OrcaRouter는 이 흐름을 전제로 AI Threats 2026 보고서를 발표하고, 에이전트 Firewall과 입력·출력 Guardrails를 모든 사용자에게 무료 제공한다고 밝혔다. 보도자료는 프롬프트 인젝션을 AI 시대의 피싱에 가까운 위협으로 설명하며, 기존 API 키에 보안 컨트롤을 연결한 뒤 콘솔에서 스위치 하나만 켜면 적용할 수 있다고 강조했다.
프롬프트 인젝션은 이제 주변 위협이 아니다. OWASP의 LLM 애플리케이션 Top 10은 LLM01 항목으로 프롬프트 인젝션을 제시하며, 조작된 입력이 모델의 행동이나 출력을 의도하지 않은 방향으로 바꿀 수 있고, 그 결과 무단 접근과 데이터 유출, 의사결정 훼손으로 이어질 수 있다고 설명한다.
문제는 이 취약점이 전통적 의미의 버그 패치만으로 닫히기 어렵다는 데 있다. 버퍼 오버플로처럼 특정 코드 결함을 찾아 막는 방식이 아니라, 모델이 자연어를 데이터이자 지시로 처리하는 구조 자체에서 발생하기 때문이다. RAG 문서 접근이나 도구 사용처럼 모델이 외부 자료와 행동 권한을 가질 때 위험은 더 커진다.
EchoLeak은 이 위험을 기업 환경에 각인시킨 사례다. 2025년 공개된 Microsoft 365 Copilot 취약점 EchoLeak은 단일 악성 이메일만으로 Copilot이 내부 맥락을 읽고 민감 데이터를 외부로 유출할 수 있음을 보인 사건으로 분석됐다. 이 사례는 신뢰 경계가 무너진 AI 코파일럿에서 최소권한, 방어 심층화, 지속적 적대 테스트가 필요하다는 점을 보여줬다.
OrcaRouter가 제시한 해법은 모델 내부를 고치는 것이 아니라 요청 경로에 방어 계층을 두는 방식이다. 회사는 콘텐츠 평면과 행동 평면을 나눠야 한다고 본다. 콘텐츠 평면은 모델이 읽고 쓰는 입력과 출력이고, 행동 평면은 에이전트가 호출하는 도구, 접근하는 네트워크, 사용하는 비용이다. 입력에서 들어온 공격 지시가 도구 호출이나 데이터 유출, 비용 폭주로 전환되는 순간을 막으려면 두 평면을 동시에 통제해야 한다는 논리다.
구체적으로는 범위가 정해진 신원, 입력 Guardrails, 행동 Firewall, 출력 Guardrails, 이상 탐지, 서명된 감사 로그가 핵심 계층이다. 에이전트별 API 키에 허용 모델, IP 허용 목록, 지출 상한, 만료 기한을 붙이고, 입력 단계에서 jailbreak와 인젝션, 개인정보와 비밀 정보를 걸러낸다. 이어 도구 호출과 네트워크 송출, MCP 디스패치 같은 행동을 기본 거부 정책으로 평가하고, 출력 단계에서 민감정보와 유출 URL, 안전하지 않은 응답을 다시 검증한다는 구조다.
이 방식의 장점은 배치 위치에 있다. 보안 컨트롤이 애플리케이션 코드 안에 흩어지면 팀마다 구현 수준이 달라지고, 이미 운영 중인 에이전트를 고쳐야 한다. 반면 게이트웨이 계층에 붙으면 API 호출 경로에서 공통 정책을 강제할 수 있다. LLM 게이트웨이 시장 전반이 모델 라우팅을 넘어 보안·거버넌스 경쟁으로 이동하고 있는 배경이다.
기업 입장에서는 무료 제공이라는 점도 의미가 있다. AI 보안 컨트롤이 별도 구매와 통합, 예산 승인을 요구하면 현업팀은 보안이 붙지 않은 경로로 모델을 쓰기 쉽다. OrcaRouter가 Firewall과 Guardrails를 무료로 제공하겠다고 밝힌 것은 통제된 경로를 가장 쉬운 경로로 만들겠다는 전략으로 읽힌다. 섀도 AI를 막기 위해 금지보다 안전한 기본 경로를 제공해야 한다는 판단이다.
다만 무료화가 곧 충분한 보안을 의미하지는 않는다. 프롬프트 인젝션 방어는 정적 규칙만으로 끝나지 않고, 업무별 도구 권한과 데이터 접근 범위, 로그 보존, 승인 절차, 사고 대응 체계까지 함께 맞물려야 한다. 특히 비용 폭주형 공격, 민감정보 유출, 내부 문서 오염, 모델 공급자별 데이터 처리 차이는 조직 정책과 계약 구조까지 요구한다.
2026년 기업 AI 도입의 핵심 질문은 어떤 모델을 쓸 것인가에서 그 모델이 무엇을 읽고, 무엇을 할 수 있으며, 그 행동을 누가 감사할 수 있는가로 바뀌고 있다. LLM이 콘텐츠 생성 도구를 넘어 업무를 대신 수행하는 에이전트가 될수록 공격자는 대화창이 아니라 권한 흐름을 노린다. OrcaRouter의 무료 Firewall·Guardrails 발표는 이 전환점에서 나온 신호다. AI 보안은 이제 부가 기능이 아니라, 에이전트 운영의 기본 인프라가 되고 있다.
미디어원 Copyrights ⓒ MediaOne. 무단전재 및 재배포 금지.
