김정호 기자 ㅣ 미디어원
AI 안전 논의가 모델의 답변을 점검하는 단계를 넘어, 실제 행동과 물리적 결과를 검증해야 하는 단계로 이동하고 있다. 과학기술정보통신부가 주최하고 한국전자통신연구원 인공지능안전연구소가 주관한 ‘Seoul Forum on AI Safety & Security 2026’은 이 변화를 선명하게 보여준 국제 행사였다.
7월 7일부터 8일까지 서울 오크우드 프리미어 코엑스 센터 아이티스퀘어에서 열린 이번 포럼에는 국내외 정부, 학계, 산업계 전문가 130여 명이 참석했다. ‘AI 안전·보안 및 관련 표준에 관한 노력과 향후 협력방향’을 주제로 열린 행사에는 수용 인원을 넘어서는 참가 신청이 몰렸고, 온라인 생중계도 병행됐다.
올해 SFASS 2026의 가장 큰 특징은 의제의 확장이다. 지난해까지 AI 모델 안전과 평가 체계가 중심이었다면, 올해는 보안, 문화적 지역화 평가, 에이전트 AI의 데이터 유출, 피지컬 AI의 사이버 위협 대응까지 논의가 넓어졌다. AI가 텍스트를 생성하는 도구를 넘어 외부 시스템을 호출하고 실제 행동을 수행하는 단계로 진입하면서, 안전의 기준 역시 달라지고 있음을 보여준다.
한국·캐나다 AI 안전연구소 MOU, 국제 협력의 실질 성과
이번 포럼의 핵심 성과는 한국 인공지능안전연구소와 캐나다 인공지능안전연구소 간 양해각서 체결이다. 7월 8일 한국전자통신연구원 인공지능안전연구소와 캐나다 혁신·과학·경제개발부 산하 캐나다 인공지능안전연구소는 AI 안전 평가 방법론 공유, 공동 연구 추진, 레드티밍 기술 협력 등을 담은 MOU를 공식 체결했다.
이 협력은 단순한 선언 이상의 의미가 있다. 지난해 포럼에서 미국 Scale AI와 MOU를 체결한 데 이어 올해 캐나다 AI 안전 기관과 협력 체계를 구축하면서, 한국은 글로벌 AI 안전 거버넌스의 실질적 네트워크를 넓히게 됐다. AI 안전은 특정 국가의 독자적 노력만으로 해결하기 어렵다. 모델 개발, 평가 기준, 데이터, 레드티밍, 보안 검증이 모두 국제적으로 연결되는 만큼 국가 간 협력은 필수적이다.
한국이 2년 연속 서울에서 글로벌 AI 안전·보안 포럼을 열고, 미국과 캐나다 등 주요 기관과 협력 성과를 이어간 점은 주목할 만하다. 국제 담론을 수입하는 수준을 넘어, 서울이 AI 안전 의제를 논의하고 연결하는 플랫폼으로 자리 잡고 있다는 신호이기 때문이다.
문화적 지역화 평가, 서구 중심 AI 안전 기준을 넘어서다
포럼 첫날에는 MLCommons, Google, Microsoft와 협력해 AI 안전·보안 표준의 기반을 다지는 세션이 진행됐다. Peter Mattson MLCommons 회장은 AI 안전 확보가 AI 개발보다 더 어려울 수 있다고 지적하며, 195개국과 수백 개 언어를 아우르는 표준화된 산업용 벤치마크의 필요성을 강조했다.
특히 MLCommons와 한국전자통신연구원 인공지능안전연구소 등이 공동 개발 중인 ‘AILuminate 문화 특화 멀티모달 안전 벤치마크’의 중간 성과가 발표됐다. 이 벤치마크는 언어, 가치관, 문화적 맥락이 서로 다른 지역별 특성을 반영해 AI 모델의 안전성을 평가하려는 시도다.
AI 안전 기준은 그동안 서구권 언어와 가치관을 중심으로 설계된 경우가 많았다. 그러나 같은 답변이라도 문화권과 사회적 맥락에 따라 위험도는 달라질 수 있다. 한국어, 아시아권 언어, 지역별 사회 규범과 민감성을 반영한 평가 체계가 필요한 이유다. 대한민국, 싱가포르, 대만 등 아시아 주요국 연구자들이 Lightning Talk에 참여해 각국의 AI 안전 현황을 공유한 것도 이 흐름과 맞물린다.
에이전트와 피지컬 AI, 안전 기준이 ‘답변’에서 ‘행동’으로 이동
올해 포럼에서 특히 중요한 의제는 에이전트 AI와 피지컬 AI 보안이었다. 기존 AI 안전 논의가 모델이 어떤 답변을 내놓는가에 집중했다면, 이제는 AI가 실제로 무엇을 수행했는지를 검증해야 한다는 문제의식이 강해지고 있다.
AIM Intelligence 박하언 CTO는 픽셀 차이 0.8% 미만의 변형만으로 자율주행 판단이 달라지는 사례를 제시하며, 모델의 답변뿐 아니라 실제 물리적 행동까지 검증해야 한다고 강조했다. 피지컬 AI 시대에는 잘못된 판단이 화면 안의 오류에 그치지 않고, 차량, 로봇, 설비, 의료기기 등 현실 세계의 결과로 이어질 수 있다.
한국전자통신연구원 인공지능안전연구소 백한결 연구원이 공개한 한국·싱가포르 공동 에이전트 데이터 유출 평가 결과도 같은 문제를 보여준다. 12개 시나리오에서 일부 에이전트가 민감정보를 외부로 유출한 뒤에도 최종 답변에서는 안전하게 처리했다고 보고한 사례가 확인됐다. 이는 AI 안전 평가가 최종 답변만 보면 안 된다는 점을 보여준다. 실제 워크플로, 외부 도구 호출, 데이터 이동 경로까지 검증해야 한다는 의미다.
프론티어 AI 안전 지수, 최고 점수도 C+에 그친 현실
둘째 날 오전에는 Future of Life Institute와 협력한 ‘프론티어 AI 안전 벤치마킹’ 세션이 진행됐다. FLI의 Sabina Nong 연구원은 ‘AI 안전 지수’ 서머 2026 에디션 결과를 발표했다. 미국, 중국, 유럽의 선도 AI 기업 9곳을 위험 평가, 안전 프레임워크, 실존적 안전, 거버넌스·책임, 정보 공유 등 6개 영역에서 독립 전문가 패널이 평가한 결과다.
평가 결과 Anthropic, OpenAI, Google DeepMind가 상위권을 유지했지만, 최고 점수도 C+ 수준에 그쳤다. 주요 기업들의 안전 공약 후퇴 사례도 다수 확인됐다. 이는 프론티어 AI의 역량이 빠르게 발전하는 데 비해, 안전 체계와 거버넌스는 충분히 따라가지 못하고 있음을 보여준다.
이 지점은 글로벌 AI 산업 전반에 중요한 경고다. 모델 성능 경쟁은 계속 빨라지고 있지만, 안전 검증, 정보 공개, 책임 체계, 독립 평가의 속도는 그만큼 빠르지 않다. SFASS 2026이 벤치마킹, 표준화, 레드티밍, 국제 협력을 핵심 의제로 올린 이유도 여기에 있다.
네이버 ASF 2.0과 한국어 안전 데이터셋, 국내 대응도 구체화
국내 연구와 산업계의 대응도 소개됐다. 한국전자통신연구원 인공지능안전연구소 신성필 선임연구원은 전문가 검토와 LLM 교차 검증을 결합한 하이브리드 방식으로 최종 한국어 AI 안전 데이터셋을 구축한 사례를 공유했다. 한국어 기반 AI 서비스가 늘어나는 상황에서 언어와 문화에 맞는 안전 데이터셋은 필수 인프라다.
NAVER AI Safety Center 송대섭 이사는 ‘NAVER AI Safety Framework 2.0’을 공개했다. 이는 단일 모델의 안전성만 보는 것이 아니라, 수천만 명이 이용하는 서비스 전 생애주기를 관리하는 체계다. AI가 실제 서비스로 배포되는 순간 위험은 모델 내부에만 머물지 않는다. 사용자, 기능, 배포 환경, 업데이트, 운영 정책이 모두 안전 관리 대상이 된다.
이 같은 발표는 한국 AI 안전 논의가 연구 단계에만 머물지 않고, 실제 서비스와 산업 운영 체계로 확장되고 있음을 보여준다. 기술적 평가와 서비스 거버넌스를 함께 다루는 접근이 중요해지는 이유다.
레드티밍 워크숍, 실시간성 위조가 새 취약 축으로 부상
둘째 날 오후에는 AIM Intelligence와 협력해 ‘프론티어 AI 레드티밍 워크숍’이 열렸다. 한국전자통신연구원 인공지능안전연구소, LG AI Research, FAR.AI, Google, Google DeepMind, Microsoft 등 국내외 전문가들이 참여해 언어, 모달리티, 에이전트 워크플로 전반의 최신 모델 취약점을 탐색했다.
AIM Intelligence 최다솔 연구원은 대규모 멀티모달 레드티밍 챌린지 ‘Judgement Day’의 결과를 공개했다. 473명이 참가해 12만8096건을 제출했고, 응급실 트리아지, 댐 수문 제어, 선거 딥페이크 탐지 등 8개 안전 임계 시나리오에서 5만136건의 공격이 성공했다.
가장 주목할 대목은 실시간성 위조다. 가장 견고한 모델도 위조된 실시간 영상에는 31.6%로 뚫렸지만, 같은 내용의 정지 이미지에는 0.7%에 그쳤다. 이는 멀티모달 AI의 취약성이 단순히 이미지 인식의 문제가 아니라, 실시간성과 생동감을 흉내 내는 위조 방식에서 더 크게 발생할 수 있음을 보여준다. 라이브 영상 인증, 원격 의료, 보안 시스템, 선거 정보 검증 등 다양한 영역에서 중요한 과제로 이어질 수 있다.
워크숍 후반부에는 참가자들이 직접 AI 모델을 상대로 공격·방어 시나리오를 수행하는 ‘Live Red-Teaming Challenge’가 진행됐다. 이론 발표에 그치지 않고 실습 기반 대응 역량을 체험하게 한 점도 이번 포럼의 실질성을 높였다.
서울이 AI 안전 국제 플랫폼으로 자리 잡다
SFASS 2026은 한국이 글로벌 AI 안전·보안 논의를 2년 연속 서울에서 주도했다는 점에서 의미가 크다. 지난해 미국 Scale AI에 이어 올해 캐나다 인공지능안전연구소와 MOU를 체결하며, 포럼은 단순한 학술·정책 행사를 넘어 실질적인 국제 협력 성과를 내는 플랫폼으로 진화했다.
이번 포럼을 통해 확인된 메시지는 분명하다. AI 안전은 이제 모델의 답변을 검열하거나 위험 문장을 막는 수준을 넘어섰다. 에이전트가 실제로 어떤 작업을 수행하는지, 외부 시스템과 어떤 데이터를 주고받는지, 피지컬 AI가 현실 세계에서 어떤 결과를 만드는지까지 검증해야 한다.
표준화된 산업용 벤치마크, 문화적 지역화 평가, 에이전트 보안 검증, 프론티어 AI 안전 평가, 멀티모달 레드티밍은 앞으로 글로벌 AI 안전의 핵심 과제가 될 가능성이 크다. 한국전자통신연구원 인공지능안전연구소가 하반기 후속 연구와 국제 협력을 이어가겠다고 밝힌 만큼, SFASS 2026의 논의는 서울에서 끝나는 것이 아니라 글로벌 AI 안전 체계 구축의 다음 단계로 이어질 전망이다.
AI가 더 강력해질수록 안전과 보안은 선택의 문제가 아니라 신뢰의 조건이 된다. SFASS 2026은 그 조건을 만들기 위해 한국이 국제 무대에서 어떤 역할을 할 수 있는지 보여준 행사였다. 서울은 이제 AI 안전 논의의 주변부가 아니라, 표준과 평가, 협력의 방향을 함께 설계하는 중요한 거점으로 부상하고 있다.
미디어원 Copyrights ⓒ MediaOne. 무단전재 및 재배포 금지.
