AI 무기 제조 등 ‘위험’ 답변 원천 차단, ETRI 신기술 공개

한국전자통신연구원(ETRI)은 2025년 11월 26일, 인공지능(AI)의 안전성을 획기적으로 강화하는 신기술 ‘세이프 라바(Safe LLaVA)’를 공개하며, 위험성 탐지 및 차단 기술의 새 지평을 열었다. 이번 기술은 생성형 AI의 악용 방지와 안전한 AI 활용을 위한 핵심 도구로 기대를 모으고 있으며, 향후 글로벌 표준화를 선도할 중요한 계기가 될 전망이다. 기존의 데이터 파인튜닝 방식과 차별화된 이번 신기술의 핵심 성과와 의미를 상세히 살펴보자.

이 기술은 이미 국제적으로 개발되어온 생성형 AI 모델의 한계인 ‘위험성 검증・차단 부재’를 구조적으로 해결, 텍스트와 이미지 모두에서 △불법 행위 △폭력 △혐오 △사생활 침해 △성적 콘텐츠 △자해 위험 △법률・의료 조언 등 7개 분야의 위험을 실시간으로 탐지하고 차단할 수 있다. 특히 ‘안전성 AI’의 핵심으로 꼽히는 ‘위험 차단의 내재화’를 통해, 특정 주제에 대한 유해성 판단과 함께 적절한 응답 생산이 가능하게 된 것이 특징이다.

이와 함께, ETRI는 시각언어모델의 안전성을 정량 평가하는 ‘홀리 세이프(HoliSafe)’ 벤치마크도 구축하여 국내외 연구개발에 새로운 표준을 제시하고 있다. 1700장 이미지와 4000여 개 질문응답 데이터셋은 현실적 위험 탐지 능력을 객관적으로 비교·평가할 수 있게 하며, 세계 최초로 ‘7개 카테고리·18세부 항목’별 성과 지표를 제공한다. 이를 통해 연구자와 기업은 안전한 AI 시스템 설계와 검증에 참고자료로 활용할 수 있다.

시각언어 모델의 안전성은 ‘모델 구조에 유해성 분류기 내장’ 방식으로, 기존 데이터 중심 방식보다 훨씬 강력한 실시간 위험 차단 기능을 확보했다. 국내외 모델과 비교한 실험에서는, Safe LLaVA는 응답률 약 93%, Safe Qwen-2.5-VL은 약 97%의 안전성을 기록하며, 기존 상용 시스템보다 10배 이상 빠른 차단 사례를 보여주었다. 특히 ‘범죄·폭력·성인물’ 관련 콘텐츠 유포 가능성을 근본적으로 차단하는 기술로, 특정 이미지와 질문 결합 실험에서도 즉각 거부 응답으로 안전성을 입증하였다.

이와 같은 안전 기술은 ‘생성형 AI가 유해한 정보까지 생성할 위험’을 크게 낮추며, 법적・윤리적 문제 예방은 물론, 기업·기관이 AI를 활용하는 데 있어 신뢰성을 급상승시킨다. 실무적 관점에서 볼 때, ‘즉각 차단·실시간 감지’ 구조는 A/B 테스트, 파일럿 단계에서의 민감도 조정, 롤백 전략 적용 등에 적합하며, ‘보안·저작권·프라이버시 준수’ 측면에서도 중요한 기준이 될 수 있다.

ETRI 연구팀은 “Safe LLaVA와 HoliSafe는 국내 최초로 안전성·위험 탐지 표준을 만든 프로젝트”라며, “이를 기반으로 AI 안전기술의 글로벌 경쟁력을 갖추고, 법제도와 연계된 산업 표준을 조속히 마련하는 것이 중요하다”고 강조한다. 이들 기술은 ‘허깅페이스’와 같은 글로벌 AI 플랫폼에도 공개되어, 국내외 연구자와 기업들이 즉시 활용할 수 있도록 지원하며, AI 안전 생태계 확산에 기여할 전망이다.

향후, 국내외 정부와 산업계는 이번 연구 성과를 토대로 ‘인공지능 안전 표준화’와 ‘AI 유해성 방지 정책’ 수립, ‘기업별 안전 검증 시스템 구축’에 박차를 가할 예정이다. 또한, AI 안전성 검증을 위한 연계 연구와, 실시간 위험 대응이 가능한 ‘스마트 솔루션’ 개발이 가속화될 전망이다.

이와 같은 신기술 도입은 인공지능이 사회 전반에 안정적이며 책임감 있게 활용될 수 있는 기반을 마련하는 핵심 열쇠로 작용한다. 앞으로도 지속적 연구와 정책 지원, 산업혁신이 병행될 때, ‘위험 제한 AI’ 시대를 앞당기고 안전성 확보를 통한 AI의 신뢰도를 높이는 길이 열릴 것이다.

• 허깅페이스 공개 자료 및 활용 사례 참고
• ETRI 공식 홈페이지