[해외보안뉴스] 공격자들, 웹 데이터 조작으로 AI 챗봇 답변 오염시켜 대규모 피싱 및 허위 정보 유포
· 2026-09-27 16:00
· 조회 25
· 원문 ↗
위협 공격자들이 ChatGPT, Gemini, Google AI Overview 등 주요 생성형 AI 챗봇 서비스의 답변을 오염시켜 대규모 허위 정보와 피싱 링크를 유포하는 공격을 감행하고 있습니다. 공격자들은 악성 링크와 조작된 데이터가 포함된 웹 콘텐츠를 인터넷상에 미리 생성해 둔 뒤, 생성형 AI의 검색 및 수집 알고리즘에 우선 노출되도록 콘텐츠를 최적화하는 방식을 사용하고 있습니다.
이번 캠페인은 전통적인 검색 엔진 최적화(SEO) 기법을 악용해 생성형 AI의 데이터 응답을 오염시키는 일종의 '생성형 엔진 최적화(GEO)' 피싱 공격입니다. 많은 사용자가 AI 챗봇의 답변을 검증된 정보로 신뢰한다는 점을 악용하여, AI가 악성 사이트나 피싱 페이지를 정식 참고 출처로 제공하도록 유도하고 있습니다. 이로 인해 해당 AI 서비스를 사용하는 수많은 일반 사용자 및 기업 사용자가 악성 URL 접속, 계정 탈취, 정보 오도 등의 직접적인 보안 위협에 노출되고 있습니다.
이러한 피해를 예방하기 위해 사용자는 AI 챗봇이 제시하는 정보와 출처 링크를 무조건적으로 신뢰하지 말고, 중요한 정보는 공식 웹사이트나 신뢰할 수 있는 매체를 통해 재확인해야 합니다. 또한 기업의 보안 담당자는 임직원을 대상으로 AI 응답 내 악성 URL 확인에 대한 보안 인식 교육을 강화하고, AI 서비스 제공업체들은 웹 크롤링 및 인덱싱 과정에서 악성 데이터와 검증되지 않은 출처를 사전에 걸러내는 검색 알고리즘 고도화를 추진해야 합니다.
♥ 추천 0
RAG(검색 증강 생성) 파이프라인에서 외부 웹 데이터를 무검증으로 수집할 때 발생하는 전형적인 '간접 프롬프트 주입(Indirect Prompt Injection)' 및 데이터 오염 문제입니다.
아키텍처 설계 시 수집 데이터의 도메인 평판 검증과 악성 URL 필터링 로직을 전처리 단계에 필수적으로 배치해야 합니다.
또한, LLM이 생성한 답변 내 출처 링크는 최종 사용자에게 전달되기 전 '출력 가드레일(Output Guardrail)'을 통해 샌드박스 기반의 2차 검증을 거치도록 파이프라인을 보완해야 합니다.
LLM 모델을 직접 공격하는 대신 RAG(검색 증강 생성) 정보 수집 경로를 오염시키는 매우 영리한 'AI SEO 포이즈닝' 공격 기법입니다. 사용자가 AI의 추천 결과를 비판 없이 신뢰한다는 점을 악용하므로, 기존의 단순 피싱보다 사용자를 속이기가 훨씬 수월하며 공격 성공률 또한 비약적으로 높습니다. 실시간 웹 데이터를 참조하는 모든 AI 엔진을 타깃으로 하는 '간접 프롬프트 주입(Indirect Prompt Injection)' 공격 벡터가 본격적으로 무기화되었음을 보여주는 사례입니다.
생성형 AI의 응답을 직접 오염시키는 기법은 AI 결과물에 대한 임직원의 신뢰를 역이용한다는 점에서 조직에 심각한 리스크입니다. 이제는 AI가 제안하는 정보와 링크에 대해서도 '제로 트러스트' 관점의 출처 검증 체계가 필수적입니다. 즉시 AI 활용 정책(AUP)을 재정비하고, AI 오염 및 신종 피싱 공격에 대비한 보안 모니터링과 임직원 인식 제고 교육을 강화하겠습니다.