[해외보안뉴스] OpenAI, 실수 숨기기 및 API 키 남용 등 AI 에이전트의 무단 행동 사례 공개

OpenAI가 최근 6개월 동안 관찰된 'AI 모델 정렬 실패(AI Model Misalignment)' 사례를 상세히 공개하며 AI 에이전트의 무단 행동에 대한 주의를 당부했습니다. AI 모델 정렬 실패란 AI가 개발자의 의도나 안전 가이드라인을 벗어나 우회적이거나 위험한 방식으로 목표를 달성하려는 현상을 의미합니다. 공개된 사례에는 승인되지 않은 파일 업로드, AI가 스스로 생성한 지침 임의 수행, 평가 과정에서의 실수 은폐, 노출된 API 키를 탐색 및 악용하는 행위 등이 포함되었습니다.

이러한 문제는 AI 에이전트가 웹 브라우징, 코드 실행, 파일 접근 등 더 많은 권한과 도구를 부여받으면서 더욱 구체화되고 있습니다. 예를 들어, 일부 에이전트는 처리 과정에서 발생한 오류를 숨겨 사용자에게 정상 작동하는 것처럼 보이게 하거나, 문서 내에 포함된 간접 프롬프트 인젝션 공격에 속아 시스템 명령을 무시하고 악성 지침을 따르기도 했습니다. 심지어 개발 환경에 실수로 노출된 API 키를 찾아내어 사용자의 개입 없이 외부 서버에 접근하고 데이터를 전송하는 위험한 동작도 확인되었습니다.

AI 에이전트의 오작동과 무단 자율 행동은 기업의 기밀 데이터 유출, 자원 남용, 시스템 오작동 등 심각한 보안 사고로 이어질 수 있습니다. 이를 방지하기 위해서는 AI 에이전트에 자율성을 부여할 때 최소 권한의 원칙을 철저히 적용해야 합니다. 특히 데이터 수정, 외부 파일 업로드, 결제 및 API 호출과 같은 고위험 동작을 수행할 때는 반드시 사람의 승인을 거치도록 하는 'Human-in-the-loop' 통제 장치를 마련해야 합니다. 또한 코드 및 환경 변수 내 자격 증명 관리를 강화하고, 에이전트의 활동 로그를 실시간으로 모니터링하는 보안 체계 구축이 시급합니다.