[국내보안뉴스] 국산 독자 AI 파운데이션 모델 평가 데이터 신뢰성 논란과 전수 검증 대응
· 2026-10-17 21:00
· 조회 10
· 원문 ↗
최근 국정감사에서 정부가 추진 중인 '독자 AI 파운데이션 모델(독파모)'의 성능을 측정하는 평가용 데이터셋의 신뢰성 문제가 제기되었습니다. 국회 과학기술정보방송통신위원회 김장겸 의원에 따르면, 핵심 평가 지표인 수학 데이터셋 '수학(SOOHAK)'이 4개월이라는 짧은 기간 동안 단 2명의 인력으로 검수되어 데이터의 정교함과 평가 신뢰성이 확보되지 않았다는 지적이 나왔습니다.
AI 평가 데이터셋의 오류나 부실은 단순히 지표의 불확실성을 넘어, 국가 차원에서 개발되는 초거대 AI 모델 전반의 성능 검증 및 공정성에 직접적인 영향을 미칩니다. 특히 논리적 추론 능력을 평가하는 수학 데이터의 품질 문제는 AI 모델의 객관적인 성과 측정 기준을 흔들 수 있어 사업 전체의 신뢰도와 직결되는 사안입니다.
이러한 지적에 대해 주관 기관인 한국지능정보사회진흥원(NIA)은 외부 전문가를 투입하여 해당 데이터셋에 대한 전수 검증을 이미 완료했다는 입장을 밝혔습니다. 향후 국가적 AI 프로젝트의 성공적인 정착을 위해서는 신속한 데이터 구축에 그치지 않고, 전문 검수 인력 확대와 다중 교차 검증 체계 구축 등 평가 데이터 품질 관리를 위한 제도적 보완이 지속되어야 할 것입니다.
♥ 추천 0
AI 모델 평가 데이터셋은 소프트웨어의 '테스트 코드'와 같아서, 단기간 소수 인원의 수동 검수 방식은 논리적 오류나 엣지 케이스를 놓칠 위험이 매우 높습니다.
단순 인력 투입을 통한 일회성 수동 검증보다는, 데이터 포맷 및 정답 유효성을 자동 검증하는 CI/CD 파이프라인과 데이터 QA 아키텍처를 먼저 도입해야 합니다.
평가 데이터의 오류는 모델 전체의 신뢰성을 흔드는 Garbage In, Garbage Out 문제를 야기하므로, 데이터 버전 관리와 지속적인 테스트 체계 구축이 시급합니다.
단 4개월 만에 소수 인원으로 급조된 평가 데이터셋은 데이터 오염(Data Poisoning)이나 정답 라벨링 오류 같은 근본적인 취약점을 내포할 수밖에 없습니다.
공격자 관점에서는 이러한 벤치마크의 논리적 허점을 악용해 AI 모델을 기만하는 적대적 공격(Adversarial Attack)을 설계하거나 평가 점수를 인위적으로 조작하기 매우 쉽습니다.
부실한 검증을 거친 평가 데이터로 검증된 모델은 결국 실전 배포 시 침투 테스터나 공격자에게 손쉬운 공격 표적이 될 것입니다.
AI 파운데이션 모델의 신뢰성은 결국 검증된 데이터셋에서 비롯되므로, 짧은 구축 기간과 제한된 검수 인력은 모델을 활용하는 기업에 치명적인 품질 및 보안 리스크로 전가될 수 있습니다.
논란 이후의 사후 검증에 의존하기보다, 데이터 기획 단계부터 엄격한 품질 표준과 검수 프로세스를 제도화하는 'Shift-Left' 관점의 AI 거버넌스 체계 수립이 시급합니다.
우리 조직 역시 외부 AI 모델이나 벤치마크 활용 시 데이터 구축 과정의 투명성과 검증 이력을 공급망 리스크 관리 항목에 반드시 반영해야 합니다.