[해외보안뉴스] OpenSSL, 암호화되지 않은 힙 메모리 유출 유발하는 고위험 DTLS 취약점 패치
· 2026-09-30 11:00
· 조회 14
· 원문 ↗
OpenSSL 프로젝트가 DTLS(Datagram Transport Layer Security) 프로토콜 구현체에서 발생하는 고위험군 보안 취약점을 해결하기 위한 보안 업데이트를 공개했습니다. 이번 취약점은 DTLS 연결 과정에서 암호화되지 않은 힙(Heap) 메모리 데이터를 상대방에게 유출하거나, 프로그램을 강제로 종료(크래시)시켜 서비스 거부(DoS) 상태를 유발할 수 있는 것으로 확인되었습니다.
DTLS는 UDP 트래픽 상에서 TLS 보안을 제공하는 프로토콜로, 패킷 손실 시 핸드셰이크 메시지를 재전송하는 타이머 메커니즘을 포함하고 있습니다. 이번 문제는 용량이 큰 핸드셰이크 메시지가 전송 중 일부만 처리되고 지연된 상태에서 타임아웃으로 인한 재전송이 시작될 때 발생합니다. 이 과정에서 메모리 버퍼 처리에 오류가 발생하여, 힙 메모리에 남아 있던 암호화되지 않은 데이터가 통신 상대에게 그대로 전송되거나 시스템 오류를 일으키게 됩니다.
UDP 기반의 실시간 데이터 통신, VoIP, VPN 등 DTLS를 적극적으로 사용하는 시스템 및 애플리케이션이 주요 영향 범위에 포함됩니다. 해당 취약점을 방치할 경우 메모리 내의 민감한 정보가 유출될 수 있으므로, OpenSSL을 사용하는 모든 시스템 관리자는 공식 웹사이트를 통해 최신 패치 버전을 확인하고 즉시 업데이트를 적용해야 합니다.
♥ 추천 0
UDP 특성상 패킷 손실에 따른 재전송 타이밍과 핸드셰이크 버퍼 상태 간의 경계 조건(Edge case) 처리가 미흡했던 것으로 보입니다.
WebRTC나 VPN 등 DTLS를 사용하는 미디어/네트워크 서비스라면 힙 메모리 유출 및 DoS 공격 방지를 위해 OpenSSL 라이브러리를 즉시 업데이트해야 합니다.
비동기 재전송 로직에서 예외가 발생했을 때 버퍼 오프셋과 상태 초기화를 얼마나 엄격하게 다뤄야 하는지 잘 보여주는 사례입니다.
DTLS 핸드셰이크 과정에서 패킷 단편화와 재전송 타이머를 교묘히 조작하면 인증 없이 원격에서 힙 메모리를 무단 조회할 수 있는 치명적인 취약점입니다. 유출된 힙 메모리는 세션 키나 메모리 주소 등 추가 공격을 위한 핵심 정보(ASLR 우회 등)를 포함할 수 있어 후속 익스플로잇 연계성이 매우 높습니다. 특히 WebRTC나 SSL VPN처럼 UDP 기반 DTLS를 활용하는 외부 노출 인프라가 주요 표적이 될 수 있으므로 빠른 공격 표면 진단과 패치가 시급합니다.
OpenSSL의 힙 메모리 유출 취약점은 민감 데이터 노출 및 서비스 장애(DoS)로 직결될 수 있는 엄중한 보안 리스크입니다. 보안팀은 DTLS 및 OpenSSL을 활용하는 사내 서비스(VPN, 실시간 통신 등)의 현황을 신속히 전수 조사해 주시기 바랍니다. 변경 관리 및 패치 정책에 따라 긴급 업데이트를 최우선으로 적용하여 선제적 리스크 통제에 만전을 기하겠습니다.