HollowByte : 11바이트만으로 OpenSSL 서버의 메모리를 포화시킬 수 있습니다

HollowByte 취약점은 OpenSSL에서 공격자가 11바이트 요청을 보내 서버 메모리를 포화 상태로 만들 수 있게 합니다. 수백만 대의 서버에 설치된 라이브러리에서 드물게 볼 수 있는 공격 대비 효과 비율입니다.

무엇

OpenSSL의 HollowByte라는 취약점으로 인해 공격자가 11바이트의 TLS 요청만 보내면 서버가 과도한 메모리 할당을 일으켜 서비스를 중단시킬 수 있습니다. 이렇게 적은 데이터로도 효율적인 DoS(서비스 거부) 공격을 수행할 수 있는 우려스러운 벡터입니다.

영향을 받는 대상

HTTPS, SMTP/TLS 또는 FTPS 서버 중 OpenSSL의 취약한 버전을 사용하는 모든 서버가 영향을 받을 수 있으며, 이는 전 세계 수백만 대의 서버에 해당할 수 있습니다. 대부분의 Linux 배포판(Debian, Ubuntu, RHEL, Alpine)에는 OpenSSL이 포함되어 있으며, Docker 컨테이너는 종종 기본 이미지의 버전을 상속받습니다.

작동 방식

HollowByte는 TLS 핸드셰이크(암호화된 연결을 설정하는 초기 절차) 중 TLS 확장 처리 결함을 악용합니다. 서버가 11바이트의 잘못된 요청을 받으면 데이터 유효성을 검사하기 전에 요청당 최대 131KB의 메모리를 할당합니다. 공격자는 이 작업을 반복하여 서버의 RAM을 포화시킬 수 있으며, 인증이나 세션 없이도 가능합니다.

Okta가 테스트한 glibc 시스템에서는 이 메모리가 프로세스를 재시작할 때까지 차단됩니다. 11바이트의 입력에 대해 131KB의 메모리가 할당되는 비율은 일반적인 DDoS amplification 공격에서는 거의 볼 수 없는 수준입니다.

CVE 없이 은밀한 패치

주목할 점: OpenSSL은 2026년 6월 HollowByte 패치를 배포했지만, CVE가 할당되지 않았고 공식 advisory도 없었으며, 변경 로그에도 명시적으로 취약점을 가리키는 항목이 없습니다. 이 문제는 패치 이후에 독립 연구자들과 Okta에 의해 상세히 분석되어 공개되었습니다.

실질적인 결과: OpenSSL 패치를 면밀히 추적하지 않는 팀은 이 문제를 모르고 지나칠 수 있습니다.

분석

OpenSSL은 웹 서버용 라이브러리에 그치지 않습니다. 네트워크 장비, 컨테이너, IoT, 클라우드 서비스, 명령줄 도구 등에 포함되어 있습니다. 그 영향 범위는 Apache나 nginx를 훨씬 넘어섭니다.

HollowByte는 코드 실행을 허용하지 않지만(DoS일 뿐 RCE는 아님), 운영 중인 서버를 중단시킬 수 있어 몸값 공격이나 동시에 발생하는 침입을 숨기기 위한 수단으로 악용될 수 있습니다.

지금 해야 할 일

• 설치된 OpenSSL 버전을 확인하고 6월 패치가 적용되었는지 확인
• 컨테이너에 포함된 버전도 제어: openssl version - 기본 이미지가 최신 버전이 아니어도 구버전일 수 있음
• 모니터링 TLS 서버에서 비정상적인 메모리 사용량 급증
• 인프라에서 가능하면 TLS 연결에 -rate limiting 활성화