OpenSSL HollowByte: TLS 서버 메모리 동결을 위한 11바이트만으로도 가능

TLS 요청 11바이트가 OpenSSL 서버의 메모리를 서비스 거부(DoS)까지 팽창시킬 수 있습니다. 강력한 비대칭 DoS 공격입니다.

사실

독립적인 두 출처(The Hacker News, BleepingComputer)에 따르면 2026년 7월 17일 OpenSSL에 HollowByte라는 취약점이 보고되었습니다. 원리: 단 11바이트의 TLS 요청만으로 서버 측에서 과도한 메모리 할당이 발생하여 메모리 포화 상태에 이르게 됩니다. 이는 메모리 증폭 DoS로 알려진 공격 유형입니다.

• 공격 벡터: 11바이트의 잘못된 TLS 요청.
• 영향: 서버 측 메모리 팽창(메모리 포화 → 크래시 또는 서비스 거부).
• 대상: OpenSSL(대부분의 웹 서버, VPN, MTA 및 네트워크 도구에서 사용되는 암호화 라이브러리).

영향을 받는 대상

아직 패치된 버전으로 마이그레이션하지 않은 TLS를 사용하는 거의 모든 시스템: Apache/Nginx 서버, API 백엔드, 리버스 프록시, OpenVPN/strongSwan VPN, 메일 서버. 영향을 받는 OpenSSL 버전은 LTS 3.x 및 이전 지원 버전(정확한 버전은 openssl.org/news/vulnerabilities.html에서 확인 필요).

분석

11바이트 → 수 메가바이트의 메모리 증가는 운영 nightmare입니다: 공격자의 비용은 미미(하나의 연결, 하나의 패킷)지만 피해자의 비용은 막대(메모리, 해제용 CPU, 크래시 가능성). 이는 비대칭 DoS의 고전적인 예로, 2010년대 DNS 또는 NTP 증폭 공격의 먼 친척 격입니다.

주목할 점: RCE가 아니며, Heartbleed(데이터 유출)과 같은 메모리 누수도 아닙니다. 이는 서비스 거부 공격입니다. 비즈니스적 결과: 데이터 유출이 아닌 가용성 손실입니다. 예를 들어, 혼잡 시간대에 API 백엔드가 1시간 동안 다운되면 큰 손실을 초래할 수 있습니다.

두 출처(The Hacker News, BleepingComputer)가 같은 날 몇 시간 차이로 보도했다는 사실은 OpenSSL의 공식 advisory가 이미 공개되었거나 imminent하다는 신호입니다. PoC는 일반적으로 이 유형의 잘 문서화된 취약점에 대해 24-48시간 내 공개됩니다.

즉시 해야 할 일

• 공식 패치 발표 즉시 OpenSSL 업데이트 (apt update && apt upgrade openssl libssl3 on Debian/Ubuntu, yum update openssl on RHEL).
• 서비스 재시작: 업데이트 후 의존 서비스 재시작(nginx, apache, postfix, openvpn - 라이브러리가 메모리에 로드됨).
• 운영 환경 버전 확인: openssl version -a.
• 리버스 프록시에서 TLS 연결 속도 제한: Nginx(limit_conn), Cloudflare(레이트 리밋팅).
• 노출된 서버의 메모리 모니터링: OpenSSL의 RSS 급증은 공격 시그널일 수 있음.

아직 확인되지 않은 사항

정확한 CVE 번호, 영향을 받는 버전의 범위, 영향을 받는 변형(BoringSSL, LibreSSL, WolfSSL - 포크 간 공유 가능성)은 OpenSSL advisory에서 확인 필요. 계속 모니터링하겠습니다.