OpenSSL HollowByte: TLS 서버의 메모리를 포화시키기 위해 11바이트면 충분

HollowByte 취약점은 OpenSSL에서 11바이트 TLS 요청을 보내 서버의 메모리를 정지시킬 수 있습니다. 공격/방어의 비대칭성: 적은 대역폭으로도 최대 효과를 발휘합니다.

발생 현황

HollowByte라는 취약점이 OpenSSL에 영향을 미칩니다. OpenSSL은 웹의 HTTPS, SMTP, VPN 연결 대부분을 보호하는 암호화 라이브러리입니다. 이 취약점은 공격자가 단 11바이트의 TLS 요청을 보내 서버 측 메모리 포화를 유발할 수 있게 합니다. Okta의 테스트에 따르면, glibc 시스템에서 요청당 최대 131KB의 메모리 할당이 발생하며, 이 메모리는 프로세스 재시작 전까지 해제되지 않습니다. 이로 인해 서버는 다른 연결을 처리할 수 없게 됩니다.

주목할 점: OpenSSL은 6월에 HollowByte 패치를 공개했지만, CVE 번호도, 공개 advisory도, changelog에도 이 취약점을 명시하지 않았습니다. 이러한 비밀스러운 수정으로 인해 일부 관리자들이 아직 이 취약점을 인지하지 못하고 있습니다.

영향 대상

6월 패치 이전 버전의 OpenSSL을 사용하는 모든 서버가 영향을 받습니다. 이는 업데이트되지 않은 웹 인프라의 대부분을 포함합니다:

• HTTPS 웹 서버 (Apache, Nginx 등)
• 보안 메일 서비스 (SMTPS, IMAPS)
• OpenSSL 기반 VPN 서버
• OpenSSL을 포함하는 모든 네트워크 데몬

분석

이 취약점의 가장 위험한 특징은 비대칭성입니다. 일반적인 DDoS 공격에서는 공격자가 대상을 포화시키기 위해 상당한 트래픽을 생성해야 합니다. 그러나 HollowByte의 경우:

• 요청당 11바이트의 페이로드
• 결과: 서버 측에서 131KB의 메모리 할당 (glibc 기준, 재시작 전까지 해제되지 않음)
• 결과: 저대역폭 연결을 가진 공격자도 고성능 서버를 메모리 포화로 무력화할 수 있음

이러한 비대칭성은 드물며, 최상위 등급의 취약점으로 분류됩니다. 유사한 메커니즘은 SlowLoris 또는 Billion Laughs XML 공격에서도 확인되지만, 여기서는 TLS 핸드셰이크 자체에 적용됩니다.

사실 vs 분석

확인된 사실: OpenSSL의 취약점, 11바이트 TLS 요청을 통한 공격 벡터, glibc에서 요청당 131KB 메모리 할당 (Okta 테스트), 6월 패치 but CVE/Advisory 없음, 프로세스 재시작 전까지 메모리 해제되지 않음.

분석: 비밀스러운 패치는 자체로 경고 신호입니다. OpenSSL은 심각한 취약점을 은밀히 패치했으며, 이는 많은 설치 환경이 알지 못한 채 노출되어 있음을 의미합니다. 6월 패치 버전으로의 업데이트가 시급합니다.

즉시 해야 할 일

• 설치된 OpenSSL 버전 확인: openssl version. HollowByte 패치는 6월에 배포되었으므로, 배포된 버전이 해당 날짜 이후인지 확인
• OpenSSL 업데이트: security.openssl.org 및 배포판 버전 노트 참조
• Docker 이미지 내 OpenSSL 버전 확인 (docker run <image> openssl version) 및 시스템 종속성 확인 - 6월 이후 재빌드되지 않은 이미지는 취약
• 패치 외에도 방화벽 또는 로드 밸런서 수준에서 TLS 연결 -rate-limiting 활성화
• TLS를 노출하는 프로세스(nginx, apache2, sshd 등)의 메모리 소비 모니터링