네트워크 보안을 고민하는 모든 엔지니어가 한 번쯤은 마주하게 되는 용어가 있습니다. 바로 IPsec VPN (Internet Protocol Security Virtual Private Network)입니다.
이 기술은 공용 네트워크 상에서 안전하게 데이터를 주고받을 수 있게 해주는 핵심 보안 메커니즘입니다.
오늘은 IPsec VPN의 동작 원리부터 실제 구성 사례, 그리고 실무에서 주의해야 할 포인트까지, 네트워크 전문가의 시선으로 정리해보겠습니다.
IPsec VPN이란?
IPsec VPN은 IP 계층에서 데이터를 암호화하고 인증함으로써, 공용 네트워크를 통해 사설 네트워크처럼 안전하게 통신할 수 있게 해주는 기술입니다.
즉, 인터넷과 같은 신뢰할 수 없는 네트워크 위에서 사설 회선을 구축한 것처럼 보안된 통신이 가능하게 해줍니다.
IPsec의 핵심 구성 요소
IPsec은 다음과 같은 요소들로 구성됩니다:
구성 요소설명
| AH (Authentication Header) | 데이터의 출처 인증과 무결성 확인을 제공 (암호화 X) |
| ESP (Encapsulating Security Payload) | 데이터 암호화 + 무결성 + 인증 제공 |
| IKE (Internet Key Exchange) | 키 교환 및 보안 연결(세션) 협상 |
| SA (Security Association) | IPsec 연결에 필요한 보안 속성 집합 (암호화 방식, 키 등) |
IPsec VPN의 동작 방식
- IKE Phase 1 (ISAKMP SA 수립)
- 서로의 신원을 인증하고, 암호화에 사용할 키를 교환합니다.
- 결과적으로 양측 간의 안전한 채널(ISAKMP SA)을 생성합니다.
- IKE Phase 2 (IPsec SA 수립)
- 실제 데이터를 암호화할 IPsec 터널의 SA를 협상합니다.
- 이후 이 SA에 따라 ESP 또는 AH를 통해 트래픽을 보호합니다.
- 데이터 전송
- ESP를 통해 암호화된 트래픽이 전송됩니다.
- 트래픽은 IPsec 터널을 통해 양방향으로 안전하게 교환됩니다.
IPsec VPN 동작 방식 (구체적 흐름)
IPsec VPN은 기본적으로 다음의 3단계 흐름을 따릅니다:
1. IKE Phase 1 – 보안 채널 수립 (ISAKMP SA 생성)
목적: 양측 장비 간 암호화된 안전한 관리 채널을 먼저 만든다.
항목설명
| 프로토콜 | ISAKMP (IKEv1), IKEv2 |
| 포트 | UDP 500번 사용 |
| 방식 | Main mode 또는 Aggressive mode (IKEv1 기준) |
과정 상세 (IKEv2 기준):
- Initiator → Responder: SA Initiation 메시지 전송 (암호화 알고리즘, 키 교환 방식 등 제안)
- Responder → Initiator: SA Response 메시지 (수락한 알고리즘 반환)
- 인증 방식 협상 (예: Pre-shared Key, X.509 인증서 등)
- Diffie-Hellman 키 교환 → 공유 비밀 키 생성
- ISAKMP SA (보안 채널) 수립 완료
✅ 이 단계에서 만들어진 관리 채널을 통해, 이후 IPsec 터널 생성에 필요한 설정값을 안전하게 교환할 수 있게 됨.
2. IKE Phase 2 – IPsec 터널 설정 (IPsec SA 생성)
목적: 실제 **데이터 암호화용 보안 연결 (IPsec SA)**를 만들고 ESP/AH 헤더 정보를 확정한다.
항목설명
| 프로토콜 | IKE (위의 보안 채널 위에서 동작) |
| SA 내용 | SPI, 암호화/인증 알고리즘, 수명, 키, 트래픽 선택자 등 |
| 포트 | UDP 500 또는 NAT-T 시 4500 |
과정 상세:
- Initiator가 원하는 트래픽 선택자(예: 10.0.0.0/16 ↔ 192.168.1.0/24), 암호화 알고리즘 등을 제안
- Responder가 이를 수락하고 IPsec SA 형성
- 결과적으로 ESP (Encapsulating Security Payload) 또는 **AH (Authentication Header)**에 대한 설정이 완성됨
✅ IKEv2는 Phase 1과 Phase 2를 단일 SA 교환 구조로도 처리 가능하여 효율적임
3. 데이터 전송 – ESP 또는 AH 적용
이제 실제 데이터 패킷이 IPsec 터널을 통해 흐릅니다.
- ESP 헤더가 원래 IP 패킷 앞에 붙고, 패킷은 암호화되어 전송됩니다.
- 터널 모드 사용 시 전체 IP 패킷이 암호화되어 새로운 외부 IP 헤더가 붙음
⛳ NAT 환경 고려: NAT-T (UDP Encapsulation)
- NAT 장비가 ESP(프로토콜 50)를 통과시키지 못할 경우, ESP를 UDP 4500 포트에 캡슐화하여 전송
- NAT-T는 UDP 헤더를 붙여서 터널링하는 방식
728x90