IPsec VPN이란 무엇이며 어떻게 작동하나?

앱 설정을 열면 종종 프로토콜 목록이 보입니다. 그중 하나가 IPsec이며, 때로는 IKEv2/IPsec로 표기됩니다. 또한 Windows, macOS, iOS에 기본 탑재되어 있어 사용자가 따로 선택하지 않았더라도 이를 사용하고 있을 수 있습니다.

IETF은 1990년대에 신뢰할 수 없는 네트워크를 가로지르는 IP 트래픽을 보호하는 일반적 방식으로 이를 표준화했습니다. 이 범위는 두 사무소 네트워크 간의 영구 연결부터, 외부에서 접속하는 단일 사용자 연결까지 포함합니다. 소비자용 IPsec VPN은 동일한 보호를 개인 연결에 적용합니다: 사용자의 기기와 VPN 제공자가 운영하는 서버를 연결해 사용자의 트래픽이 기기에서 직접 나가지 않고 해당 서버를 통해 나가도록 합니다.

IPsec란 무엇인가?

IPsec(Internet Protocol Security)은 IP 네트워크를 가로질러 이동하는 데이터의 안전을 지키기 위한 프로토콜 모음입니다. 각 패킷을 암호화하고 패킷의 출처를 확인하며 전송 중 변조가 없는지 검사합니다.

데이터는 인터넷을 한 덩어리로 건너지 않습니다. 작은 조각인 패킷으로 나뉘어 각각 주소 정보가 붙어 라우터가 전송 경로를 알 수 있게 됩니다. IPsec은 이런 개별 패킷 단위로 동작합니다.

프레임워크는 다음을 제공합니다:

• 암호화: 각 패킷의 내용이 암호문으로 변해 네트워크 운영자나 도청자가 읽을 수 없게 됩니다.
• 무결성 검사: 수신 측에서 데이터가 변경되지 않았는지 확인합니다.
• 인증: 각 끝점은 사전 공유 키(양측이 미리 가진 비밀 암호) 혹은 신뢰 기관이 발행·서명한 디지털 인증서를 사용해 자신이 주장하는 기기임을 증명합니다.
• 재전송 방지: 공격자가 이전에 캡처한 패킷을 다시 보내는 경우 이를 거부합니다.

이 프로토콜들을 기반으로 동작하는 소프트웨어나 장비를 IPsec VPN이라고 합니다. VPN 소프트웨어와 네트워크 하드웨어는 IPsec을 이용해 공용 네트워크상에서 보호된 연결을 만듭니다. IPsec은 네트워크 계층에서 동작하므로 단일 애플리케이션에 국한되지 않고 기기 전체의 IP 트래픽을 보호할 수 있습니다.

유용한 IPsec 용어와 정의

IPsec 용어는 빠르게 복잡해질 수 있습니다. 자주 접하게 될 용어와 그 뜻을 간단히 정리했습니다:

IPsec VPN은 어떻게 동작하나?

IPsec VPN은 네 단계로 보호된 터널을 설정합니다: 양 끝점이 서로를 인증하고, 암호화 조건에 합의한 뒤 모든 송신 패킷을 암호화·캡슐화합니다. 수신 측은 변조 여부를 확인하고 복호화합니다.

1. 인증 및 협상: 끝점들이 서로의 신원을 증명하고 사용할 암호화·무결성 알고리즘과 키에 합의합니다.
2. 터널 수립:합의된 조건으로 양측이 보호된 연결을 열고 보안 연관으로 합의된 설정을 기록합니다. 이는 해당 터널의 규칙집 역할을 합니다.
3. 암호화 및 전송:송신 패킷은 기기를 떠나기 전에 암호화되고 캡슐화되어 인터넷을 통과합니다.
4. 목적지에서의 복호화:수신 끝점이 패킷의 변조 여부를 확인하고 복호화한 뒤 원래 데이터를 전달합니다.

Internet Key Exchange(IKE)가 처음 두 단계를 수행하며, 현재 널리 쓰이는 버전은 IKEv2입니다. 이 협상은 보통 UDP 포트 500을 사용해 진행됩니다. 만약 기기가 NAT을 수행하는 라우터 뒤에 있다면 양측은 NAT 트래버설(NAT-T)로 전환해 키 교환과 이후의 암호화된 트래픽을 UDP 4500으로 감싸 라우터를 통과하게 합니다.

IPsec은 무엇에 사용되나?

IPsec은 공용 인터넷을 통해 이동해야 하는 트래픽을 보호합니다. 가장 흔한 용도는 원격 근무자가 사무실 네트워크에 연결할 때의 원격 접속, 회사 사이트들 간의 영구 링크, 그리고 공용 Wi-Fi에서 브라우징을 보호하기 위해 IKEv2/IPsec을 제공하는 소비자용 VPN 앱입니다.

사이트 간 연결 대 원격 접속 IPsec VPNs

사이트 간 IPsec VPN은 전체 네트워크를 서로 연결합니다. 본사와 지사가 있는 회사는 각 끝에 게이트웨이를 두고 그 둘 사이에 터널을 만듭니다. 창고의 프린터는 게이트웨이가 뒤에서 모든 장치를 대신해 암호화를 처리하므로 프린터 자체에 VPN 소프트웨어가 없어도 본사의 서버에 접근할 수 있습니다.

원격 접속 IPsec VPN은 단일 기기를 전체 네트워크에 연결합니다. 노트북의 클라이언트 소프트웨어가 터널의 한쪽 끝을 형성하고 사무실 네트워크의 게이트웨이가 다른 쪽 끝을 형성하여, 호텔 방에서도 터널이 활성화되어 있으면 같은 서버에 접속할 수 있습니다.

IPsec은 어떤 프로토콜을 사용하는가?

IPsec은 여러 프로토콜의 묶음입니다:

• ESP(Encapsulating Security Payload): 페이로드를 암호화하고 인증합니다.
• AH(Authentication Header):페이로드와 대부분의 IP 헤더의 무결성을 확인하지만 데이터를 암호화하지는 않습니다.
• IKE(Internet Key Exchange): 설정 협상과 키 수립을 담당합니다.

설정에서 'IKEv2/IPsec'을 볼 수 있는데, 이것이 두 프로토콜 중 하나를 선택하라는 의미처럼 보일 수 있습니다. 실제로는 IKEv2가 연결을 설정하고 IPsec이 그 안을 지키는 역할을 합니다.

왜 ESP

만 보게 되는가

ESP는 현재 IPsec VPN에서 트래픽을 보호하는 방식입니다. AH는 암호화를 제공하지 않아 패킷을 캡처한 사람이 데이터를 읽을 수 있게 하고, 단지 패킷이 기대한 출처에서 왔고 수정되지 않았다는 것을 증명합니다.

AH는 또한 네트워크 경로에 네트워크 주소 변환(NAT)이 있으면 문제가 발생합니다. AH는 IP 헤더의 일부를 보호하는데, 이 헤더를 NAT이 다시 쓰면 무효화되기 때문입니다. 홈 라우터와 이동통신망은 NAT을 사용하므로 AH는 거의 사용되지 않습니다.

IPsec 터널 모드와 전송 모드의 차이는 무엇인가?

터널 모드는 원래 패킷 전체(헤더 포함)를 새 패킷 안에 감싸고, 전송 모드는 페이로드만 암호화해 원래 IP 헤더는 그대로 둡니다. 전송 모드는 데이터센터 내부의 서버 간 직접 통신에 적합합니다.

여기서 '터널'이라는 단어는 이중 의미로 쓰여 오해를 일으킬 수 있습니다. IPsec 터널은 두 끝점 사이의 보호된 연결을 뜻하는 반면, 터널 모드는 각 패킷의 어느 부분을 감쌀지에 대한 별개의 결정입니다.

터널 모드 연결을 지켜보는 사람은 두 끝점 간에 트래픽이 오가는 것만 보게 되고 내부의 주소들은 숨겨집니다. 전송 모드에서는 출발지와 목적지가 평문으로 남아 페이로드만 암호화됩니다.

IPsec의 장단점은 무엇인가?

IPsec은 1990년대부터 배포되어 왔기 때문에 그 트레이드오프가 잘 알려져 있습니다.

IPsec의 장점

• 강력한 암호화 및 인증. 현재 구성은 AES 같은 암호와 인증서 또는 사전 공유 키 인증을 결합해 각 끝점이 데이터 전송 전에 신원을 증명하도록 합니다.
• 네트워크 계층에서의 적용 범위. 이메일 클라이언트, 파일 전송, 백업이 브라우저 트래픽과 동일한 보호 경로를 통과합니다.
• 애플리케이션 독립성. 소프트웨어가 VPN의 존재를 알 필요가 없기 때문에 수십 년 된 업무용 소프트웨어도 수정 없이 IPsec을 통해 동작합니다.
• 공개 표준. IETF 명세가 IPsec을 정의하므로 한 벤더의 방화벽이 다른 벤더의 게이트웨이와 대체로 터널을 형성할 수 있습니다.

IPsec의 단점

• 설정의 복잡성. 암호화 알고리즘, 키 수명, 식별자 등 수십 개의 설정이 양쪽에서 일치해야 합니다. 단 한 곳의 불일치로도 터널이 열리지 않을 수 있습니다.
• 암호화 및 캡슐화에 따른 오버헤드. 모든 패킷에 추가 바이트가 생겨 MTU가 작은 링크에서는 단편화가 발생할 수 있습니다.
• 방화벽 및 NAT 호환성. 일부 네트워크는 IPsec이 사용하는 포트를 차단하거나 주소 변환을 잘 처리하지 못해 연결 자체가 형성되지 않을 수 있습니다.

네트워크 엔지니어가 없다면 설정, 포트, NAT 동작이 보통 IPsec VPN을 실행하는 데 가장 어려운 부분입니다.

IPsec은 안전한가?

IPsec은 최신 설정으로 구성되어 있을 때 안전하지만 모든 설정이 그렇지는 않습니다. 오래된 장비는 구식 암호나 오래된 키 교환 버전을 여전히 사용하고 있을 수 있어 연결마다 보호 수준이 다를 수 있습니다.

대부분의 최신 구성은 암호화에 AES을, 무결성에는 HMAC-SHA-2을 조합해 사용합니다. HMAC-SHA-2는 비밀 키를 사용해 데이터의 짧은 지문을 생성하므로 변조가 있으면 즉시 드러납니다.

과거 구성은 때때로 DES이나 MD5를 여전히 사용합니다. 이들 알고리즘은 현재 안전하다고 여겨지지 않습니다. 일부 레거시 하드웨어는 768비트나 1024비트 디피-헬만 그룹을 제공하기도 합니다. 디피-헬만은 양끝이 공유 키를 합의하는 방식이고 그룹은 계산에 사용되는 수의 크기입니다. 작은 그룹은 공격에 더 취약하므로 최신 구성은 레거시 장비에서 보이는 작은 그룹 대신 더 강한 디피-헬만 그룹을 사용합니다.

키 교환 또한 확인해야 할 항목입니다. 1998년에 발표된 IKEv1은 특정 모드에서 알려진 약점이 있습니다. 그중 최악은 응답 시간을 줄이기 위해 핸드셰이크를 단축한 aggressive 모드로, 공격자가 교환을 캡처한 뒤 무제한 시도로 공유 비밀번호를 추측할 수 있게 합니다. 또한 협상 초기 단계에서 누군가가 조작해 양측이 여전히 지원하는 오래된 암호화로 합의하게 만드는 다운그레이드 공격의 위험도 있습니다. IETF은 2023년에 IKEv1을 정식으로 더 이상 권장하지 않는 historic 상태로 이동시켰습니다.

IKEv2는 보다 안전하게 협상하며 세션 중간에 키를 갱신하는 재키잉(rekeying)을 더 잘 처리합니다. 또한 기기의 IP 주소가 바뀔 때 기존 터널을 유지해주는 MOBIKE을 추가해, 예컨대 휴대폰이 Wi‑Fi에서 모바일 데이터로 이동할 때 연결이 끊기지 않고 유지되게 합니다.

일반 사용자라면 이러한 설정을 스스로 선택하지 않습니다. 사용자가 사용하는 VPN 앱이나 근무 중이라면 회사의 IT 팀이 담당합니다. 중요한 것은 소프트웨어가 최신 상태이고 업데이트를 계속 받고 있느냐 하는 점입니다. 그것이 암호와 키 교환을 최신으로 유지하는 방법입니다.

모든 연결에 대한 강력한 암호화.

Kaspersky VPN은 인터넷 트래픽을 암호화하고 IP 주소를 숨겨 어떤 네트워크(공용 Wi‑Fi 포함)에서도 연결을 사생활로 유지합니다.

Kaspersky VPN 받기__

✓

업계 선도 기관의 독립적 테스트에서 수상 및 인증을 받았습니다.

IPsec와 SSL VPNs의 차이점은 무엇인가?

IPsec은 기기에 네트워크 수준의 원격 접근을 제공해, 트래픽이 VPN 설정에 따라 보호된 터널을 통해 라우팅됩니다. 반면 브라우저 기반 SSL VPN은 종종 내부 웹사이트 같은 선택된 자원에 대한 접근만 제공합니다.

IPsec은 네트워크 계층에서 낮은 위치에서 작동해 기기가 보내는 모든 것을 보호할 수 있습니다. SSL VPNs은 상위 계층에서 작동하며 TLS 기술을 사용해 은행 사이트와의 연결을 암호화합니다. 따라서 IPsec 터널이 활성화되면 기기는 마치 원격 네트워크에 직접 연결된 것처럼 동작합니다. 브라우저 기반 SSL VPN은 반대로 인트라넷 페이지나 단일 내부 애플리케이션 같은 정의된 자원으로의 포털을 열어주며 기기 자체는 네트워크에 합류하지 않습니다. 일부 SSL VPNs는 클라이언트를 실행해 모든 트래픽을 IPsec처럼 처리하기도 하므로 포털 방식만 있는 것은 아닙니다.

IPsec은 클라이언트가 운영체제에 이미 내장되어 있더라도 양쪽에서 설정이 일치해야 합니다. 반면 브라우저 기반 SSL VPN은 별도 설치 없이 실행되는 경우가 많습니다. 이들 트래픽은 일반적으로 TCP 포트 443을 사용해 HTTPS 트래픽과 동일한 포트를 쓰므로 호텔이나 공항 Wi‑Fi처럼 IPsec 트래픽이 차단되는 제한적 네트워크에서 더 쉽게 작동할 수 있습니다.

관련 기사:

• VPN이란 무엇이며 어떻게 작동하나?
• VPN은 온라인에서 어떻게 나를 안전하게 지키나?
• 데이터 암호화란 무엇인가?
• 공용 Wi‑Fi 보안 위험을 피하는 방법

추천 제품:

• Kaspersky Premium
• 프리미엄 요금제 30일 무료 체험 다운로드
• Kaspersky Mobile Security

FAQs

IPsec은 어떤 포트를 사용하는가?

IKE는 UDP 500에서 동작하고, NAT 트래버설은 이후의 키 교환과 암호화된 트래픽을 UDP 4500으로 옮깁니다. ESP와 AH는 포트가 아니라 프로토콜 번호 50과 51입니다. 방화벽은 이들을 허용해야 터널이 형성됩니다.

IPsec이 내 연결을 느리게 하나?

약간은 그렇습니다. 모든 패킷을 암호화하면 약간의 CPU가 발생하고 트래픽이 VPN 서버를 거치기 때문입니다. 대부분의 사람은 브라우징이나 스트리밍 중에 큰 차이를 느끼지 않습니다. 서버까지의 거리(지연)가 프로토콜 자체보다 속도에 더 큰 영향을 줍니다.

IPsec은 MTU와 MSS에 어떤 영향을 주나?

IPsec은 패킷당 약 50~70바이트를 추가해 단편화를 유발할 수 있습니다. 관리자는 이를 보완하기 위해 TCP MSS를 낮추지만 표준 수치는 없으며 암호화 방식, NAT 트래버설 활성 여부, 기저 링크의 MTU에 따라 달라집니다.

IPsec은 대칭 암호화와 비대칭 암호화 중 무엇을 사용하나?

둘 다 사용합니다. IKE는 비대칭 암호화를 사용해 디피-헬만 교환으로 양끝이 네트워크상에서 공유 비밀을 직접 보내지 않고도 합의합니다. 그 비밀은 이후 더 빠른 대칭 암호(보통 AES)를 구동해 트래픽을 보호합니다.