N-IDS 장애 분석 보고서

N-IDS 장애 분석 보고서

네트워크 침입 탐지 시스템 (Network Intrusion Detection System, NIDS)은 네트워크 트래픽을 감시하여

서비스 거부 공격(DoS 공격), 포트 스캔, 컴퓨터를 크랙 하려는 시도 등과 같은 악의적인 동작들을 탐지하는 시스템.

 

 

장애 대상 장비

 - 벤더 명 : IBM

 - 보안 장비 명 : Proventia_GX5108 (IDS)

 

장애 증상

 - NIDS Engine STOP으로 인한 패킷 분석 실패

   → 관리 콘솔 연동 Error 발생

 - IDS 자체적 Queue Full

   → IDS 자체적으로 Engine 재 시작을 통해 일정 시간 동안 정상화되지만, 이후 동일 증상으로 이슈가 지속적으로 재발

 

 

1. IDS 장애 발생 로그 확인

* 하기 로그 내역은 실제 발생한 장애 내역이 아닌 IDS&IPS 기술지원을 통해 겪은 내용을 바탕으로 하여 임의로 작성된 내역입니다.

 

1.1. APP STALL 발생

Feb 25 10:37:21 2021 MsS-ids drivermgr[6184]: TG3: CheckForApp: DETECTED APP STALL (300 ms) Feb 25 10:37:21 2021 MsS-ids drivermgr[6184]: TG3: CheckForApp: DETECTED APP RUNNING Feb 25 10:37:22 2021 MsS-ids drivermgr[6184]: TG3: CheckForApp: DETECTED APP STALL (320 ms) Feb 25 10:37:22 2021 MsS-ids drivermgr[6184]: TG3: CheckForApp: DETECTED APP RUNNING Feb 25 10:37:23 2021 MsS-ids drivermgr[6184]: TG3: CheckForApp: DETECTED APP STALL (400 ms) Feb 25 10:37:23 2021 MsS-ids drivermgr[6184]: TG3: CheckForApp: DETECTED APP RUNNING Feb 25 10:37:24 2021 MsS-ids drivermgr[6184]: TG3: CheckForApp: DETECTED APP STALL (400 ms) Feb 25 10:37:24 2021 MsS-ids drivermgr[6184]: TG3: CheckForApp: DETECTED APP RUNNING Feb 25 10:37:25 2021 MsS-ids drivermgr[6184]: TG3: CheckForApp: DETECTED APP STALL (400 ms) Feb 25 10:37:25 2021 MsS-ids drivermgr[6184]: TG3: CheckForApp: DETECTED APP RUNNING

Network IDS 애플리케이션이 패킷을 분석할 수 없는 경우 두 가지 소프트웨어 Bypass 모드에 돌입할 수 있다.

(1) Forward Unanalyzed Packets : Forward packets without processing them (fail open)

   - 패킷을 처리하지 않은 채로 분석되지 않은 패킷 전달

(2) Drop Unanalyzed Packets : Drop packets without processing them, fail closed

   - 분석되지 않은 패킷을 처리하지 않고 삭제

즉, APP 발생 시 소프트웨어 Bypass 모드로 전환되어 패킷 분석 불가

* Bypass : 전원, 링크, 애플리케이션에 문제 발생 시, 자동으로 트래픽을 우회시켜 네트워크 통신의 안정성 유지

 

 

1.2. 관리 서버 통신 Error 발생

Feb 25 10:38:01 2021 MsS-ids iss-spa[9487]: Warning: Spa: TaskSvcsErrorCallback() - Error detected while trying to communicate with Site Protector - ErrorCode=C7590008, Message=The server returned an HTTP error.

- iss-psa : SiteProtector에 등록된 경우 포트 3995를 통해 Agent Manager에 대한 모든 통신을 처리

                                                                                                                             * Site Protector : IDS 및 IPS 관리 콘솔

 

 

1.3. 패킷 분석 프로세스 Kill

Feb 25 10:52:17 2021 MsS-ids iss-netengine[2911]: Packet thread not responding, killing PID 2911

- iss-netengine : PAM을 통해 패킷 검사를 수행하여 발생한 패킷 분석

즉, APP STALL로 인한 소프트웨어 Bypass 모드 전환의 빈번한 발생으로 분석 엔진 (iss-netengine) 강제 종료

* PAM (Pluggable Authentication Modules) : 리눅스 시스템에서 사용하는 인증 모듈로써 응용 프로그램(서비스)에 대한 사용자의 사용 권한을 제어하는 모듈.

 

 

1.4. 패킷 분석 엔진 재시작

Feb 25 10:52:20 2021 MsS-ids iss-secmgr[5651]: Restarting process (restart 1 of 3) Feb 25 10:52:17 2021 MsS-ids iss-netengine[2911]: iss-netengine starting

- iss-secmgr : net-engine을 제어 할 때 트래픽 검사에 중요한 프로세스.

 

 

 

1.5. IDS Queue Full 발생

Feb 25 10:52:17 2021 MsS-ids ISS[5672]: [ERROR]Post: (1000x)Unable to queue event (1 events lost): The event queue is full and new records are being discarded. There are uncommitted sent records taking up space in the queue.

 

 

 

2. 장애 원인 분석

 2.1. APP STALL 발생 원인 분석

   - IDS 장비의 트래픽 과부하로 인해 소프트웨어 Bypass 모드로 전환되어 Engine 분석 기능 강제 지연

    → 트래픽 과부하로 인해 Memory 부족 현상 발생

Swap Memory가 0인 것을 확인할 수 있음.

* Swap Memory : 메모리 사용량이 늘어남에 따라 디스크의 일부를 마치 확장된 RAM처럼 사용할 수 있는 기술

 

 

 2.2. 트래픽 과부하 원인

  - IDS에서 수용 가능 이상의 트래픽 발생

  - 다량의 Small Packet 처리

  - 높은 EPS (Event Per Second)

  - 비대칭 환경으로 인해 과도한 onesided packet 발생

  - 장비 노후화로 인한 H/W Fault

 

 2.2.1. Onside packet(비동기 패킷) 분석

  - 비동기 환경으로 인해 IDS에서 Full connection이 아닌 half connection만 분석하게 될 경우 발생

* PAM은 양방향의 세션을 모니터링하도록 디자인되었다. 그래서 time out이 발생하거나 response 패킷을 수신할 때까지, 패킷을 hold 하고 있음. IDS는 패킷을 forward 하지만 패킷 전송 메커니즘이 FIFO이기 때문에 response 패킷이 도달하거나 timeout이 발생할 때까지 모든 트래픽이 IDS에 머물러 있게 된다.

 

* PAM (Pluggable Authentication Modules) : 리눅스 시스템에서 사용하는 인증 모듈로써 응용 프로그램(서비스)에 대한 사용자의 사용 권한을 제어하는 모듈.

* FIFO (First-In First-Out) : 먼저 입력된 데이터부터 차례대로 출력되는 방식

 

 

3. 분석 결과 및 조치 사항

 3.1. 분석 결과

  - 비동기 트래픽이 유입되고 있으나, TPS 및 PPS가 과도하게 높지는 않음. 

  - 단기간이 아닌 지속적인 누적 데미지로 인한 리소스 사용률 증가

* TPS (Transaction Per Second) : 초당 최대 처리 건수, 초당 교환되는 데이터의 수치

* PPS (Packet Per Second) : 초당 전송되는 패킷의 수

 

 3.2. 조치 사항

  - 리소스 정상화를 위한 장비 Reboot 진행

  → 장비 Reboot 이후, 모니터링을 통해 리소스 사용률 정상화 확인.