KISA, 개인정보 노출 검사 위해 웹페이지 마구잡이로 긁어가

며칠전부터 'pirs'라는 User-Agent명으로 페이지를 너무 많이 긁어가는 경우가 많았다. 어제 하루만 18000여건의 페이지 요청이 발생했다. 웹로그를 살펴봤더니 Referer중에 www.pirst.kr:6600/ 가 남아있다. html 소스를 봤더니 다음과 같은 내용이 나온다. 바로 11월말에 구축했다는 'KISA 개인정보 노출 대응체계' 사이트였다.

* Project Name :  KISA 개인정보 노출 대응체계 구축
* Source Name : header.jsp
* Description : (대응시스템)HEADER
* DATE : 2009.06.27
* Author  : OOO
* History : 2009.06.27

'다음'에서 'KISA 개인정보 노출 대응체계'를 검색하면 다수의 기사가 나온다. 그 중 '세계일보' 기사 하나만 살펴보자.

• 방통위와 한국인터넷진흥원(KISA)은 웹사이트에서 노출되는 개인정보를 검색·대응하는 '개인정보 노출 대응시스템'을 23일 구축완료
• 24일부터 365일·24시간 운영
• 하루 약 6500개 웹사이트에서 개인정보 노출을 검색
• 그동안 포털 검색을 활용, 웹사이트에서 주민등록번호만 노출됐는지 검색했으나 이번 상황실 운영을 계기로 신용카드번호·계좌번호 등 9개 개인정보 노출을 검색

'개인정보 노출 대응시스템' 무엇이 문제인가.

1. 대상이 6500여개 웹사이트이다. 개인정보 자체를 취급하지 않는 사이트는 대상에서 제외해야 하는데, 취급 유무 판단은 하지 않는 것으로 보인다. 개인정보가 없는 사이트도 저 'pirs', 'pirst' 봇이 방문을 했기 때문이다.
2. 하루에 18000여 페이지를 긁어갔다. 문이 열렸다고, 신발자국 내면서 집안 구석구석 먼지하나까지 확인한 것이 아닌가. 그 것도 주인도 모르게 말이다. 목적이 분명하다면 대상 사이트에는 미리 알려줘야하는 것이 옳다.
3. robots.txt는 전혀 읽지 않는다. 봇(bot)의 기본 룰을 따르지 않는 것이다. 모든 페이지의 개인정보를 확인해야한다는 이유로 robots.txt을 따르지 않는 것으로 보인다. 그러나 비공개가 필요한 페이지를 제외하게 pirs 봇에 맞게 robots.txt을 설정할 수도 있는데, 이 걸 완전히 무시한 것이다.
4. 모니터링한 대상 사이트의 웹페이지를 개인정보 노출에만 이용할지는 의문스럽다. 페이지 전체를 긁어가는 형태이기 때문이다. 저인망식으로 웹페이지를 마구잡이 긁어가서 감시한다면  웹생태계를 파괴하는 일이 될 수도 있다. 현 정부에서 규제와 감시가 강화됐기 때문에 의심하게 된다.
   

만약 개인정보를 취급하지 않는 곳이라면, KISA에 제외요청할 수 있겠지만 2가지 방법 중에 한가지 방법으로 차단조치를 취할 수도 있다.

1.  웹서버 설정에 User-Agent명으로 차단 (403 페이지로 처리)

SetEnvIfNoCase User-Agent   "pirs"   notaccept
SetEnvIfNoCase User-Agent   "pirst"  notaccept

<Location "/">
    Order allow,deny
    Allow from all
    Deny  from env=notaccept
</Location>

2. 방화벽에서 봇 IP를 차단

pirs 봇은 210.97.192.140~210.97.192.149 에서 접속했다. 방화벽에서 210.97.192.0/24 대역 전체를 또는 해당 IP만 차단한다.
pirst 봇은 61.111.15.10 과 61.111.15.20, 61.111.15.30 에서 접속했다. pirst봇은 한 두 페이지 정도만 요청이 이뤄졌다. 이 3개 IP는 차단전에 좀 더 지켜보고 요청이 많다면 차단 처리하는게 좋을 듯.

* 관련글 :

2010/04/15 - [IT이야기] - KISA의 웹사이트 개인정보 모니터링 시스템
2011/03/24 - [IT이야기] - KISA, 개인정보 노출 검사위해 웹페이지 여전히 긁어간다