IT이야기2011. 3. 24. 21:20

그 때는 검색봇 이름이 'pirs'과 'pirst'였다. 그런데, 3일전에 'first'로 비슷하게 이름이 바뀌어서 접속을 했다. 기존에 User-Agent명으로 차단을 시켜두었다. 하지만, 이를 비켜간 'first'는 마구 긁어가기 시작했다. 몇 시간뒤에 차단 조치를 취하고(개인정보를 취급하지 않는 사이트임), 얼마동안 페이지를 긁어가는지 확인했다. 48시간 가까이 긁어갔다. 포털, 구글의 봇보다 무섭다.

  • 사이트 운영자들은 봇이름으로 차단하는 경우가 많다. 그런데, 이름을 바꾸면 문제가 있지 않겠는가? 예를 들어 구글이나 네이버, 다음의 봇 이름이 바뀐다고 생각해봐라.
  • 여전히 robots.txt는 읽지 않았다. KISA의 공지와는 다르게 검색 규칙을 따르지 않는 것이다.
  • 과거에 긁어간 적이 있는 사이트는 페이지 목록이 DB화되어 있는 건가? 차단을 해도 여전히 여러 페이지를 읽어갔다.
  • referer는 http://www.pirst.kr:6600/RS/PIRST_FAQ.jsp 로 남았다.
  • IP대역은 61.111.15.110~61.111.15.119까지 총 10개이다. 이전의 IP 대역과 비슷하고, 검색 서버의 대수는 동일했다. KISA 모니터링 시스템에 대해서는 'KISA의 '개인정보 모니터링 시스템'에서 확인할 수 있다.

[ referer에 남겨진 http://www.pirst.kr:6600/RS/PIRST_FAQ.jsp 페이지의 공지 내용 ]


사이트 운영자에게 대상 사이트임을 먼저 알리는게 우선이지, 먼저 긁어가고 불편하면 메일로 문의를 하라는 것은 순서가 바뀌것 아닌가? 요즘 개인정보노출에 대한 문제가 많다. 그래서 KISA의 취지를 이해하고, 취지도 좋다고 본다. 하지만, 좋지 않은 인상을 남기는 안타까운 순간이다.
Posted by 좋은진호
IT이야기2009. 12. 14. 23:51
며칠전부터 'pirs'라는 User-Agent명으로 페이지를 너무 많이 긁어가는 경우가 많았다. 어제 하루만 18000여건의 페이지 요청이 발생했다. 웹로그를 살펴봤더니 Referer중에 www.pirst.kr:6600/ 가 남아있다. html 소스를 봤더니 다음과 같은 내용이 나온다. 바로 11월말에 구축했다는 'KISA 개인정보 노출 대응체계' 사이트였다.

* Project Name :  KISA 개인정보 노출 대응체계 구축
* Source Name : header.jsp
* Description : (대응시스템)HEADER
* DATE : 2009.06.27
* Author  : OOO
* History : 2009.06.27

'다음'에서 'KISA 개인정보 노출 대응체계'를 검색하면 다수의 기사가 나온다. 그 중 '세계일보' 기사 하나만 살펴보자.
  • 방통위와 한국인터넷진흥원(KISA)은 웹사이트에서 노출되는 개인정보를 검색·대응하는 '개인정보 노출 대응시스템'을 23일 구축완료
  • 24일부터 365일·24시간 운영
  • 하루 약 6500개 웹사이트에서 개인정보 노출을 검색
  • 그동안 포털 검색을 활용, 웹사이트에서 주민등록번호만 노출됐는지 검색했으나 이번 상황실 운영을 계기로 신용카드번호·계좌번호 등 9개 개인정보 노출을 검색

'개인정보 노출 대응시스템' 무엇이 문제인가.

  1. 대상이 6500여개 웹사이트이다. 개인정보 자체를 취급하지 않는 사이트는 대상에서 제외해야 하는데, 취급 유무 판단은 하지 않는 것으로 보인다. 개인정보가 없는 사이트도 저 'pirs', 'pirst' 봇이 방문을 했기 때문이다.
  2. 하루에 18000여 페이지를 긁어갔다. 문이 열렸다고, 신발자국 내면서 집안 구석구석 먼지하나까지 확인한 것이 아닌가. 그 것도 주인도 모르게 말이다. 목적이 분명하다면 대상 사이트에는 미리 알려줘야하는 것이 옳다.
  3. robots.txt는 전혀 읽지 않는다. 봇(bot)의 기본 룰을 따르지 않는 것이다. 모든 페이지의 개인정보를 확인해야한다는 이유로 robots.txt을 따르지 않는 것으로 보인다. 그러나 비공개가 필요한 페이지를 제외하게 pirs 봇에 맞게 robots.txt을 설정할 수도 있는데, 이 걸 완전히 무시한 것이다.
  4. 모니터링한 대상 사이트의 웹페이지를 개인정보 노출에만 이용할지는 의문스럽다. 페이지 전체를 긁어가는 형태이기 때문이다. 저인망식으로 웹페이지를 마구잡이 긁어가서 감시한다면  웹생태계를 파괴하는 일이 될 수도 있다. 현 정부에서 규제와 감시가 강화됐기 때문에 의심하게 된다.

만약 개인정보를 취급하지 않는 곳이라면, KISA에 제외요청할 수 있겠지만 2가지 방법 중에 한가지 방법으로 차단조치를 취할 수도 있다.

1.  웹서버 설정에 User-Agent명으로 차단 (403 페이지로 처리)

SetEnvIfNoCase User-Agent   "pirs"   notaccept
SetEnvIfNoCase User-Agent   "pirst"  notaccept

<Location "/">
    Order allow,deny
    Allow from all
    Deny  from env=notaccept
</Location>


2. 방화벽에서 봇 IP를 차단

pirs 봇은 210.97.192.140~210.97.192.149 에서 접속했다. 방화벽에서 210.97.192.0/24 대역 전체를 또는 해당 IP만 차단한다.
pirst 봇은 61.111.15.10 과 61.111.15.20, 61.111.15.30 에서 접속했다. pirst봇은 한 두 페이지 정도만 요청이 이뤄졌다. 이 3개 IP는 차단전에 좀 더 지켜보고 요청이 많다면 차단 처리하는게 좋을 듯.

* 관련글 :

2010/04/15 - [IT이야기] - KISA의 웹사이트 개인정보 모니터링 시스템
2011/03/24 - [IT이야기] - KISA, 개인정보 노출 검사위해 웹페이지 여전히 긁어간다

Posted by 좋은진호
IT이야기2007. 3. 27. 23:27
620만명의 '쉬리', 610만명의 관객에게 상춘고를 접수하고 강남을 포기하게 만들었던 '투사부일체'.
바로 이 투사부일체의 관객수와 비슷한 604만대의 머신이 봇에 감염(2006년 상반기보다 29% 증가)됐다고 한다.
시맨텍이 2006년 7월부터 12월까지 180여개국 이상에 설치한 4만개의 센서에서 수집한 정보를 토대로 하여 작성한 Symantec Internet Security Threat Report(ISTR, 인터넷 보안 위협 보고서)에 따른 것이다.

http://www.symantec.com/about/news/release/article.jsp?prid=20070319_01
http://j2k.naver.com/j2k_frame.php/korean/www.symantec.com/ja/jp/about/news/release/article.jsp?prid=20070327_01

2006년 하반기에는 상반기보다 11% 증가한 1일 평균 63,912대의 봇 감염 머신(Zoombie, 좀비)을 발견했다. 봇에 공격을 명령하는 서버 대수는 4,746대로 2006년 상반기 부터 25% 감소하고 있다. 봇 감염 대수는 증가했으나 명령하는 서버 대수가 줄었다는 것은 통합과 대규모화가 진행됨을 의미한다. 사람 세계에서 일어나고 있는 대통합의 형태가 봇에서도 이뤄지고 있는 것이다.

작년부터 국내에 숨겨진 이슈(?)인 DDoS공격의 증가도 이런 봇의 일괄적인 공격이 한 몫하고 있는 것으로 보인다. '투사부일체'의 조직같은 봇이 이제 인터넷은 그만 접수했으면 한다. ^^

사용자 삽입 이미지
[원본 이미지보기]

아래 도표에서는 뒤에서 두번째 있는 컬럼(중국이 1위인 컬럼)이 봇의 순위이다.
봇 감염 대수는 중국이 26%로 1위를 했고, 우리 나라는 11위다. 명령 서버의 40%는 미국에 존재한다고 한다.

사용자 삽입 이미지
[원본이미지 보기]

덧붙여 피싱사이트 순위까지 확인해보자.

사용자 삽입 이미지
[원본이미지 보기]

1위 미국 46%
2위 독일 11%
3위 영국 35
4위 프랑스 3%
5위 일본 3% (아시아에서 가장 순위가 높음)
6위 대만 3%
7위 캐나다 2%
8위 중국 2%
9위 한국 2%
10위 네덜란드 2%


Posted by 좋은진호