좋은진호의 여유만만

Akamai(아카마이)의 서버는 현재 105,000대의 서버로 운영중이라고 한다. 78개국의 ISP와 1900여개의 망에서 서비스 중이다. (Data Center Knowledge의 'Akamai Now Running 105,000 Servers' )

Akamai도 2~3년 사이(2009년에 48,000대)에 2배 이상 증가했다. 저쪽 동네는 쓴다하면 10만대 이상, 좀 덜 써도 몇만대하는 곳은 여러 군데인 것 같다. Akamai 외의 서버 대수는 Data Center Knowledge에서 꾸준히 업데이트를 하고 있다. (멋져~~) ( 'Who Has the Most Web Servers?' )

• Akamai Technologies: 105,000대 (company, 2012.3월)
• OVH: 100,000대 (company, 2011.7월)
• SoftLayer: 100,000대 (company, 2011.12월)
• Rackspace: 79,005대. 클라우드 서비스로 급증 (company, 2011.12.30)
• Intel: 75,000대 (company, 2011.8월)
• 1&1 Internet: 70,000대 이상 (company, 2010.2월)
• Facebook: 60,000대 (추정치, 2009.10월)
• LeaseWeb: 36,000대 (company, 2011.2월)
• Intergenia: (PlusServer/Server4You), 30,000대 (company, 2011년)
• SBC Communications: 29,193대 (Netcraft)
• Verizon: 25,788대 (Netcraft)
• Time Warner Cable: 24,817대 (Netcraft)
• HostEurope: 24,000대 (Company)
• AT&T: 20,268대 (Netcraft)
  

구글은 공식적인 서버대수를 발표하지 않기 때문에 몇대인지는 명확하지는 않지만, 2011년에 대략 90만대로 추정된다.

NHN은 2013년 상반기 오픈을 목표로 춘천 데이터센터를 짓고 있다. 1만5천평 규모에 1500억원을 투자한다.
서버는 구글이나 페이스북처러 조립서버로 구성한다는 얘기가 들린다. 그리고 서버는 PSU을 없애고 AC전원이 아닌 DC전원을 공급받을 것이라고 한다. AC전>원이라면 AC -> DC로 전환할 때 전력 손실이 발생한다. 그런데 DC전원을 공급받으므로 전력 손실이 줄어들어 효율이 높아질 것이다.

현재의 네이버 서버와 춘천 데이터센터가 오픈할 시점의 서버는 몇대일지 궁금해진다.


* 관련글
2011/04/20 - Facebook의 데이터센터와 서버
2010/06/30 - 페이스북(Facebook)의 서버 대수는 6만대 이상?
2009/06/01 - 해외 주요 업체의 서버 대수는?
2009/04/10 - 구글, 구글 서버와 데이터센터 발표자료를 풀 동영상으로 공개

오리건주 프린빌(Prineville, Oregon)에는 약 30만 square feet크기(9만5천평)의 페이스북(Facebook) 데이터센터가 있다. 현재 절반인 15만 square feet가 운영중이며, 올 하반기에 나머지 절반이 완성될 것이다. 이 데이터센터와 페이스북 서버가 4월초에 Open Compute Project( http://opencompute.org/ )를 통해 공개가 되었다.

페이스북 서버에 간략하게 요약하면.

• 1U보다 더 큰 1.5U 크기의 서버. 그래서 보다 큰 방열판과 팬을 사용하여 온도 효율성이 높아졌다.
  
• 샤시는 심플하다. 페이스북은 '무허영심(vanity free)'이라고 표현했다. 멋진 말이다. 군살을 쏙 뺀 반드시 필요한것만 들어있는 구조다.
• AMD보드 : AMD 옵테론 6100시리즈, 24 DIMM 메모리 슬롯
• 인텔 보드 : 인텔 제온 5500 또는 5600, 18 DIMM 메모리 슬롯
  
• 자체 제작한 서버는 구매한 서버보다 38%정도 높은 효율. 24% 저렴
• 파워서플라이 : 94.5%의 고효율. 2009년 당시 구글서버가 85~90%였다.
• 전원은 2개가 연결되는데, 하나는 277V AC 주전원(일반적인 208V보다 높은 것은 효율을 위해). 다른 하나는 48V DC 백업전원(48V DC는 캐비넷형태의 UPS에 연결됨). 구글서버는 12V DC전원만 사용한다.
  

페이스북 데이터센터와 서버에 대해서는 4월 초에 나온 글이 인터넷에 많을 것이니, 추가된 내용들만 적어보겠다.


1. 페이스북 데이터센터의 태양광 시설

페이스북은 이 데이터센터에 태양광발전시설을 구축하여 100KW의 전기를 생산한다. 1년을 기준으로 204,000KWh의 전기를 생산할 것으로 기대하고 있다. 1년 20만KWh라면, 하루 5.6시간을 생산했을 때를 가정한 것 같다.

태양광발전으로 생산되는 에너지는 전체 에너지 사용량에 비하면 비중이 상당히 낮다. 그린피스에서도 에너지 사용면에서 좋지 않은 데이터센터로 지적했다.

하지만 데이터센터의 에너지 효율은 상당히 높다. 데이터센터의 에너지효율은 PUE수치로 나타내는데, 이 수치가 1에 가까울수록 높은 효율을 나타낸다. 구글은 2009년에 평균 PUE가 1.22라는 놀라운 수치를 보였으며, 구글의 데이터센터 중에는 1.1x인 곳도 있다. PUE가 1.2만 되어도 예술의 경지에 이르렀다고 하는데, 페이스북의 새 데이터센터는 놀랍게도 PUE가 1.07이다. 즉, 거의 전력 손실없이 운영되고 있다는 뜻이다.

 
2. 데이터센터 추가 동영상과 사진

금요일에 저널리스트와 프린빌(Prineville) 지역 공무원을 대상으로 페이스북 데이터센터 투어가 있었나보다. Data Center Knowledge의 'Video: Inside Facebook’s Server Room' (2011.4.18) 글에 약 8분짜리 데이터센터 투어 동영상을 볼 수 있다.

투어를 시켜준 사람이 'Director of Datacenter Engineering'(데이터센터 엔지니어링 부서 이사 정도?) 'Jay Park'이란 분이다. 전기분야 엔지니어이신데, 미국 교포일까? 이름도 그렇기도 하고, 동영상이나 사진을 보면 우리 나라 사람 같아 보인다.

Rackspace에서 근무하시는 분이 데이터센터를 방문하여 올린 사진도 있다
* Photo tour of Facebook’s new datacenter (Scobleizer 블로그, 2011.4.16)

로비 모니터에 데이터센터 상태를 모니터링할 수 있는 화면이 있다고 한다. 내부 온도는 18~27도(화씨 66~82도), 습도는 24~41% 정도다. 습도는 적정수준인데, 온도는 높은 구역도 있다. 외부 공기를 끌어다가 냉각을 해서 조금 높은 것일 수도 있겠다. 그리고, 오른쪽 상단에 표시된 현재 PUE는 1.08(?)으로 환상적이다. ^^

페이스북의 다른 데이터센터 사진을 보고 싶다면 타임지(TIME)에서 공개한 사진이 있다. 타임지는 2010년 올해의 인물로 페이스북의 '마크 주커버그(Mark Zuckerberg)'를 선정(2010년 12월중순)했다. 그래서, 타임지는 페이스북의 또다른 데이터센터인 캘리포니아주 산타클라라(Santa Clara, California)의 데이터센터 사진을 일부 제공했었다.
* A Glimpse Inside a Facebook Server Farm - Photo Essays (TIME, 9장의 사진)



* 데이터센터 관련글

- 2009/10/07 - [IT이야기] MS의 시카고 데이터센터 사진 공개
- 2009/04/03 - [IT이야기] 구글 데이터 센터 내부 공개, 그 안을 들여다보자
- 2009/04/10 - [IT이야기] 구글, 구글 서버와 데이터센터 발표자료를 풀 동영상으로 공개
- 구글 데이터센터의 놀라운 전력 효율 (2009.10.27, 커피닉스)
- 애플 신규 데이터센터 (2009.7.16, 커피닉스)
- 애플 신규 데이터센터 (2009.8.14, 커피닉스)
- 터키 이스탄불의 Vodafone 데이터센터, 폭우로 물에 잠겨 (2009.9.16, 커피닉스)

* 서버대수 관련글

- 2010/06/30 - [IT이야기] 페이스북(Facebook)의 서버 대수는 6만대 이상? (서버대수와 데이터센터)
- 2009/06/01 - [IT이야기] 해외 주요 업체의 서버 대수는?
- Facebook 사용자 4억명 돌파, 그리고 서버수 (2010.2.12, 커피닉스)

* 사진

- Solar-powered Facebook Data Center (2011.4.16, 페이스북 태양광 발전시설)
- Inside Facebook’s Not-So-Secret New Data Center (2011.4.7, 페이스북 데이터센터 사진 9장)

Datacenter Knowledge의 Rich Miller 글 'Facebook Server Count: 60,000 or More'에서 Facebook의 서버 대수는 6만대 이상일 것으로 추측하고 있다.

지난주에 있었던 Velocity 2010 컨퍼런스에서 Facebook의 'Tom Cook'의 프리젠테이션 자료를 토대로 서버 대수를 추측했다. 프리젠테이션에 포함된 차트에는 년도는 있지만, 서버 대수에 대한 수치는 없다. 그러나 이 차트의 성장 곡선의 비율로 대수를 할 수 있다.

2009년 11월 Facebook의 CTO인 Jeff Rothschild(제프 로스차일드)은 서버가 3만대 이상이라고 밝혔다. 차트에서 2009년 후반에 있는 평평한 지점이 대략 이 3만대 이상이 되는 지점일 것이다. 그러면 차트 맨 오른쪽 2010년 초에는 그 때의 두배 정도 되므로, 서버 대수는 6만대 이상으로 추측이 가능하다. Facebook의 이용규모에 비해서는 서버 대수가 생각보다는 적다는 느낌이다. Memcached, HipHop(PHP를 C++로 변환하여 성능 개선), Varnish(분산 및 캐싱 웹서버), Cassandra(NoSQL) 등의 효율적인 운영 덕분일까?



※ 위 이미지 출처 : Datacenter Knowledge 블로그 등

Facebook유저는 작년 1월에 1억 5천명이었는데, 올해 2월에는 2배가 넘는 4억명으로 급성장했다. 이렇게 급성장하는 서비스를 대비하여 Facebook은 Facebook 최초의 자체 데이터 센터를 Prineville에 건설중이다. 규모는 147,000 Square Foot(SF, 약 13,600여 제곱미터). FIFA의 국제규격 축구장 넓이가 7140제곱미터 이니깐, 축구장 2배 정도의 규모라고 보면 된다. 건설 사진은 Facebook에 공개되어 있다.

※ 이미지 출처 : Facebook 공식 블로그 'Breaking Ground on Our First Custom Data Center'


소셜미디어의 성장이 놀랍다.
그런데, 트위터는 몇 대일까?


* 서버대수 관련글

- Facebook 사용자 4억명 돌파, 그리고 서버수 (2010.2.12)
- 2009/06/01 - [IT이야기] 해외 주요 업체의 서버 대수는?

* 데이터센터 관련글

- 2011/04/20 - [IT이야기] Facebook의 데이터센터와 서버
- 2009/10/07 - [IT이야기] MS의 시카고 데이터센터 사진 공개
- 2009/04/03 - [IT이야기] 구글 데이터 센터 내부 공개, 그 안을 들여다보자
- 2009/04/10 - [IT이야기] 구글, 구글 서버와 데이터센터 발표자료를 풀 동영상으로 공개
- 구글 데이터센터의 놀라운 전력 효율 (2009.10.27)
- 애플 신규 데이터센터 (2009.7.16)
- 애플 신규 데이터센터 (2009.8.14)
- 터키 이스탄불의 Vodafone 데이터센터, 폭우로 물에 잠겨 (2009.9.16)

거실에 놓여있는 테이블을 사용하여 서버 랙(Rack)을 구축할 수 있는 아주 재미난 프로젝트(?)가 있다. 사진은 IKEA(이케아)의 LACK시리즈 side table이다. 이 테이블의 다리 끝에서 끝까지 '21과 5/8'인치이고, 다리 안쪽의 간격은 표준랙 크기와 똑같은 19인치이다. 따라서, 19인치 크기인 랙용 서버나 네트웍 스위치를 넣을 수 있다.



'LackRack'( http://lackrack.org/ )은 IKEA의 side table을 이용하여 손쉽게 모듈형태의 가정용 데이터센터(서버실)을 구축할 수 있는 방법을 제시해준다. 1U짜리 장비를 최대 8대까지 넣어둘 수 있다고 한다.(이 테이블의 구조상 '올려둔다'보다는 '넣어둔다.'라는 표현이 더 어울릴 것 같다.)


LackRack은 이런 점이 좋다.

• 인테리어 소품이 될 수 있다.
• 테이블을 원래 목적 그대로 사용할 수도 있다.
• 실제 서버 랙(rack)을 구매하는 것보다 저렴하다. LACK시리즈의 side table은 1만원선이면 살 수 있다.
• 다양한 색상으로 꾸밀 수 있다. 서버 랙은 은색, 검정색 계통이 대부분인데, IKEA의 LACK은 검정, 흰색, 하늘색, 노란색, 빨간색, 월넛 등의 색상이 있다.
  

테이블의 변신. 재밌지 않은가? '벽돌로 할 수 있는 10가지'처럼 '테이블로 할 수 있는 10가지'의 답을 찾아보는 것도 재밌을 것 같다. 테이블이 달라 보이고, 의자가 새롭게 보일 수 있다.

70만 Square feet 크기(약 6만 5천 제곱미터)의 초대형 데이터센터인 MS의 시카고 데이터센터의 를 운영의 사진 몇 장이 공개됐다.

- 윗층은 전형적인 데이터센터 형태인 반면에
- 아랫층은 세계에서 가장 큰 컨테이너형 데이터센터이다.

윗층은 총 4개의 12000 square feet크기의 서버 룸을 갖고 있다.
아랫층은 1단계 마무리되었고, 1단계 마무리로 56개의 컨테이너를 운영할 수 있다. 2단계도 56개의 컨테이너가 들어설 것이므로, 아랫층 데이터센터에는 총 112개의 컨테이너가 들어설 것이다.
각 컨테이너는 2천대의 서버가 들어간다. 따라서 계산상으로는 112 X 2000 = 약 224,000 여대의 서버를 수용할 수 있다.

 1) 데이터센터내 컨테이너 모습
※ 큰 사진은 Inside Microsoft's Chicago Data Center 에서 볼 수 있음

2) 컨테이너내 서버 (중앙 통로)
※ 큰 사진은 Microsoft Chicago: Center-Aisle Container 에서 볼 수 있음

3) 컨테이너내 서버 (측면)

4) 전력, 냉각 시설

※ 위 사진은 모두 Data Center Knowledge 에서


그리고, MS는 36초짜리 동영상을 공개했다. Microsoft Chicago Data Center Container Bay (실버라이트 설치 필요)

참고로 애플은 노스 캐롤리나(Maiden, North Carolina)에 50만 square feet(약 4만 6천 제곱터)의 초대형 데이터센터를 구축 준비중이다. 이 애플의 데이터센터는 클라우드 서비스를 위한 것으로 추측되고 있다. 애플 데이터센터에 대해서는 아래 관련글을 참고하길 바란다.

MS, 애플, 그리고 구글의 6억 달러 규모의 캐롤리나 데이터센터까지 데이터센터의 삼국지를 보는 듯 하다.


* 관련글 :

- 애플, 새로운 데이터센터 구축 계획 (2009.7.16)
- Apple, eBay의 데이터센터 임원진 'Olivier Sanche'를 영입 (2009.8.14)
- 2009/08/16 - [IT이야기] - Microsoft의 초기 웹사이트는 이렇게 생겼다
- 2009/06/01 - [IT이야기] - 해외 주요 업체의 서버 대수는?
- 2009/04/10 - [IT이야기] - 구글, 구글 서버와 데이터센터 발표자료를 풀 동영상으로 공개
- 2009/04/03 - [IT이야기] - 구글 데이터 센터 내부 공개, 그 안을 들여다보자

Data Center Knowledge에 'Who Has the Most Web Servers?' 라는 흥미로운 글이 올라왔다. Netcraft자료, 해당 회사에서 직접 공개한 자료를 통계로 하여 서버 대수가 정리되어 있고, 이외 최소한 5만대 이상일 것 같은 업체를 추측하였다.

1~2월에 시스코에서 서버 시장에 진출한다는 언론보도가 있었다. 그리고 시스코는 16일 서버 진출에 대한 공식 선언을 했다. 시스코의 서버시장 진출에서 가장 중요한게 봐야할 것은 UCS(Unified Computing System) 개념. 'Unified'단어에서도 알 수 있듯이 서버, 네트웍, 스토리지, 가상화 SW가 하나로 묶어 통합된 하나의 아키텍쳐를 제공한다는 것이다. 그들은 이 UCS가 데이터센터용으로 새로운 표준 아키텍쳐가 되기를 기대하고 있다.

간략한 사항은 다음과 같다. ('Data Center Knowledge'의 글에 따르면 4월 초에 상세한 사항이 나올 예정)

• 비용 절감 : 설비 비용(CAPEX) 최대 20%, 운영 비용(OPEX) 최대 30%까지 절감한다고 주장
• 인텔 네할렘(Nehalem) 프로세서(새로운 제온 프로세서)
• 10G 네트웍 지원
• 가상화 기술
• GUI, CLI환경의 'Cisco UCS Manager'를 이용하여 중앙에서 통합관리할 수 있다. API 제공
• 6U 블레이드 샤시 ('UCS 5108' 모델의 경우)
• 1U half 슬롯 크기의 서버 8대(아래 첫번째 사진) 또는 full 1U 서버 4대(두번째 사진)장착 가능
  

시스코의 UCS B-Series 블레이드 서버(사진에는 'UCS 5108'이라고 적혀있다.)의 사진이다. 플리커에 올라온 'Unified Computing Telepresence Press Conference' 에서 3000x2400 크기의 사진을 볼 수 있다.



블레이드 서버를 만드는 IBM, HP, 선마이크시스템즈, Dell에는 어떤 영향을 미칠까? 파이를 나눠먹을 것인가, 더 커질 것인가? 현시점에서 이를 알기는 어렵다. 다만 서로 자극을 받아 혁신적인 플랫폼을 만들어내기를 바랄 뿐이다.