IT이야기2011. 4. 20. 21:02
오리건주 프린빌(Prineville, Oregon)에는 약 30만 square feet크기(9만5천평)의 페이스북(Facebook) 데이터센터가 있다. 현재 절반인 15만 square feet가 운영중이며, 올 하반기에 나머지 절반이 완성될 것이다. 이 데이터센터와 페이스북 서버가 4월초에 Open Compute Project( http://opencompute.org/ )를 통해 공개가 되었다.

[ 페이스북 데이터센터 내부. 출처 : Open Compute Project ]


[ 페이스북 서버 샤시. 출처 : Open Compute Project ]


[ 페이스북 서버 조립. 출처 : Open Compute Project의 동영상 중에서 ]


페이스북 서버에 간략하게 요약하면.
  • 1U보다 더 큰 1.5U 크기의 서버. 그래서 보다 큰 방열판과 팬을 사용하여 온도 효율성이 높아졌다.
  • 샤시는 심플하다. 페이스북은 '무허영심(vanity free)'이라고 표현했다. 멋진 말이다. 군살을 쏙 뺀 반드시 필요한것만 들어있는 구조다.
  • AMD보드 : AMD 옵테론 6100시리즈, 24 DIMM 메모리 슬롯
  • 인텔 보드 : 인텔 제온 5500 또는 5600, 18 DIMM 메모리 슬롯
  • 자체 제작한 서버는 구매한 서버보다 38%정도 높은 효율. 24% 저렴
  • 파워서플라이 : 94.5%의 고효율. 2009년 당시 구글서버가 85~90%였다.
  • 전원은 2개가 연결되는데, 하나는 277V AC 주전원(일반적인 208V보다 높은 것은 효율을 위해). 다른 하나는 48V DC 백업전원(48V DC는 캐비넷형태의 UPS에 연결됨). 구글서버는 12V DC전원만 사용한다.
페이스북 데이터센터와 서버에 대해서는 4월 초에 나온 글이 인터넷에 많을 것이니, 추가된 내용들만 적어보겠다.


1. 페이스북 데이터센터의 태양광 시설

페이스북은 이 데이터센터에 태양광발전시설을 구축하여 100KW의 전기를 생산한다. 1년을 기준으로 204,000KWh의 전기를 생산할 것으로 기대하고 있다. 1년 20만KWh라면, 하루 5.6시간을 생산했을 때를 가정한 것 같다.
365일 X 5.6h X 100KW = 약 20만KWh

태양광발전으로 생산되는 에너지는 전체 에너지 사용량에 비하면 비중이 상당히 낮다. 그린피스에서도 에너지 사용면에서 좋지 않은 데이터센터로 지적했다.

[ 페이스북 데이터센터의 태양광 발전시설. 출처 : Swinny.net (URL은 아래 '사진' 출처에) ]


하지만 데이터센터의 에너지 효율은 상당히 높다. 데이터센터의 에너지효율은 PUE수치로 나타내는데, 이 수치가 1에 가까울수록 높은 효율을 나타낸다. 구글은 2009년에 평균 PUE가 1.22라는 놀라운 수치를 보였으며, 구글의 데이터센터 중에는 1.1x인 곳도 있다. PUE가 1.2만 되어도 예술의 경지에 이르렀다고 하는데, 페이스북의 새 데이터센터는 놀랍게도 PUE가 1.07이다. 즉, 거의 전력 손실없이 운영되고 있다는 뜻이다.

 
2. 데이터센터 추가 동영상과 사진

금요일에 저널리스트와 프린빌(Prineville) 지역 공무원을 대상으로 페이스북 데이터센터 투어가 있었나보다. Data Center Knowledge의 'Video: Inside Facebook’s Server Room' (2011.4.18) 글에 약 8분짜리 데이터센터 투어 동영상을 볼 수 있다.

[ 페이스북 데이터센터와 Jay Park. 출처 : 위 Data Center Knowledge 동영상 캡쳐 ]

[ 서버 전원부. 하나는 277V AC전원. 하나는 48V DC전원. 출처 : 위 Data Center Knowledge 동영상 캡쳐 ]

[ 페이스북 서버랙. 출처 : 위 Data Center Knowledge 동영상 캡쳐 ]


투어를 시켜준 사람이 'Director of Datacenter Engineering'(데이터센터 엔지니어링 부서 이사 정도?) 'Jay Park'이란 분이다. 전기분야 엔지니어이신데, 미국 교포일까? 이름도 그렇기도 하고, 동영상이나 사진을 보면 우리 나라 사람 같아 보인다.

Rackspace에서 근무하시는 분이 데이터센터를 방문하여 올린 사진도 있다
* Photo tour of Facebook’s new datacenter (Scobleizer 블로그, 2011.4.16)

[ 페이스북 데이터센터 로비의 모니터화면. 출처 : 위 Scobleizer 블로그 ]


로비 모니터에 데이터센터 상태를 모니터링할 수 있는 화면이 있다고 한다. 내부 온도는 18~27도(화씨 66~82도), 습도는 24~41% 정도다. 습도는 적정수준인데, 온도는 높은 구역도 있다. 외부 공기를 끌어다가 냉각을 해서 조금 높은 것일 수도 있겠다. 그리고, 오른쪽 상단에 표시된 현재 PUE는 1.08(?)으로 환상적이다. ^^

페이스북의 다른 데이터센터 사진을 보고 싶다면 타임지(TIME)에서 공개한 사진이 있다. 타임지는 2010년 올해의 인물로 페이스북의 '마크 주커버그(Mark Zuckerberg)'를 선정(2010년 12월중순)했다. 그래서, 타임지는 페이스북의 또다른 데이터센터인 캘리포니아주 산타클라라(Santa Clara, California)의 데이터센터 사진을 일부 제공했었다.
* A Glimpse Inside a Facebook Server Farm - Photo Essays (TIME, 9장의 사진)



* 데이터센터 관련글

- 2009/10/07 - [IT이야기] MS의 시카고 데이터센터 사진 공개
- 2009/04/03 - [IT이야기] 구글 데이터 센터 내부 공개, 그 안을 들여다보자
- 2009/04/10 - [IT이야기] 구글, 구글 서버와 데이터센터 발표자료를 풀 동영상으로 공개
- 구글 데이터센터의 놀라운 전력 효율 (2009.10.27, 커피닉스)
- 애플 신규 데이터센터 (2009.7.16, 커피닉스)
- 애플 신규 데이터센터 (2009.8.14, 커피닉스)
- 터키 이스탄불의 Vodafone 데이터센터, 폭우로 물에 잠겨 (2009.9.16, 커피닉스)

* 서버대수 관련글

- 2010/06/30 - [IT이야기] 페이스북(Facebook)의 서버 대수는 6만대 이상? (서버대수와 데이터센터)
- 2009/06/01 - [IT이야기] 해외 주요 업체의 서버 대수는?
- Facebook 사용자 4억명 돌파, 그리고 서버수 (2010.2.12, 커피닉스)

* 사진

- Solar-powered Facebook Data Center (2011.4.16, 페이스북 태양광 발전시설)
- Inside Facebook’s Not-So-Secret New Data Center (2011.4.7, 페이스북 데이터센터 사진 9장)

Posted by 좋은진호
IT이야기2009. 4. 10. 13:39
4.1일 마운틴뷰에서 있었던 'Google Data Center Efficiency Summit'행사의 주 세션 3개에 대한 풀 동영상을 구글이 직접 유튜브(YouTube) 에 공개했다. 또한 이번 행사 페이지( http://www.google.com/corporate/green/datacenters/summit.html )가 마련되어 있다. 이 페이지에서 동영상과 각 발표자료 문서(구글 문서도구 '프리젠테이션'으로 제공)까지 그대로 볼 수 있다. 이 모든 것을 숨김없이 공개한 구글. 구글아~~ 고맙다.

Google Efficient Data Centers Summit - 1 of 3 (2시간 23분)
  • Welcome (구글의 Urs Hoelzlee)
  • Standards from The Green Grid (Green Grid의 John Tuccillo)
  • Insights Into Google's PUE (구글의 Chris Malone & Ben Jai)
  • What's Next for the Data Center Industry (EPA의 Andrew Fanara)


Google Efficient Data Centers Summit - 2 of 3 (2시간 15분)
  • Data Center Efficiency Best Practces (아마존의 James Hamilton)
  • Google Data Center Video Tour (구글의 Jimmy Clidaras)
  • Best Practices Q&A


Google Efficient Data Centers Summit - 3 of 3 (49분)
  • Sustainable Data Centers & Water Management (구글의 Bill Weihl & Joe Kava)
  • Wrap-Up (구글의 Luiz Barroso & Urs Hoelzle)


6분 37초짜리 구글의 켄터이너 데이터센터 투어 동영상까지 함께 올렸다. 참석자들이 찍어서 올린 것보다 나은 화질. 



Posted by 좋은진호
IT이야기2009. 4. 3. 23:20
4.1일 마운틴뷰에서 있었던 'Google Data Center Efficiency Summit'을 통해서 구글 데이터센터 내부의 모습과 자체 설계 조립한 서버가 공개되었다. 이번 행사는 데이터 센터의 효율성 개선을 위해 혁신을 논의하려고 엔지니어와 경연진을 대상으로 한 구글의 행사였다고 한다.

데이터센터는 내부의 모습은 이번에 처음(외부 공개는 이번 처음으로 알고 있음)으로 공개됐다. 그 이전에는 휴대폰으로 찍은듯한 저화질수준의 사진 몇장만 볼 수 있었다. 그 것도 데이터센터 내부를 봤다고 하기에는 무리인 랙 몇개 정도의 작은 공간만 사진에 담겨있다.

이번에 공개된 동영상과 발표자료를 보면, 데이터센터 내부는 마치 공장을 보는 듯한 느낌이다. 가장 큰 특징은 모듈화된 구조로, 콘테이너 박스안에 서버와 스토리지를 넣는다는 것이다. 구글은 이런 형태의 시설을 2005년 후반부터 이용하고 있으며, 40피트 컨테이너에는 최대 1,160대의 서버가 들어간다고 한다. 실제 45개 컨테이너에 약 4만대의 서버가 들어있다.

google data center
[ 구글 데이터 센터 내부. 이미지 출처 : 'Google’s Container Data Center Video Tour'  ]

google data center의 서버

[ 컨터이너 내부. 출처 : 위 URL ]


  • 컨테이너를 이용한 모듈화
  • 1개 컨테이너에 최대 1,160대 서버
  • 45개 컨테이너에 약 4만대의 서버
  • 엔지니어는 스쿠터를 타고 이동
  • 자체 설계, 조립한 서버 사용. 케이스 없는 누드(?) 서버
  • 중앙식 UPS가 아닌 분산화된 UPS(서버 설명할 때 다시 얘기하겠음)
  • 컨테이너당 전력소비량 250Kw
  • 10MW
  • 컨테이너 바닥에 쿨링 시스템 (전면 'Cold Aisle' 측이 27℃ 유지)
※ Hot Aisle과 Cold Aisle이 있는데, 찬공기를 끌여들이는 전면을 Cold Aisle, 반대로 공기가 배출되는 뒷면을 Hot Aisle이라고 함.

'Inside A Google Data Center' (점심 때 봤을 땐 조회수 2천정도 였는데, 많이 늘었네 ^^)


'Google’s Container Data Center Video Tour' 에서 발표자료 일부(사진 촬영)를 볼 수 있다.

구글의 서버를 살펴보자.

구글의 UPS 효율성은 몇%일까? 놀라지 마라~~ 무려 99.9%이다. 이 효율은 바로 구글 서버 설계에 숨겨있다.
일반적으로 파워서플라이는 12V, 5V, 3.3V등 여러 전압을 제공한다. 그러나 실제로 사용하는 전압은 정해져 있고, 미사용 전압으로 변환한다는 것은 효율의 저하를 가져온다. 구글은 이중에서 12V(노란색 케이블)만 메인보드에 제공하고, 모두 없앴다. HDD로 5V전압은 메인보드에서 제공한다. 그리고, 서버에 배터리까지 장착했다. 이 배터리는 서버에 장착된 on-board 개념의 분산화된 UPS다. UPS를 서버단위까지 분산화했다니 놀랍지 않은가. 이로써 효율을 99.9%으로 끌어올렸다.

google server (구글 서버)
[ 구글 서버. 사진 중앙이 배터리 부분. 이미지 출처 : 'Close up an Old Google Server, and eWaste'  ]

google server (구글 서버)

[ 구글 서버. 출처 : 위 URL ]


  • 기가바이트 메인보드 (사진으로 확인 가능)
  • 2 CPU
  • 2개의 HDD
  • 8개의 메모리
  • 서버 케이스 없음
  • 서버에 배터리 장착(중앙식 UPS가 아닌 서버에 배터리를 붙여 구현한 분산화된 UPS, on-board UPS 개념, lead-acid 배터리)
'Google's Web Servers, Revealed'


구글 서버는 자체 설계한 부분이 많다는 것은 구글 자체 논문 발표, 책('구글을 지탱하는 기술') 등을 통해서 알고 있었다. 하지만 서버에 직접 배터리를 장착한다는 놀라운 사실은 처음 알았다. 데이터센터도 일반적인 센터 구조와 비슷할 것이라고 여겼는데(몇년전 저해상도 사진에서는 일반적 랙구조였음. 구글 데이터센터가 여러 곳이므로 일반적 랙구조도 있을 수 있겠지만), 내 상상력은 안드로메다에 두고 왔구나 싶다.

HW 설계 기술, 데이터 센터 설계 기술, 센터 운영력에서도 기술과 상상력을 보여준 구글이다. '역시 구글이다'라는 생각이 든다.

Posted by 좋은진호