IT이야기2009. 4. 3. 23:20
4.1일 마운틴뷰에서 있었던 'Google Data Center Efficiency Summit'을 통해서 구글 데이터센터 내부의 모습과 자체 설계 조립한 서버가 공개되었다. 이번 행사는 데이터 센터의 효율성 개선을 위해 혁신을 논의하려고 엔지니어와 경연진을 대상으로 한 구글의 행사였다고 한다.

데이터센터는 내부의 모습은 이번에 처음(외부 공개는 이번 처음으로 알고 있음)으로 공개됐다. 그 이전에는 휴대폰으로 찍은듯한 저화질수준의 사진 몇장만 볼 수 있었다. 그 것도 데이터센터 내부를 봤다고 하기에는 무리인 랙 몇개 정도의 작은 공간만 사진에 담겨있다.

이번에 공개된 동영상과 발표자료를 보면, 데이터센터 내부는 마치 공장을 보는 듯한 느낌이다. 가장 큰 특징은 모듈화된 구조로, 콘테이너 박스안에 서버와 스토리지를 넣는다는 것이다. 구글은 이런 형태의 시설을 2005년 후반부터 이용하고 있으며, 40피트 컨테이너에는 최대 1,160대의 서버가 들어간다고 한다. 실제 45개 컨테이너에 약 4만대의 서버가 들어있다.

google data center
[ 구글 데이터 센터 내부. 이미지 출처 : 'Google’s Container Data Center Video Tour'  ]

google data center의 서버

[ 컨터이너 내부. 출처 : 위 URL ]


  • 컨테이너를 이용한 모듈화
  • 1개 컨테이너에 최대 1,160대 서버
  • 45개 컨테이너에 약 4만대의 서버
  • 엔지니어는 스쿠터를 타고 이동
  • 자체 설계, 조립한 서버 사용. 케이스 없는 누드(?) 서버
  • 중앙식 UPS가 아닌 분산화된 UPS(서버 설명할 때 다시 얘기하겠음)
  • 컨테이너당 전력소비량 250Kw
  • 10MW
  • 컨테이너 바닥에 쿨링 시스템 (전면 'Cold Aisle' 측이 27℃ 유지)
※ Hot Aisle과 Cold Aisle이 있는데, 찬공기를 끌여들이는 전면을 Cold Aisle, 반대로 공기가 배출되는 뒷면을 Hot Aisle이라고 함.

'Inside A Google Data Center' (점심 때 봤을 땐 조회수 2천정도 였는데, 많이 늘었네 ^^)


'Google’s Container Data Center Video Tour' 에서 발표자료 일부(사진 촬영)를 볼 수 있다.

구글의 서버를 살펴보자.

구글의 UPS 효율성은 몇%일까? 놀라지 마라~~ 무려 99.9%이다. 이 효율은 바로 구글 서버 설계에 숨겨있다.
일반적으로 파워서플라이는 12V, 5V, 3.3V등 여러 전압을 제공한다. 그러나 실제로 사용하는 전압은 정해져 있고, 미사용 전압으로 변환한다는 것은 효율의 저하를 가져온다. 구글은 이중에서 12V(노란색 케이블)만 메인보드에 제공하고, 모두 없앴다. HDD로 5V전압은 메인보드에서 제공한다. 그리고, 서버에 배터리까지 장착했다. 이 배터리는 서버에 장착된 on-board 개념의 분산화된 UPS다. UPS를 서버단위까지 분산화했다니 놀랍지 않은가. 이로써 효율을 99.9%으로 끌어올렸다.

google server (구글 서버)
[ 구글 서버. 사진 중앙이 배터리 부분. 이미지 출처 : 'Close up an Old Google Server, and eWaste'  ]

google server (구글 서버)

[ 구글 서버. 출처 : 위 URL ]


  • 기가바이트 메인보드 (사진으로 확인 가능)
  • 2 CPU
  • 2개의 HDD
  • 8개의 메모리
  • 서버 케이스 없음
  • 서버에 배터리 장착(중앙식 UPS가 아닌 서버에 배터리를 붙여 구현한 분산화된 UPS, on-board UPS 개념, lead-acid 배터리)
'Google's Web Servers, Revealed'


구글 서버는 자체 설계한 부분이 많다는 것은 구글 자체 논문 발표, 책('구글을 지탱하는 기술') 등을 통해서 알고 있었다. 하지만 서버에 직접 배터리를 장착한다는 놀라운 사실은 처음 알았다. 데이터센터도 일반적인 센터 구조와 비슷할 것이라고 여겼는데(몇년전 저해상도 사진에서는 일반적 랙구조였음. 구글 데이터센터가 여러 곳이므로 일반적 랙구조도 있을 수 있겠지만), 내 상상력은 안드로메다에 두고 왔구나 싶다.

HW 설계 기술, 데이터 센터 설계 기술, 센터 운영력에서도 기술과 상상력을 보여준 구글이다. '역시 구글이다'라는 생각이 든다.

Posted by 좋은진호

댓글을 달아 주세요

  1. 후덜덜.. 생각할 수 있는 기회를 주고, 그 생각을 구현할 수 있게 환경을 마련해주는 구글.. 멋집니다. 기존 업계에서 해오던 방식에서 벗어나는 작업을 하는 걸 두려워하는 대부분의 기업과는 정말 다르군요.. 구글은 정말 구글스럽네요.

    2009.04.03 23:42 신고 [ ADDR : EDIT/ DEL : REPLY ]
  2. 구글 서버를 조립하면서 즐거워했을 구글 Geek들의 모습이 그려지는 듯 합니다.
    좋은 글 감사합니다.

    2009.04.04 08:53 [ ADDR : EDIT/ DEL : REPLY ]
    • 역시 Geek들인 것 같아요. 투입을 기다리는 서버가 차곡차곡 쌓여있을 것 같은 장면이 떠오릅니다.

      감사합니다.

      2009.04.04 13:48 신고 [ ADDR : EDIT/ DEL ]
  3. 구글, 이동형 데이터센터 미 특허 취득
    http://media.daum.net/digital/it/view.html?cateid=1077&newsid=20071018080014068&p=dt
    2007년 10월에 구글이 '컨테이너' 데이터센터에 대한 특허를 취득했었군요.

    2009.04.04 13:52 신고 [ ADDR : EDIT/ DEL : REPLY ]
  4. darkhi

    배터리에 대한 자세한 설명은 없는게 당연하겠지만..
    배터리가 항시 켜져있어야 하는것일까요
    배터리라는 부분은 제가 잘 모르지만 디카나 핸드폰같은 경우에는 일정 시간이 지나면
    방전이 되게 되어 있고 수명이 길지 않은 편인데..
    4만대의 배터리가 일정 기간 단위로 교체되어져야 하는 부분은 비용이 상당하겠네요..
    물론 서버라는 자체가 안정성을 최우선으로해야 하는 부분이니 감수해야겠지만요..
    그래도 남다른 생각이 새로운 발전을 이끌수 있는 계기가 되어 좋은 듯 싶습니다.

    2009.04.05 01:39 [ ADDR : EDIT/ DEL : REPLY ]
    • 글에도 있듯이 lead-acid 배터리입니다. 자동차용, UPS 등에서 사용하는 배터리입니다. 완전충전해두는게 좋고, 완전방전은 안하는게 좋습니다. 수명도 길죠.

      저가용 서버를 사용하므로 부품의 교체는 많겠지만, 그래도 비용면이나 안정성에서는 오히려 나을 것입니다. 안정성이 높은 것은 다중화가 되어 있깄때문이죠. 이 부분에 대한 것은 구글 논문을 읽으시거나 '구글을 지탱하는 기술'을 읽어보시면 도움이 됩니다.

      2009.04.05 23:45 신고 [ ADDR : EDIT/ DEL ]
  5. 아주, 간략하면서도 쌈빡하게 글을 작성 하시는 분이군요...저도 지난 주 저 글을 읽고 번역을 해야 한다는 일종의 강박 관념으로 일요일을 꼴닥 세웠다능...>_<...컨테이너를 사용해서 어디든지 옴ㄹ겨 다닐 수 있도록 하겠다는 발상, 신선하지만 새로운건 아니지요...홍콩의 홍콩 은행 같은 경우는 이미 수 십년 전에 조립식 건물을 짓고 여차하면 분해해서 튈 생각까지도 가지고 있었으니 말입니다... 제 트랙빽 붙입니다...전 한 뉴스의 기사를 전면 번역해서 오린 글입니다...함 오셔서 봐 주세용~...

    2009.04.05 23:34 [ ADDR : EDIT/ DEL : REPLY ]
    • CNet에 올라온 글을 번역하셨군요. 감사합니다.
      오~ 은행에서 분해형 건물을 짓다니.

      모듈형 데이터센터가 새로운 건 아니죠. 맞습니다. SUN, HP POD, MS 등에서 이미 해왔거나 진행중이니 말이죠. 그러나 말씀하신대로 '신선'하고, 그들은 이분야에 '선두주자'입니다. 애플의 '아이폰'이 스마트폰의 시초는 아니죠. 그러나 신선합니다. 바로 이게 더 중요한 것 같습니다.
      구글은 모듈형 데이터센터를 보편화하여 운영하는 가장 대표적인 곳일 것입니다. 그들은 바로 '이노베이터'이자 '얼리어댑터'라고 할 수 있습니다.

      번역하신 글 읽으러... go ^^

      2009.04.06 19:25 신고 [ ADDR : EDIT/ DEL ]
  6. 글 읽으면서 저 UPS의 성능이 얼마나 될까 살짝 궁금해졌습니다. 과연 정전상태에서 얼마나 버틸 수 있는지 말이죠.

    2009.04.06 11:57 [ ADDR : EDIT/ DEL : REPLY ]
    • 별도 UPS도 있을 것으로 보입니다. 네트웍 장비, 보안장비, 감시장비들도 감안하면 있어야 할 것 같아요.

      그리고 저 서버에 붙인 배터리는 start할 때나 다른 A/C등으로 전환할 때 사용하는 것으로 보입니다. 주 전원이 안들어올 때 다른 곳에서 공급할 때까지 버텨주는 용도의 것이 아닐까...

      이 얘기는 제 추측입니다. ^^

      2009.04.06 19:49 신고 [ ADDR : EDIT/ DEL ]
    • 명확한 답이 있네요.
      http://perspectives.mvdirona.com/2009/04/01/RoughNotesDataCenterEfficiencySummit.aspx 블로그에 구글 발표 요약내용이 있습니다.
      그중 'Only enough power in UPS to allow generators to start or to switch to other A/C supply.' 부분

      UPS에는 발전기를 가동할 만큼이나 다른 A/C 전원장치로 전활할 만큼의 전력만 있다라는 것. 따라서 그리 많은 양이 아니고 전환시까지의 버티기용. ^^
      주전원 외에 다른 전원을 공급해줄 시설(또는 전원시설의 이중화)을 갖고 있다는 얘기가 되겠네요.

      2009.04.08 23:53 신고 [ ADDR : EDIT/ DEL ]
    • 제 보잘것 없는 질문에 친히 정보를 찾아서 답변까지 해주시고, 고맙습니다.

      2009.04.09 10:56 [ ADDR : EDIT/ DEL ]
  7. 컨테이너... 헐... IDC의 모듈화가 앞으로의 화두가 될수도 있겠네요... ㅎㅎㅎ

    서버 케이스도... 완전... ㅡ.ㅡ 대박이고...

    뭐... 먼지(dust)만 안 쌓인다면... 효율성은... 극대화 되겠군요...

    흠... 스쿠터도 완전히 깹니다...

    돈 버는 회사는 역시 따로 있군요...

    뭐... 어떤 글에서 보니깐... 구글이 되고 싶은 네이버와 네이버가 되고 싶은 네이트 란... 글이 있던데...

    ^^ 보고 배워야 될듯 하네요...

    2009.04.06 17:38 [ ADDR : EDIT/ DEL : REPLY ]
    • 컨테이너형은 SUN, HP POD, 그리고 MS까지 뛰어든 상태입니다. 이동성과 시간절약할 수 있는 최적의 조건이니깐요.
      상상(가능성)을 현실로 만든이들.. 멋지죠? ^^

      2009.04.06 19:49 신고 [ ADDR : EDIT/ DEL ]
  8. 트랙백타고 왔습니다. "역시 구글!" 이죠.

    2009.04.07 02:05 [ ADDR : EDIT/ DEL : REPLY ]
  9. 컨테이너 DC는 SUN이 유명하길래, SUN이 특허를 가지고 있나 싶었는데, Google이었군요. 흐흐
    작업상 DC를 자주 드나드는 편입니다만, Google의 서버는 놀라울 뿐입니다. 부럽기도 하고요... 흐흐

    2009.04.10 13:22 신고 [ ADDR : EDIT/ DEL : REPLY ]
    • 저도 컨테이너형 데이터센터를 처음 알게된게 SUN이었는데, 실용적으로 활용하는 면에서는 구글이 한수위이네요. http://truefeel.tistory.com/149 의 발표자료 문서도 한번 살펴보시기 바랍니다. 구글 서버 PT를 보니 이해가 아주 잘 되게 쓰여있더군요.

      2009.04.11 01:12 신고 [ ADDR : EDIT/ DEL ]
  10. 구글에는 폭포를 이용해서 냉각과 발전을 하는 IDC도 있다고 들었는데 이거랑 관련이 있나요? 그나저나 스쿠터를 타고 이동하는 엔지니어라니 멋지군요 ^^

    2009.08.13 09:14 [ ADDR : EDIT/ DEL : REPLY ]
    • 미국의 대형 데이터센터들은 전력 확보를 위해서 대형 댐 옆에 짓는 경우가 많습니다. 구글도 마찬가지구요. 그리고, 같은 강을 따라 데이터센터가 강을 따라 생기기도 합니다.


      가장 흥미로운 곳은 일명 '제임스 본드 악당(James Bond Villain)' 데이터센터입니다. 스톡홀롬 Vita Berg Park의 지하 30미터 아래 벙커에 위치해 있어요. 실제 냉전시대 군사용 지하벙커로 사용되던 곳에 지어진 데이터센터입니다. ^^

      http://www.archdaily.com/9257/pionen-%E2%80%93-white-mountain-albert-france-lanord-architects/
      https://www.youtube.com/watch?v=qwlATf9xse4

      올 상반기에 이 데이터센터에 대해 글 한 번 쓸려고 했는데, 못 썼네요. ^^

      2009.08.15 00:46 신고 [ ADDR : EDIT/ DEL ]
  11. jyp

    좋은 자료입니다. 제 블로그에 트랙백 좀 걸겠습니다. 앞으로도 데이터센터관련 좋은 글 많이 올려주세요!!

    2010.01.18 10:20 [ ADDR : EDIT/ DEL : REPLY ]
  12. [잇글링] 이 글이 [랜선까는석현]님에 의해 스크랩되었습니다.(보러가기 : http://www.itgling.com/spot/7623 )

    2010.10.06 20:52 [ ADDR : EDIT/ DEL : REPLY ]
  13. 웹서핑하다 왔는데 역시 구글다운 서버입니다.
    일반적인 idc형태와는 다른방식.
    다른서버..

    여러 회로를 가지고노는넘으로서 감히 말씀드리자면,
    저렇게 psu에서 12v만을 공급하여 5v따위 서브보드를 통해 생성 공급하는것은
    일단 12v 배터리를 복잡한 ups와 다른 간단한회로로 직결할 수 있으며
    인버터 장치가 필요없어 내용처럼 99.9% 효율이 가능하며 안정성에 있어 엄청난 이득을 줍니다.

    일반적 ups는 ac를 dc로 변환하고 배터리를 충-방전 감지회로와 다시 인버팅하여 ac를 출력하는데 이 과정에서 손실이 생기고 ups자체도 비싸집니다.
    또 순간단전시 순간리플이 생길 수 있으며 이를 생기지 않게하려면 상시인버팅 회로를 구성해야되는데 그럼 효율이 더 떨어집니다.
    저런 체제는 psu유닛의 고장까지도 대비할 수 있고
    순간 단전시 아무런 전원불안정 없이 서버를 살려둘 수 있게됩니다.
    물론 정전시 배터리의 방전에 능동적 대처는 안되지만(수많은 서버의 배터리를 일제히 갈아줄순없으니)
    idc상황상 완전 정전은 없고
    백업 변전 시설이나 자가발전 등 이미 여러루트를통해 충분히 보상되고 있을테니
    어디까지나 전력계통의 변화를 줘야되는 순간단전을 견디면 되는경우가 대부분이라.(또 완전정전에 버텨날 idc는 없음으로)
    매우 훌륭한 구성이 되겠심다.

    배터리 수명 역시 걱정할게 없는게 (솔찍히 배터리에 대해서는 잘 모릅니다만..) 납-연축 배터리라는 가정하에 수명 5년 정도로 봐도
    어짜피 그 시기라면 퍼포먼스 하락이나 하드디스크 신뢰성문제로 서버의 하드웨어 교체나 점검이 필요한시기라 서버 점검/교체시 배터리를 같이보면 되니 관리 측면에서 별도 ups시설대비 절대 효율성 떨어지지 않을겁니다.

    서버마다 모듈화된 배터리는.
    개인용 서버pc를 두대 돌리면서 운용할때 구상하는 방식이지만(제 홈페이지는 구글이 아니라-- ㅋ 필요가 없어 적용은 안합니다)
    구글은 저런 얼리아답터가 pc를 운용하는듯한 모양새로 idc서버를 운영하다니.
    정말 구글다운 발상이며 대단하다 보여지네요

    2011.09.06 20:52 [ ADDR : EDIT/ DEL : REPLY ]
    • 지식이 해박하시네요.

      뛰는 놈 위에 나는 놈이 페이스북인 것 같습니다. 서버까지 오는 단계를 줄여서 효율은 페이스북의 효율은 더 좋습니다.
      페이스북의 데이터센터는 http://truefeel.tistory.com/197

      2011.09.07 19:57 신고 [ ADDR : EDIT/ DEL ]
  14. 마푸

    메인보드가 기가바이트꺼네요. 구글의 요구대로 OEM 납품했을걸로 추측되는데 그대로 기가바이트 상표가 찍혀있네요. 전력 절감을 위해 사용한 기술들은 신기술이라기보다는 남들이 시도하지 않은 것들을 시도했다는데서 높은 점수를 주고 싶네요.
    더군다나 안정성을 최고로 추구하는 보수적인 서버기술에서 그랬다는게 신선하군요.

    2012.10.18 10:01 [ ADDR : EDIT/ DEL : REPLY ]
    • 안정성은 다수의 서버로 해결이 되니깐, 다른 중요 요소인 효율성을 위해 발상의 전환이 절실했을 겁니다.
      페이스북의 데이터센터의 효율성은 더욱 놀랍습니다. ^^

      2012.10.18 19:37 신고 [ ADDR : EDIT/ DEL ]