시스템이야기2012. 6. 26. 19:20

전직 페이스북(facebook) 개발자 Eric Frenkiel과 Nikita Shamgunov가 만든 MemSQL.



MemSQLMemSQL


1. 특징을 간단히 살펴보자.

1) 개발자가 주장하기는  MemSQL 개발자에 따른 disk기반 DB보다 30배까지 빠르다고 한다.
   MemSQL은 초당 8만쿼리를 처리했고 MySQL은 초당 3천500쿼리를 처리해서 MySQL보다는 23배 빠르다고.

2) MemSQL은 메모리에 데이터를 유지하고 있어서 빠른 성능을 달성했다.

페이스북이 PHP코드를 C로 변환하여 성능을 향상시켰는데, 이 때 PHP -> C++로 변환한 툴이 'HipHop'이다. 이 HipHop툴처럼 MemSQL은 SQL을 C++로 변환하여
성능을 급격히 높였다. 개발자인 Frenkiel은 이렇게 말했다. "This is like HipHop for SQL"

3) MemSQL은 MySQL API와 인터페이스를 사용한다.

그래서 관리적 이슈도 없고, 어떤것도 새로 배울 것이 없다.

4) 하지만, 아직 지원 안되는게 있다. 그래도 나온지 얼마안된 DB가 위의 말대로의 성능만 내준다면, 앞으로 엄청난 물건이 될게 분명하다.

* UNSUPPORTED FEATURES


- Views
- Prepared Queries
- Stored procedures
- User Defined Functions
- Triggers
- Foreign keys
- Charsets other than utf8



5) MemSQL 투자자에 애쉬튼 커쳐(Ashton Kutcher)가 있다.

애쉬튼 커쳐는 IT에 관심이 많은 것 같다. 사진 공유 SNS인 Path(※ Path 공동창업자 중의 한명이 냅스터의 공동차업자 '숀 패닝')에도 투자를 했다. flipboard에도 투자하고.

2. 실제 사용해보기

MemSQL 사이트( http://memsql.com/ )에서 메일주소 입력하고 다운로드 받으면 된다.

- 64비트만 지원
- RHEL(또는 CentOS)의 경우 6.0 이상

바이너리 받아서 압축만 풀면 끝. 그리고, MySQL client 로 접속하니 정말 잘 되더라.


# ./memsqld -u root --port 3307 & <-- MemSQL 데몬 실행
#
# mysql -u root -h 127.0.0.1 -P 3307 --prompt="memsql> "
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 250
Server version: 5.5.8 MemSQL source distribution



쿼리를 실행하면 아래처럼 쿼리를 C++로 컴파일하게 된다. 그래서 초기 쿼리는 실행시간이 좀 걸리고, 그 이후는 MySQL보다 나은 성능을 보인다.
아래 'miliseconds'숫자는 생각보다 높긴한데, 실제 운영하는 DB서버라면 훨씬 낮은 수치를 보일 것이다.
맛보기 테스트를 하려고 듀얼코어, 4G 서버에서 설치한 것이다.


1688649195 2012-06-26 16:22:23 INFO: Query test.'select count(*) from test2' compiled in 669 miliseconds
2140046715 2012-06-26 16:29:55 INFO: Query test.'INSERT INTO test2(name, date) values (?, now())' compiled in 1369 miliseconds
3317465154 2012-06-26 16:49:32 INFO: Query test.'select name from test2 where id = @' compiled in 714 miliseconds
9867440156 2012-06-26 18:38:42 INFO: Query test.'update test2 set name = ^ where id = @' compiled in 1390 miliseconds


3. 성능은?

- php 5.3에서 microtime으로 시간 체크. 각 쿼리별로 5만회 실행한 시간 체크. 테스트는 3회씩.
- insert : INSERT INTO test2(name, date) VALUES ('aaaaa', now())
- select : SELECT name FROM test2 WHERE id = $i
- update : UPDATE test2 SET name = 'bbbbb' WHERE id = $i

테스트 환경은?

- 설정 튜닝이 제대로 되지 않은 상태에서 테스트가 이뤄졌고,
- MemSQL의 권장 메모리인 8G보다 적은 4G에서 테스트를 했다.
- 서비스에 투입할 수도 없는 상황이고,
- 서비스 환경에 근접하게 테스트 요청을 할 수도 없으므로

아래 수치는 성능이 MySQL보다 낫긴 낫구나라는 정도로만 이해해야 한다. 절대적인 것으로 봐서는 안된다. 정말 참고만.
수치상으로는 1.5~2배정도. 아래 수치 단위는 초.
서비스에서는 쿼리도 복잡하고, 다양한 쿼리가 한꺼번에 이뤄지므로 오히려 테스트 결과보다 성능이 더 나을 수 있을 것 같다.


1. INSERT

MemSQL 2.715 2.371 2.491
MySQL  4.004 3.974 3.982

2. SELECT

MemSQL 2.484 2.772 2.741
MySQL  4.271 4.296 4.088

3. UPDATE

MemSQL 2.380 2.527 2.177
MySQL  4.283 3.975 3.968


* 참고글 :
  Ex-Facebookers launch MemSQL to make your database fly (2012.6.18)

Posted by 좋은진호

댓글을 달아 주세요

시스템이야기2009. 6. 24. 18:49
LAMP환경(Linux, Apache, MySQL, PHP) 구축과 튜닝에 대해 주로 컨설팅 하는 Percona라는 곳이 있다. 대표적인 블로그 중 하나가 'MySQL Performance Blog'이다. 이 업체에서 컨퍼런스 영상과 실행 화면 등을 제공하는 percona.tv 사이트를 얼마전 오픈했다.
이 사이트의 성격은 'BSD 관련의 동영상'을 유튜브 한 곳에 모아둔 'BSDConferences' 동영상과 비슷할 것 같다. (관련글 : 유튜브 BSDConferences에 모여진 동영상 )

현재 몇 개의 동영상이 올라와 있다.
  • Emulate a More Granular Slow Query Log With Maatkit
  • InnoDB recovery tutorial using innodb-tools 등



percona.tv는 유튜브에 동영상을 올리고 있다. 유튜브의 PerconaPerformance채널에서도 볼 수 있다.
앞으로 MySQL의 양질의 기술적 동영상을 쉽게 접할 수 있을 것 같다. 

Posted by 좋은진호

댓글을 달아 주세요

  1. 오~~~ 좋은 자료네요...

    보고 공부 많이 해야겠습니다.

    그너 저나... 날이 엄청 더운데... 건강 유의 하세요~!

    2009.06.27 10:37 [ ADDR : EDIT/ DEL : REPLY ]
  2. 예전에 솔루션 업체 다닐 때 해두었던 MySQL, 지금도 가끔 웹서버 들어가서 DB수정이나 변경할 때 아주 요긴하게 쓰고 있습니다. :)

    2009.06.29 18:00 [ ADDR : EDIT/ DEL : REPLY ]

시스템이야기2009. 6. 8. 12:41
MySQL 설정값(my.cnf) 튜닝하는게 어려웠죠? 그 튜닝값이 내 환경이 맞는 것인지도 확인하기 어려웠죠?
MySQL의 설정값이 현재 운영중인 환경에 적합한지를 쉽게 판단할 수 있도록 도와주는 스크립트가 있다.
MySQL Performance Tuning Primer Script 에서 Download 받을 수 있다.

이 스크립트는 "SHOW STATUS LIKE..."와 "SHOW VARIABLES LIKE..."정보를 얻어낸다. 바로 이 설정값과 운영에 따라 나온 수치를 비교하여 적정한 값을 권장해준다. DB서버는 반드시 운영중이어야 하며, 최소 2일 이상 운영한 상태를 권장하고 있다. 스크립트는 Linux, Solaris, FreeBSD, MacOS에서 사용 가능.

  • DB 업타임, 평균 QPS
  • Slow Query Log
  • Max Connections
  • Worker Threads
  • Key Buffer
  • Query Cache
  • Sort Buffer
  • Joins
  • Temp Tables
  • Table (Open & Definition) Cache
  • Table Locking
  • Table Scans (read_buffer)
  • Innodb Status  (사용중인 경우만)

결과는 몇초만에 나온다.

mysql tuning

[ MySQL Performance Tuning Primer Script 결과 일부 ]



Posted by 좋은진호

댓글을 달아 주세요

  1. debian 에 포함되어있는 mysqltuner 과 비슷한 스크립트인가 보군요...

    퍼가기로 퍼 갑니다.

    2009.06.11 10:11 [ ADDR : EDIT/ DEL : REPLY ]
    • debian에는 mysqltuner( http://wiki.mysqltuner.com/MySQLTuner )가 들어있나보군요. mysqltuner보다는 이 스크립트 결과 표시가 더 나은 듯. 아무튼 이런류의 스크립트로 설정 튜닝을 하고, 그 후 query, index, ... 등의 튜닝을 하면 효과가.

      다음 view 퍼가기로 하신거군요.

      2009.06.12 13:06 신고 [ ADDR : EDIT/ DEL ]
  2. 댓글기부

    댓글 한개에 200원 기부.. 좋네요. ^^;

    2012.01.20 15:02 [ ADDR : EDIT/ DEL : REPLY ]
    • 예. 감사합니다.
      그런데 댓글만으로는 기부금액이 적어서,
      댓글과 상관없이 일정 금액을 하고 있어요. ^^

      2012.01.25 18:14 신고 [ ADDR : EDIT/ DEL ]

시스템이야기2008. 11. 27. 13:05
MySQL 5.1 Reference Manual, MySQL 5.1 HA 문서이며, MySQL Korea에 올라와 있습니다. 25일부터 서비스를 했나봅니다.

* 공지내용
11월 25일부터 MySQL 5.1 사용자 매뉴얼과 HA 매뉴얼을 한글로 제공해 드리고 있습니다.
5.1 사용자 매뉴얼은 패키지 구매시 함께 제공되는 것과 같은 내용입니다.
HA 매뉴얼은 리플리케이션과 클러스터 부분을 따로 분리하여 업데이트된 부분을 다시 번역하였습니다.
... 생략 ...

http://www.mysqlkorea.co.kr/sub.html?mcode=develop&scode=01_1&lang=k
Posted by 좋은진호

댓글을 달아 주세요

  1. 카이엔

    풉..이제 나오네요 ㅎㅎ

    2008.11.27 23:47 [ ADDR : EDIT/ DEL : REPLY ]
  2. 궁금해서 제가 사용하는 웹호스팅의 MySQL 버전을 확인하니 5.0.51a네요.

    2008.12.01 00:13 [ ADDR : EDIT/ DEL : REPLY ]
    • 예. 아직은 5.0이나 4.1 버전을 사용한 곳이 많을겁니다. MySQL 5.1 사용하는 곳으로는 웹크롤러인 spinn3r.com이 가장 유명할 것 같습니다. Sun에서도 대표적인 레퍼런스로 소개하곤 하니깐요.

      2008.12.03 00:39 신고 [ ADDR : EDIT/ DEL ]

시스템이야기2008. 11. 26. 01:19
MySQL서버는 log 옵션(my.cnf에서 log=파일명. slow query는 log-slow-queries=파일명)을 통해서 실행된 DB 쿼리를 모두 파일로 저장할 수가 있다. 그러나 DB 서버에서 작은 사이트가 아니고선 엄청난 양의 실시간 쿼리를 모두 쌓는다는 것은 힘들다. DB 운영도중에 잠시동안 쿼리 로그를 쌓겠다고 MySQL 재실행할 수도 없는 노릇이다. MySQL 5.1에서는 재실행없이 로그를 쌓을 것인지 안할 것인지를 결정할 수 있지만, 이부분은 뒤에서 설명하기로 하고, 패킷 스니핑 방법으로 실시간으로 살펴보는 방법을 소개한다.

Poor man’s query logging (Posted by Maciej Dobrzanski) 에서 tcpdump와 perl의 정규표현으로 실시간 쿼리를 살펴보는 괜찮은 방법을 소개하고 있다.

* 위 블로그에 올라온 간단한 명령
     # tcpdump -i eth0 -s 0 -l -w - dst port 3306 | strings | perl -e '
while(<>) { chomp; next if /^[^ ]+[ ]*$/;
   if(/^(SELECT|UPDATE|DELETE|INSERT|SET|COMMIT|ROLLBACK|CREATE|DROP|ALTER)/i) {
      if (defined $q) { print “$q\n”; }
      $q=$_;
   } else {
      $_ =~ s/^[ \t]+//; $q.=” $_”;
   }
}’
    
위 명령을 활용하여 SELECT/UPDATE/DELETE/INSERT 등을 highlight 하도록 작성했다. highlight 에 대한 자세한 글은 '로그 모니터링시 특정 문자를 highlight하기 (2008.1, 글 좋은진호)'를 살펴보기 바란다.

* query_sniff.sh 내려받기
* query_view.pl 내려받기

[ MySQL 쿼리를 스니핑한 후 highlight. 'count'문자도 함께 highlight ]


MySQL 5.1에서는 쿼리를 로깅할지 안할지 여부를 재실행없이 변경할 수 있는 기능이 있다. 다음과 같이 로그 저장을 ON으로 설정할 수 있고, 필요없을 때 다시 OFF를 하면 된다.

SET GLOBAL general_log = 'ON';
SET GLOBAL slow_query_log = 'ON';
... 생략 ...
SET GLOBAL general_log = 'OFF';
SET GLOBAL slow_query_log = 'OFF';

파일이 아닌 테이블로 로그를 저장하려면 다음과 같이 설정한다.
SET GLOBAL log_output = 'TABLE';

log_output= 설정 값으로는 FILE, TABLE, NONE (log_output = 'FILE', log_output = 'TABLE', ..)을 지정할 수 있다. DB 테이블로 쿼리를 저장하게 되면 쿼리 전체는 general_log 테이블에, slow 쿼리는 slow_log 테이블에 각각 저장된다. general_log 테이블의 스키마는 다음과 같으며, slow_log 테이블은 query_time, lock_time 등 다른 형식의 데이터들이 저장된다.

mysql> desc mysql.general_log;
+--------------+-------------+------+-----+-------------------+-----------------------------+
| Field        | Type        | Null | Key | Default           | Extra                       |
+--------------+-------------+------+-----+-------------------+-----------------------------+
| event_time   | timestamp   | NO   |     | CURRENT_TIMESTAMP | on update CURRENT_TIMESTAMP |
| user_host    | mediumtext  | NO   |     | NULL              |                             |
| thread_id    | int(11)     | NO   |     | NULL              |                             |
| server_id    | int(11)     | NO   |     | NULL              |                             |
| command_type | varchar(64) | NO   |     | NULL              |                             |
| argument     | mediumtext  | NO   |     | NULL              |                             |
+--------------+-------------+------+-----+-------------------+-----------------------------+
6 rows in set (0.00 sec)

보다 자세한 것은 커피닉스에 써둔 'MySQL 쿼리 실시간 모니터링 및 저장하기'를 살펴보기 바란다.
Posted by 좋은진호

댓글을 달아 주세요

  1. 알 수 없는 사용자

    좋은 정보 감사합니다. :-)

    2008.11.26 12:20 [ ADDR : EDIT/ DEL : REPLY ]