$ ls | wc 457 457 13531 $ du -sh . 8.4G . $ gzip -l *.gz | sort -k 3 -n | head -2 compressed uncompressed ratio uncompressed_name 8828777 65857744 86.6% hogelog.tsv $ gzip -l *.gz | sort -k 3 -nr | head -2 7788996 179347671 95.7% hogelog.tsv 7507164 173335810 95.7% hogelog.tsv $ gzip -l *.gz | awk '{compressed += $1; uncompressed += $2}END{printf("%d\t%d\n", compressed, uncompressed)}' 17863413934 237716864426
非圧縮で200GB、平均すると圧縮率は92.5%…って、compressedの合計とduの結果合わないけどまあいいや。。
これを1テーブルにまとめてInfiniDBに突っ込んだ結果。
mysql> SHOW GLOBAL VARIABLES LIKE '%version%'; +-------------------------+------------------+ | Variable_name | Value | +-------------------------+------------------+ | protocol_version | 10 | | version | 5.1.73 | | version_comment | InfiniDB 4.6.0-1 | | version_compile_machine | x86_64 | | version_compile_os | redhat-linux-gnu | +-------------------------+------------------+ 5 rows in set (0.00 sec) mysql> SELECT COUNT(*) FROM hogelog; +------------+ | COUNT(*) | +------------+ | 1083798201 | +------------+ 1 row in set (11.26 sec) mysql> SHOW TABLE STATUS\G *************************** 1. row *************************** Name: hogelog Engine: InfiniDB Version: 10 Row_format: Dynamic Rows: 2000 Avg_row_length: 0 Data_length: 0 Max_data_length: 0 Index_length: 0 Data_free: 0 Auto_increment: NULL Create_time: NULL Update_time: NULL Check_time: NULL Collation: utf8_general_ci Checksum: NULL Create_options: Comment: 1 row in set (0.00 sec) # pwd /usr/local/Calpont # ll total 64 -rw-r--r-- 1 root root 17984 Jul 3 05:50 COPYING drwxr-xr-x 2 root root 4096 Sep 12 14:32 bin drwxr-xr-x 3 root root 4096 Sep 12 14:32 data drwxrwxrwt 5 root root 4096 Sep 12 16:18 data1 drwxrwxrwt 2 root root 4096 Sep 22 04:02 etc drwxr-xr-x 2 root root 4096 Sep 12 14:33 lib drwxr-xr-x 3 root root 4096 Sep 12 14:34 local drwxr-xr-x 7 mysql mysql 4096 Sep 20 16:26 mysql drwxr-xr-x 2 root root 4096 Sep 12 14:32 post -rw-r--r-- 1 root root 28 Jul 3 05:50 releasenum drwxr-xr-x 2 root root 4096 Sep 12 14:32 sbin drwxr-xr-x 3 root root 4096 Sep 12 14:32 share # du -sh . 34G . # du -sh * 20K COPYING 23M bin 5.0M data 33G data1 212K etc 30M lib 80K local 105M mysql 24K post 4.0K releasenum 116K sbin 1.4M share # ll data1 total 4198416 drwxr-xr-x 3 root root 4096 Sep 12 14:36 000.dir -rw-r--r-- 1 root root 0 Sep 16 18:07 OAMdbrootCheck drwxr-xr-x 2 root root 4096 Sep 22 13:11 bulkRollback drwxrwxrwt 4 root root 4096 Sep 12 14:32 systemFiles -rw-r--r-- 1 root root 4294967296 Sep 22 13:11 versionbuffer.cdf
…information_schemaが何の役にも立たないことはわかった。MySQLのdatadirの/usr/local/Calpont/mysql/dbはほとんど空っぽで、data1の下がデータ本体っぽい。VersionBufferっぽいものもここにある。
http://yoku0825.blogspot.jp/2014/09/infinidb-error-122-hy000-cal0006-idb.html
gzipped tsvの4倍くらい、非圧縮テキストファイルの1/6くらいか。ふむふむ。
【2014/09/22 16:16】
MyISAMでも試してみようと思いつつ、インデックスなしの状態で2/3くらい突っ込んだところで80GBに達したのでやめました。。
0 件のコメント :
コメントを投稿