クマの手も借りたい
馬とテニスとリラックマが好きな IT 系のエンジニアです。
シェル

MySQLで日付単位に分割したテーブルを作成するシェルスクリプト

一般ユーザ相手のサービスをする場合、ユーザ数がどこまで増えるか読みにくいので 1 つのテーブルに格納されるレコード数が気になるところです。

そこで、パーティショニングやシャーディングなどの手法が候補としてあがるわけですが、どちらも運用面でメリット・デメリットがあります。

また、よくある手法で、事前に物理的にテーブルを分けてしまうという方法もあります。

今回はこの辺のテーブルの分割事情について紹介したいと思います。

テーブルの分割案

テーブル名にサフィックスとして 0 から 9 までの連番を振って 10 個に分けたり、サフィックスを日付にして 1 日分を 1 テーブルでまかなう方法もあります。

実際にはユーザのアカウント ID(数値の場合)を 10 で割った余りをサフィックスとして使うとか、100 で割った余りを使うとか様々です。

日付を使う場合は、いつまでサービスが続くかで変わってきますが、ある程度未来の分までテーブルを用意しておかないと 0 時を境にエラー連発という事態もありますので要注意です。

シェルスクリプトで実現してみる

ダラダラと思ったことを書いてみましたが、今回は純粋に日付でサフィックスを用意してテーブルを指定の数作ることを想定してみます。

そこで、今日から何日分のテーブルを作るという感じでスクリプトを書いてみましたが、実際には指定の日付から何日分作りたいとか出てくると思うので、それは最後に補足しておきたいと思います。

また、今回のように日付単位でテーブルを用意する場合は最初に一気に作るのもアリですが、終了日が決まっていないサービスだと厄介なので、毎日のバッチで翌日分を作るとか月次で翌月分のテーブルを作るなど自動化と処理完了のチェックをしておけると安心ですね。

翌日分はさすがに休日絡むと確認したくないので、もっと運用が楽になる方向で検討したいですね。

シェルスクリプトの説明

ではスクリプトの説明です。

hoge というテーブルと同じ定義のテーブルを別名で作成していきます。今回は CentOS6 で動作確認しています。

#!/bin/sh

DAYS=30

DB_USER="db_user"
DB_PASS="db_pass"
DB_NAME="db_name"
DB_HOST="db_host"
MYSQL="mysql -u${DB_USER} -p${DB_PASS} -h${DB_HOST} ${DB_NAME}"

((DAYS--))
for day in `seq 0 ${DAYS}`; do
  DATE=`date +"%Y%m%d" --date "${day} day"`
  ${MYSQL} -e "CREATE TABLE hoge_${DATE} LIKE hoge;"
done

exit 0;

応用としては、基点の日付を指定しておいて、そこから 1 日ずつ足していく方法でしょうか。

まあ、ダサイですが即席スクリプトってことで。

#!/bin/sh

START_DAY="2016-03-02"
DAYS=30

DB_USER="db_user"
DB_PASS="db_pass"
DB_NAME="db_name"
DB_HOST="db_host"
MYSQL="mysql -u${DB_USER} -p${DB_PASS} -h${DB_HOST} ${DB_NAME}"

((DAYS--))
for day in `seq 0 ${DAYS}`; do
  DATE=`date +"%Y%m%d" --date "${START_DAY} + ${day} day"`
  ${MYSQL} -e "CREATE TABLE hoge_${DATE} LIKE hoge;"
done

exit 0;
Web API The Good Parts

オライリーの「Web API」に特化した本です。最近の多くの Web サービスは API が活用されていますが、その技術はこれまでの Web サイトとそれほど大きく変わりません。

今後、マイクロサービス化が進む中で知っておいて損はない内容が詰め込まれており、現場のエンジニアやこれから Web 系のエンジニアを目指す人にもオススメの一冊です。

created by Rinker
¥2,376
(2018/09/21 11:58:20時点 Amazon調べ-詳細)

あなたにオススメ