![MongoDBのIndex
商品名
タグ
値段
ボールペン
日用品, 筆記用具
198
包丁
日用品, 刃物, キッチン
2980
バナナ
食料品, 果物
348
ほうれん草
食料品, 野菜
98
牛乳
食料品,
148
商品投入
db.商品.save({
'商品名' : 'ボールペン',
'タグ': ['日用品', '筆記用具'],
'値段':198 }
);
：
：
食料品で200以下の商品を取得
インデックス
■MongoDB
db.商品.ensureIndex({
'タグ':1, '値段':1
});
データ形式、Index共に
クエリー
完全にサポート！
db.商品.find({
タグ構造にもってこい！！
'タグ':'食料品',
'値段': { $lte : 200 }
});](https://image.slidesharecdn.com/dbtechshowcasekubota-131114015927-phpapp02/85/DB-tech-showcase-MongoDB-21-320.jpg)
![MongoDBのIndex
商品名
タグ
値段
ボールペン
日用品, 筆記用具
198
包丁
日用品, 刃物, キッチン
2980
バナナ
食料品, 果物
348
ほうれん草
食料品, 野菜
98
牛乳
食料品,
148
食料品で果物の商品
■MongoDB
$all が使える
今の実装では最初の
要素のみIndex scan
クエリー
db.商品.find({
'タグ': { $all : ['食料品', '果物']}
});](https://image.slidesharecdn.com/dbtechshowcasekubota-131114015927-phpapp02/85/DB-tech-showcase-MongoDB-24-320.jpg)
DB tech showcase： 噂のMongoDBその用途は？
- 2. About me
- 5. －5 －
- 6. －6 －
- 7. －7 －
- 8. －8 －
- 9. －9 －
- 10. －10 －
- 13. －13 －
- 16. －16 －
- 17. MongoDBの特徴 1. スキーマレス 2. 高機能Index 3. 高速 4. 並列性（& automatic failover） ・耐障害性 ・スケーラビリティー 5．トランザクション無し ・代わりのAtomic処理 6．ＪＯＩＮ無し
- 18. Index －18 －
- 19. MongoDBのIndex 商品名 ボールペン タグ 値段 日用品, 筆記用具 198 包丁 日用品, 刃物, キッチン 2980 バナナ 食料品, 果物 348 ほうれん草 食料品, 野菜 98 牛乳 食料品, 148 食料品で200以下の商品を取得
- 20. MongoDBのIndex 商品名 タグ 値段 ボールペン 日用品, 筆記用具 198 包丁 日用品, 刃物, キッチン 2980 バナナ 食料品, 果物 348 ほうれん草 食料品, 野菜 98 牛乳 食料品, 148 商品・テーブル CREATE TABLE 商品 ( id INT PRIMARY, 商品名 VARCHAR(100) ); タグ・テーブル CREATE TABLE タグ ( 商品id INT, タグ名 VARCHAR(100), 値段 INT, KEY(タグ名,値段) ); 食料品で200以下の商品 商品投入 ■RDBMS INSERT INTO 商品 VALUES (1,'ボールペン'); INSERT INTO タグ VALUES (1,'日用品',198), (1,'筆記用具',198); 苦手な処理 ： クエリー ・Index用のテーブルを SELECT * FROM 商品 INNER JOIN タグ ON タグ.商品id = 商品.id 別途用意しＪＯＩＮ WHERE タグ名 = '食料品' AND 値段 <= 200; 値段が重複管理で筋が悪い。。
- 21. MongoDBのIndex 商品名 タグ 値段 ボールペン 日用品, 筆記用具 198 包丁 日用品, 刃物, キッチン 2980 バナナ 食料品, 果物 348 ほうれん草 食料品, 野菜 98 牛乳 食料品, 148 商品投入 db.商品.save({ '商品名' : 'ボールペン', 'タグ': ['日用品', '筆記用具'], '値段':198 } ); ： ： 食料品で200以下の商品を取得 インデックス ■MongoDB db.商品.ensureIndex({ 'タグ':1, '値段':1 }); データ形式、Index共に クエリー 完全にサポート！ db.商品.find({ タグ構造にもってこい！！ 'タグ':'食料品', '値段': { $lte : 200 } });
- 22. MongoDBのIndex 商品名 ボールペン タグ 値段 日用品, 筆記用具 198 包丁 日用品, 刃物, キッチン 2980 バナナ 食料品, 果物 348 ほうれん草 食料品, 野菜 98 牛乳 食料品, 148 食料品で果物の商品を取得
- 23. MongoDBのIndex 商品名 タグ 値段 ボールペン 日用品, 筆記用具 198 包丁 日用品, 刃物, キッチン 2980 バナナ 食料品, 果物 348 ほうれん草 食料品, 野菜 98 牛乳 食料品, 148 食料品で果物の商品 ■RDBMS SQLでの表現は困難 self join する? クエリー（2タグ限定版） SELECT * FROM タグ a INNER JOIN タグ b ON a.商品id = b.商品id AND a.タグ名 != b.タグ名 INNER JOIN 商品 c ON a.商品id = c.id WHERE a.タグ名 = '食料品' AND b.タグ名 = '果物' GROUP BY a.商品id;
- 24. MongoDBのIndex 商品名 タグ 値段 ボールペン 日用品, 筆記用具 198 包丁 日用品, 刃物, キッチン 2980 バナナ 食料品, 果物 348 ほうれん草 食料品, 野菜 98 牛乳 食料品, 148 食料品で果物の商品 ■MongoDB $all が使える 今の実装では最初の 要素のみIndex scan クエリー db.商品.find({ 'タグ': { $all : ['食料品', '果物']} });
- 25. MongoDBのIndex 主なIndex ・配列へのIndex（tag） ・複合Index ・平面／球面座標Index ・図形Index（交点,内包,近傍など各種検索） ・円, 線, 多角形, etc covered indexesも搭載 NoSQLの弱点を多機能なIndexで補う戦略
- 26. 高スループット －26 －
- 27. MongoDBのスループット 計測条件 ・3 core 3GB memory ・構文解析込み（SQL, JS） ・lo経由通信 (localhost) int(11) ・1レコード、4kb程度 id int(11) PRI value0 value1 int(11) ・1,000,000 レコード value2 int(11) value3 varchar(50) value4 varchar(50) = 4GB value5 varchar(50) value6 varchar(50) value7 varchar(255) ・11 column value8 int(11) value9 text ・MySQLはInnoDB
- 28. MongoDBのスループット Insert ・MySQL : 345 sec (5m 45s) ・MongoDB : 123 sec (2m 03s) ・(MyIsam ) : 240 sec (4m 00s)
- 29. MongoDBのスループット Range fetch (10,000件 x 100) SELECT ・MySQL : 202 sec * FROM ・MongoDB : 3.7 sec mytbl WHERE id BETWEEN 0 AND 9999; Range count (10,000件 x 100) ・MySQL : 37 sec SELECT COUNT(*) ・MongoDB : 0.4 sec FROM mytbl WHERE id BETWEEN 0 AND 9999;
- 30. MongoDBのスループット MongoDB 範囲検索は特に速い！ ・B-tree実装が良い Countが速い！ ・カーソルの両端を先に見る Read >>> Write な WEBシステムに最適
- 31. 並列性 －31 －
- 34. replica-set Primary: 書き込み可能ノード Secondary: 読み取り専用ノード 全てのノードは同じデータを持っている Primary 同期 Secondary Secondary Secondary Secondary －34 －
- 35. replica-set Primary: 書き込み可能ノード Secondary: 読み取り専用ノード Primaryが死んでも自動Failover Primary Primary 昇格 同期 Secondary Secondary Secondary Secondary －35 －
- 36. replica-set Primary: 書き込み可能ノード Secondary: 読み取り専用ノード 自動Failoverではsplit brainが怖いのでvotingで対策 （以下の例では4/5 で当選） Primary Primary 投票 Secondary Secondary Secondary Secondary －36 －
- 37. replica-set www.mongodb.jp httpd PHP mongo A mongo B mongod secondary mongod primary replica-set
- 38. replica-set www.mongodb.jp www.mongodb.jp httpd httpd PHP PHP mongo A mongo B mongo C mongod secondary mongod primary mongod secondary replica-set
- 39. Sharding －39 －
- 40. Sharding mongos：クエリーゲートウェイ mapping情報に基づき振り分ける config： mapping情報を保持 key = 'abc' key = 'xyz' mongos config config config key => replicaset map a.. ~ hz.. => Replica-set1 ia.. ~ rc.. => Replica-set2 rd..~ z.. => Replica-set3 Replica-set1 Replica-set2 Replica-set3 －40 －
- 42. 詳細はコチラ Sharding
- 46. MongoDBの排他 とはいえ、ある程度の排他処理は必要 NoSQLでは楽観ロックが主流 並列化を目指すと悲観ロックは機能しない memcached の CASが有名 (Check and Set)
- 48. MongoDBの排他 ＣＡＳ 1. aがデータAをget Ａ (cas=1) 2. ほぼ同時にbがデータAをget Ａ (cas=1) 楽観ロックなので 取れて良い memcached Ａ (cas=1)
- 49. MongoDBの排他 ＣＡＳ 1. aがデータAをget Ａ (cas=1) 2. ほぼ同時にbがデータAをget Ａ (cas=1) 3. aがデータAを更新 Ａ' (cas=1) memcached cas値が一致する ので更新成功 Ａ (cas=1) Ａ' (cas=2)
- 50. MongoDBの排他 ＣＡＳ 1. aがデータAをget 2. ほぼ同時にbがデータAをget Ａ (cas=1) 3. aがデータAを更新 4. bがデータAを更新 Ａ''(cas=1) memcached Ａ' (cas=2) cas値が不一致で 更新失敗
- 51. atomic操作 －51 －
- 53. 簡易CAS GET data1 = db.myData.findOne({ _id : 'FOO' }); PUT db.myData.update({ _id: data1._id, cas: data1.cas },{ $inc : { cas : 1 }, $set { field1 : 'updated' } }); CASの実装は簡単 ・update時に常にcas値を1つ増加させる。 ・update時のクエリにドキュメントのcas値を使えば 衝突した際にはcas値が合わずupdateが失敗する －53 －
- 54. atomic操作 配列系のatomic操作 $pop / $pullAll / $pull 配列フィールドから値を削除 $pushAll / $push 配列フィールドに値を追加 capped array 配列フィールドに値を追加する際 任意の配列長に保つよう切り捨てる機能
- 56. atomic操作 MongoDBにはfindAndModifyがある findAndModify atomicにデータ取得と更新が出来る ≒ SELECT ~ FOR UPDATE ＋UPDATE ＋COMMIT or ROLLBACK
- 57. 簡易MQ インデックス db.myMQ.ensureIndex({ tm: 1 }); 投入（アプリ）側 db.myMQ.save({ tm: 0, Jobデータ }); ワーカー側 db.myMQ.findAndModify({ query: { tm : 0 }, update: { $set : { tm : 1 }} }); tm = 0 のドキュメントを拾うと同時にtm = 1 に更新してしまう。 他のワーカに拾われないという寸法！ －57 －
- 58. 簡易Jobスケジューラ インデックス db.myMQ.ensureIndex({ tm:1 }); 投入（アプリ）側 db.myMQ.save({ tm: Number(ISODate())+3600, Jobデータ }); ワーカー側 db.myMQ.findAndModify({ query: { tm : { $lte :Number(ISODate())}}, update: { $set : { tm : Number.MAX_VALUE }} }); tm に時刻（3600秒後）を入れれば、狙った時間にFireできる。 $inc : 3600の様にすれば定期的なJobにも出来る。 結構自由自在！ －58 －
- 60. Monmoちゃん －60 －
- 61. Monmoちゃん findAndModifyを上手く使って MapReduce環境を作ってみた。 V8 が優秀で思ったより使える！ MongoDB 以外何も要らない （ロジックはDBの外で動作）
- 62. ついでに －62 －
- 64. Joinが出来ない －64 －
- 71. 最後に地雷の話 －71 －
- 74. おしまい 有難う御座いました。