Download to read offline
More Related Content
![[よくわかるクラウドデータベース] Amazon RDS for PostgreSQL検証報告](https://cdn.slidesharecdn.com/ss_thumbnails/20140117rdsforpgsqlbenchreport-140216194106-phpapp02-thumbnail.jpg?width=640&height=640&fit=bounds)
![[AWS re:invent 2013 Report] Amazon RDS PostgreSQL](https://cdn.slidesharecdn.com/ss_thumbnails/reportrdspostgresql-131209205610-phpapp02-thumbnail.jpg?width=640&height=640&fit=bounds)
RDS for PostgreSQLにまつわる雑多な話
- 2. 2017/05/19 株式会社Fusic 平田 哲 RDSfor PostgreSQLにまつわる 雑多な話
- 3. Fusic Co., Ltd. 自己紹介 3 平田哲（HIRATA, Satoshi） id: debility ‘Kiban Unit’ as Fusic Co., Ltd. http://fusic.co.jp/ Fukuoka.pm Program, Server, Network, and “Nomikai” icon: © mutsuking
- 4. Fusic Co., Ltd. 自己紹介 4 平田哲（HIRATA, Satoshi） id: debility ‘Kiban Unit’ as Fusic Co., Ltd. http://fusic.co.jp/ Fukuoka.pm Program, Server, Network, and “Nomikai” icon: © mutsuking
- 5. Fusic Co., Ltd.5 基盤ユニット
- 6. Fusic Co., Ltd.6 基盤ユニット（実際） ※人数こんなにいません
- 7. Fusic Co., Ltd. 自己紹介 7 平田哲（HIRATA, Satoshi） id: debility ‘Kiban Unit’ as Fusic Co., Ltd. http://fusic.co.jp/ Fukuoka.pm Program, Server, Network, and “Nomikai” icon: © mutsuking
- 8.
- 9. Fusic Co., Ltd. 今日の話 9 AmazonRDSの話 RDS for PostgreSQL固有の話 他実際に刺さった話 その他
- 10. Fusic Co., Ltd. AmazonRDS 10 Amazon Relational Database Service 要はAWSが提供している、フルマネージドの RDBMSサービス。 現在は6種類のDBが用意されている。
- 11. Fusic Co., Ltd. AmazonRDS 11
- 12. Fusic Co., Ltd. AmazonRDSいいところ 12 冗長構成を組むのが楽
- 13. Fusic Co., Ltd. AmazonRDSいいところ 13 冗長構成を組むのが楽 Read ReplicaでSELECTの多重化が楽
- 14. Fusic Co., Ltd. AmazonRDSいいところ 14 冗長構成を組むのが楽 Read ReplicaでSELECTの多重化が楽 バックアップ/リストアが楽
- 15. Fusic Co., Ltd. AmazonRDSいいところ 15 冗長構成を組むのが楽 Read ReplicaでSELECTの多重化が楽 バックアップ/リストアが楽
- 16. Fusic Co., Ltd. AmazonRDS以前 16 ELB EC2 Instances + Auto Scale monitor access
- 17. Fusic Co., Ltd. AmazonRDS以前 17 ELB EC2 Instances + Auto Scale pgpoolーII DB DB monitor access
- 18. Fusic Co., Ltd. AmazonRDS以前 18 ELB EC2 Instances + Auto Scale pgpoolーII DB DB Monitoring monitor pgpool AMI access monitor
- 19. Fusic Co., Ltd. AmazonRDS以前 19 ELB EC2 Instances + Auto Scale pgpoolーII DB DB Monitoring monitor pgpool AMI access monitor
- 20. Fusic Co., Ltd. AmazonRDS以前 20 ELB EC2 Instances + Auto Scale pgpoolーII DB DB Monitoring monitor pgpool AMI access monitor
- 21. Fusic Co., Ltd. AmazonRDS以後 21 access ELB EC2 Instances + Auto Scale
- 22. Fusic Co., Ltd. AmazonRDS以後 22 access ELB RDS EC2 Instances + Auto Scale
- 23. Fusic Co., Ltd. AmazonRDS以後 23 access ELB RDS EC2 Instances + Auto Scale
- 24. Fusic Co., Ltd. AmazonRDS困るところ 24 費用はそれなりにかかる
- 25. Fusic Co., Ltd. AmazonRDS困るところ 25 費用はそれなりにかかる 急なバージョンアップ（不可避）がある
- 26. Fusic Co., Ltd. AmazonRDS困るところ 26 費用はそれなりにかかる 急なバージョンアップ（不可避）がある 一部機能は使えない
- 27. Fusic Co., Ltd. AmazonRDS困るところ 27 費用はそれなりにかかる 急なバージョンアップ（不可避）がある 一部機能は使えない
- 28.
- 29. Fusic Co., Ltd. 使えない機能 29 BulkInsert psqlの¥copyコマンド → 使える COPY句 → 使えない のでデータ投入用のクエリ書くときなんかに注 意が必要。
- 30.
- 31.
- 32. Fusic Co., Ltd. 使えない機能 32 日本語の全文検索 どうしてもやりたい場合は、 1.別途EC2にPostgreSQLをインストール 2. Bucardoなどを使ってRDSのSlaveにする 3. slave側で全文検索頑張る みたいなことをやらなきゃいけない。
- 33.
- 34.
- 35. Fusic Co., Ltd. 他刺さった話 35 前提: データ量が計300GB,数百万レコードある DB操作ログ用の用のtableがある → triggerで書き込まれる（INSERTのみ）
- 36.
- 37.
- 38. Fusic Co., Ltd. 他刺さった話 38 SELECT datid,datname,pid,usename,query_start, state,query FROMpg_stat_activity; → auto vacuumが終わらなくなってた
- 39. Fusic Co., Ltd. 他刺さった話 39 1.auto vacuumのプロセスを止める SELECT pg_cancel_backend(99999);
- 40. Fusic Co., Ltd. 他刺さった話 40 1.auto vacuumのプロセスを止める SELECT pg_cancel_backend(99999); 2. auto vacuumを切る ALTER TABLE table_name SET (autovacuum_enabled = false, toast.autovacuum_enabled = false);
- 41. Fusic Co., Ltd. 他刺さった話 41 3.手動でvacuumする VACUUM ANALYZE table_name;
- 42. Fusic Co., Ltd. 他刺さった話 42 3.手動でvacuumする VACUUM ANALYZE table_name; 4. auto vacuumを有効にする ALTER TABLE table_name SET (autovacuum_enabled = true, toast.autovacuum_enabled = true);
- 43.
- 44. Fusic Co., Ltd. vacuumとRDS 44 gp2(汎用SSD)にはI/Oクレジットがある →高負荷時にクレジット消費(バースト)
- 45. Fusic Co., Ltd. vacuumとRDS 45 gp2(汎用SSD)にはI/Oクレジットがある →高負荷時にクレジット消費(バースト) → 消費しきるとI/Oが大きく落ちる
- 46.
- 47.
- 48. Fusic Co., Ltd. vacuumとRDS 48 バースト継続できる最大秒数 ※クレジットが満タンの場合
- 49. Fusic Co., Ltd. vacuumとRDS 49 gp2(汎用SSD)にはI/Oクレジットがある →高負荷時にクレジット消費(バースト) → 消費しきるとI/Oが大きく落ちる → クレジットが尽きてもvacuumが終わら ないと詰む
- 50. Fusic Co., Ltd. vacuumとRDS 50 gp2(汎用SSD)にはI/Oクレジットがある →高負荷時にクレジット消費(バースト) → 消費しきるとI/Oが大きく落ちる → クレジットが尽きてもvacuumが終わら ないと詰む ので、vacuum設計が大事なケースがあります。
- 51. Fusic Co., Ltd. vacuumとRDS 51 case1: autovacuum_analyze_scale_factor autovacuum_vacuum_scale_factor をできるだけ小さくして、高頻度で analyze/vacuumがかかるようにする
- 52. Fusic Co., Ltd. vacuumとRDS 52 case1: autovacuum_analyze_scale_factor autovacuum_vacuum_scale_factor をできるだけ小さくして、高頻度で analyze/vacuumがかかるようにする case 2: autovacuumを切って、夜間に実行する
- 53.
- 54. Fusic Co., Ltd.54 Amazon Aurora
- 55. Fusic Co., Ltd.55 Amazon Aurora Amazon Aurora Amazonが提供しているオリジナルのRDBMS
- 56. Fusic Co., Ltd.56 Amazon Aurora Amazon Aurora Amazonが提供しているオリジナルのRDBMS 2016/12にPostgreSQL互換を発表
- 57. Fusic Co., Ltd.57 Amazon Aurora Amazon Aurora Amazonが提供しているオリジナルのRDBMS 2016/12にPostgreSQL互換を発表 同サイズのPostgreSQLの2倍速い（らしい）
- 58. Fusic Co., Ltd.58 Amazon Aurora
- 59. Fusic Co., Ltd.59 Amazon Aurora Amazon Aurora ・小さいインスタンスは提供されていない ・適切にI/O設計してから作らないと費用で 死ぬ
- 60. Fusic Co., Ltd.60 Amazon Aurora Amazon Aurora ・小さいインスタンスは提供されていない ・適切にI/O設計してから作らないと費用で 死ぬ といった札束解法ではあり。
- 61. Fusic Co., Ltd.61 Amazon Aurora Amazon Aurora ・小さいインスタンスは提供されていない ・適切にI/O設計してから作らないと費用で 死ぬ といった札束解法ではあり。 手を出した際にまた何か情報出します。
- 62. Fusic Co., Ltd.62 CM
- 63. Fusic Co., Ltd.63 CM
- 64. Fusic Co., Ltd.64 CM
- 65.