はじめに 背景 信頼性 監査プロセス コスト 要件 機能要件 非機能要件 設計 システムの構成要素 なぜECSを選んだのか 監査ログ保全における適切なリソース管理 私達のユースケースに合わせたオブジェクトキー 実装と検証を繰り返しフィードバックループをまわす ログが途中で途切れる 並行運用 転送量のコスト増加 ECS Fargateのキャパシティ不足 ログの整合性をチェック ログローテーションサイズの変更 オンコールドキュメントを作成 成果 Future Works まとめ harukin drumato はじめに こんにちは。技術部技術基盤グループのharukin,drumatoです。 カラーミーでは従来Data Firehose（旧Kinesis Data Firehose）を用いて、Amazon RDSの監査ログをS3に保存する仕組みを運用していました。 しかし、運用していく中で継続
概要 Amazon RDS にはデータベースのログを CloudWatch Logs に保存することができますが、特に監査ログはアクセス量に応じて結構なコストになる場合があります。CloudWatch Logs の代わりに S3 バケットに保存することでコスト削減が可能です。マネージド機能に比べるとどうしてもログが欠落する可能性は高くなる点に注意は必要と思われますが、実現方法を整理してみました。 DB インスタンスに保存されるログファイルを Lambda で定期的に取得し、S3 バケットに保存します。 ログファイルの保存 DB インスタンス一覧を取得 取得対象となる DB インスタンスが固定の場合はこの手順は不要です。 特定のクラスター内で増減する場合やすべての DB インスタンスに対してログを取得したい場合は、DescribeDBInstances API を使用して一覧を取得します。一
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに RDS の監査ログの保存先を CloudWatch Logs から S3 に移行することで、大幅なコスト削減 に成功しました！！！ ↑ Cost Exproler の CloudWatch APN1-DataProcessing-Bytes (GB) のグラフ （12/3 にCloudWatchへのログ転送を停止、12/4 から安くなっている） 想像していたよりもやることが多く時間がかかったので、移行が完了するまでに何をしたのかをこの記事にまとめまています。 また、この施策を通じて 多くのことを学ぶことができた ので、それにつ
コーヒーが好きな emi です。 RDS Performance Insights は RDS の性能が出ない場合やエラーの原因を調査する際に大活躍するイチオシのサービスです。 データベースの負荷が問題になるケースは多くお問い合わせも多くいただきますが、いざ原因調査の際に Performance Insights をすぐに使いこなせないと困ります。 本記事では RDS Performance Insights の見方が非常に分かりやすく案内されているおすすめの動画のご紹介と、データベースの負荷が高い時に参考になるリンクをまとめました。 「そもそもデータベースの負荷とは？」というところも、動画を参考に要点をまとめております。 動画 AWS Summit 2019 のセッション動画です。とても分かりやすく、大変おすすめです。 「こんなログが出ていたらどのように負荷を判断すればいいか？」という実
こんにちは。技術部プラットフォームグループのharukinです。 この記事では、私たちが提供するネットショップ作成・運用のためのECプラットフォーム「カラーミーショップ」のデータベースを、Amazon RDSのブルー/グリーンデプロイを利用し、MySQLのバージョン5.7.38から8.0.35へアップグレードした経験についてご紹介します。カラーミーショップにおいてはこれが初の試みでした。Amazon RDS固有のファーストタッチレイテンシーの解除方法や、ダウンタイム時間の計測についてもお伝えします。 Amazon RDSのブルー/グリーンデプロイを活用するメリットは、本番環境に準ずるステージング環境を構築し事前検証が可能であることです。ステージング環境は約1分で本番環境に昇格させることができ、昇格時に許容ダウンタイムを超えたり、レプリケーションやインスタンスの問題が生じた場合は、自動的にプ
Amazon BedrockのKnowledge BaseでRAGを構築し、RDSのデータを分析するアプリケーションを開発する はじめに こんにちは！ 第一SAチームのshikaです。 普段、あるAmazon RDS上のデータベース（MySQL）に対し、SQLを実行してデータを参照しています。 毎回SQLクエリを実行するのが手間だったので、データ検索を容易にするWebアプリケーションを開発しました。 このアプリケーションには、AWSの生成AIサービス「Amazon Bedrock」を活用しており、生成AIを用いた対話式の検索機能を実現しています。 できあがったアプリケーションの画面は以下です。 データはテストデータを使ってます。以下の通り、架空の会社の従業員情報に関するデータです。 本記事ではこのアプリケーションの構成、仕組みについて、特にAmazon Bedrockの部分を重点を置いて解
この記事は、はてなエンジニア Advent Calendar 2023の2024年1月17日の記事です。 はてなエンジニア Advent Calendar 2023 - Hatena Developer Blog id:hagihala です。先日、はてなブログの DB を RDS for MySQL 5.7 から 8.0 へアップグレードしたので、工夫した点などを共有します。 Aurora MySQL 3.x にしなかった理由 MySQL 5.7 -> 8.0 で対応した変更点 character set や collation のデフォルトが変更される explicit_defaults_for_timestamp がデフォルトで有効になる SQL mode の変更 デフォルトの認証プラグインが caching_sha2_password になり、 mysql_native_passw
Japan AWS Jr. Champions Advent Calendar 23日目の投稿です！クリスマスイブイブですね。 今回は、Aurora でない RDS で稼働している DB を Aurora へ移行することを検討してみます。 現在の データベース 具体的な例があった方が分かりやすいので、移行対象の DB の情報を仮定しておきます。 データベースの情報 利用サービス：RDS (非Aurora) インスタンスタイプ：db.t3.medium (2vCPU/4GiB) ディスク容量：50GiB DBエンジン：MySQL 8.0系 MultiAZ構成 (Active-Standby) リードレプリカなし オンデマンドインスタンス 利用状況 CPU利用量：余裕あり ディスク利用量：余裕あり メモリ利用量：2GiB弱程度で安定推移 システム稼働：時間帯や日による変化はなく、一定した稼働
こんにちは。X（クロス）イノベーション本部 ソフトウェアデザインセンター セキュリティグループの耿です。 Terraform で Amazon RDS インスタンス/クラスターを作る時に、password または master_password 属性に指定したマスターユーザーのパスワードが tfstate ファイルに平文で残ってしまう問題がありました。 （参考） https://speakerdeck.com/harukasakihara/sekiyuanaterraformfalseshi-ifang-ji-mi-qing-bao-wokodonihan-mezuhuan-jing-gou-zhu-surunihadousitaraiifalse しかしこれも過去の話。Terraform AWS Provider v4.61.0 からこの問題を解消する方法が提供されているので、それについ
こんにちは。AWS CLI が好きなテクニカルサポート課の市野です。 世間では FIBA バスケットボール・ワールドカップで 17 年ぶりの勝利！ということで盛り上がっていますが、なぜ 17 ？なぜ素数？と思って調べてみたら、4年ごとに開催されることになっているものの 2014 年の次が、1年遅らせた 2019 年開催だったためのようですね。 今回は、こんな感じで IT の世界にも定期的に訪れる作業のうち、RDS および Aurora の SSL/TLS 証明書の期限到来のお知らせについてのご案内と FAQ 記事のご紹介となります。 よくあるご質問 Amazon RDS や Amazon Aurora での SSL/TLS 証明書の更新について、いただくことの多いご質問については、過去に弊社の水本がまとめている以下のエントリに記載があります。 合わせてご確認いただけますと幸いです。 blo
おはこんばんちは、DBREの橋本です。 今回は、Amazon RDS Proxy（以降RDS Proxyとよぶ）を用いたRDS for MySQLインスタンスおよびAurora MySQLクラスタのオンラインスイッチオーバーの手法について、ある程度社内での運用が確立してきましたので解説いたします。 従来のアップデート手法 AWS上でRDS for MySQLインスタンスやAurora MySQLクラスタ（以降これらをデータベースとしてまとめてよぶ）を運用している場合、それらのエンジンバージョンの更新を行ったり、OSバージョンの更新に伴う再起動を実施する必要があります。これらの更新を行う場合、以下のような方法が考えられます。 対象のデータベースに直接更新を適用する スナップショットを作成し、更新済みのデータベースとして復元する 更新済みの空のデータベースを新規作成し、そちらにデータを移行し、
内容 らくがき記事、RDSでダウンタイムなしの24-365構成ってどうすればと思い書いている記事です。 とりあえずはRDSでメンテナンスやアップデート処理が走る時に、サービスダウンするのか否かを整理した資料となります。 RDS(MySQL)の整理 機能概要 最大 64 TiB のデータベースサイズをサポート 汎用インスタンスクラス、メモリ最適化インスタンスクラス、およびバースト可能パフォーマンスインスタンスクラスをサポート 自動バックアップとポイントインタイムリカバリをサポート。 単一のリージョン内または 5 つのリードレプリカのクロスリージョン内で、インスタンスごとに最大 15 個のリードレプリカをサポート 可用性と耐久性 ３種類のオプションが選択可能 単一DBインスタンス スタンバイインスタンスのない単一の DB インスタンスを作成します。 マルチAZ DBインスタンス 別のアベイラビ
こんにちは！ スターフェスティバルでインフラエンジニアをやっております @koonagiです。 早いことにもう1月も終わりますね。 1月のうちにブログを書こうと思っていたら、あっという間に終盤になってしまっていて急いでこの記事を書いていますｗ さて、先月のre:Inventでリリースされた Amazon RDS Blue/Green Deployments について、最近検証したのでそのことについて書いていこうと思います。 Aurora v1(MySQL 5.6)が2月末でサポート終了となるため、Aurora v2(MySQL 5.7)へのバージョンアップの際にAmazon RDS Blue/Green Deploymentsを活用しようと考えており、事前準備として検証を進めました。 Amazon RDS Blue/Green Deploymentsとは 公式からの引用です。 ブルー/グリ
Best practices for configuring parameters for Amazon RDS for MySQL, part 1: Parameters related to performance | Amazon Web Services
AWS Database Blog Best practices for configuring parameters for Amazon RDS for MySQL, part 1: Parameters related to performance This blog post was last reviewed or updated January, 2025. With Amazon Relational Database Service (Amazon RDS) for MySQL, you can deploy scalable MySQL servers in minutes with cost-efficient and resizable hardware capacity. Amazon RDS frees you up to focus on application
スペースマーケットでSREを担当しています小見です。 今回は、2022年11月に発表されたばかりのAmazon Aurora Blue/Greenデプロイを利用して、 サポート終了となるAurora1のアップグレードを実施した時の調査や、躓いたところをまとめていきます。 実践している記事がほぼ皆無なため情報は公式の情報とAWSサポートに問い合わせた内容となります。 https://aws.amazon.com/jp/blogs/aws/new-fully-managed-blue-green-deployments-in-amazon-aurora-and-amazon-rds/ https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/blue-green-deployments.html 概要 今回実施したことは、Auro
今回のアップデートで追加されたCAを利用するDBサーバの証明書については、2026年の有効期限が切れる前に自動ローテーションで利用出来るとされています。 When you use the rds-ca-rsa2048-g1, rds-ca-rsa4096-g1, or rds-ca-ecc384-g1 CA with a DB instance, RDS manages the server certificate on the DB instance. RDS rotates it automatically before it expires. These CA certificates are included in the regional and global certificate bundle. Using SSL/TLS to encrypt a connection to
「最近は、データベースもB/Gデプロイできるらしいよ？」 「そりゃそうやろ。B/Gデプロイなんて、最近当たり前……… へ？DBが？無理でしょ？ほぇ？どういうこと？」 最初アップデートのタイトルを見たときの、ハマコーの率直な感想です。 Blue/Greenデプロイは、現行バージョンのトラフィックを活かしたまま新バージョンを動作確認し、問題なければ新バージョンをリリースするという、最近の安全なデプロイの概念において無くてはならないものです。 同時に新旧バージョンを稼働させるため、基本的にはステートレスなアプリケーション・サーバーにおいて利用するものという固定概念があったのですが、それをデータベースに対して既存のAWSの技術を組み合わせつつAWSらしいマネージドな仕組みで解決しようという、意欲的なリリースです。制約事項もそれなりにあるので、皆さんの運用ワークロードに当てはまるかは、事前の検証が必
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon RDS now supports new SSL/TLS certificates and certificate controls
