SREチームの藤原です。KAYAC Advent Calendar 2021 4日目の記事です。 早速ですが Amazon ECS をお使いの皆様、何か新しく起動したい ECS タスクがあって、タスク定義を書き起こして(もしくはマネージメントコンソールで定義して)、一発で起動に成功できますか？？ ……なかなかこれが難しいんですよね。 ということで、とある ECS タスクに関連するイベントとログを全部時系列で出力するツールを書きました。どうぞご利用ください。 github.com 以下はそこに至るまでの背景です。 ECS タスクが立たない。なぜだ！ 自分は Amazon ECS を業務で使い始めて早4年になります。新規プロダクトはもちろん、かつて EC2 で動いていたワークロードもほぼ全て ECS に移行しました。 ECS デプロイツール ecspresso の開発者でもあるため、日々機能ア
この記事は fujiwara-ware advent calendar 2024 の20日目です。 mirage-ecs とは mirage-ecs は、Amazon ECS で好きなだけブランチ別の環境を作るためのツールです。 「ブランチ別の環境」とは、例えば以下のようなものです。 main ブランチのコードをデプロイした URL main.example.com feature/xxx ブランチのコードをデプロイした URL xxx.example.com fix/yyy ブランチのコードをデプロイした URL yyy.example.com 多くのメンバーがいるチームで開発をしていると、それぞれのメンバーが作業をしているブランチごとにデプロイされた環境がほしくなります。そのような環境を手動で作るのは大変ですが、mirage-ecs を使えば簡単に作ることができます。 なぜ作ったのか
［速報］「Amazon Aurora DSQL」プレビュー公開、事実上無限にスケールする高性能なPostgreSQL互換の大規模分散データベース
Amazon Web Services（AWS）は、米ラスベガスで開催中のイベント「AWS re:Invent 2024」で、PostgreSQL互換の分散データベース「Amazon Aurora DSQL」のプレビュー公開を発表しました。 Amazon Aurora DSQLは、地理的に離れた複数のリージョンでデータベースが稼働する大規模分散データベースです。 分散処理による高いスケーラビリティ、複数のリージョンによる冗長構成による高可用性の両方を実現するだけでなく、分散データベースにおいてトランザクション処理による強い一貫性を実現する際の弱点とされていたレイテンシの大きさを克服し、小さなレイテンシによる高速性も兼ね備えたPostgreSQL互換のデータベースだと説明されています。 分散データベースの弱点はレイテンシの増大 一般に分散データベースは、複数のデータベースのノードが分散してリ
こんにちは。X（クロス）イノベーション本部クラウドイノベーションセンターの柴田です。 本記事ではTerraformでコードを変更していないリソースが known after apply となってしまう場合の回避策をご紹介します。 前提 問題となるコードの例 原因 回避策 おわりに 参考 前提 この記事は以下のTerraformのバージョンを前提とします。 新しいバージョンのTerraformでは本記事と異なる挙動をする可能性があります。 $ terraform version Terraform v1.5.3 on linux_amd64 + provider registry.terraform.io/hashicorp/aws v5.7.0 問題となるコードの例 以下のTerraformコードを例に考えてみましょう。 resource "aws_s3_bucket" "sample"
We love AWS Lambda, but its concurrency handling with SQS is silly.June 3, 2021 in How To, Systems & Infrastructure We’re big fans of serverless here at Foxy.io, both in general, and the Serverless.com framework specifically. We use serverless apps internally for a number of things, like WAF automation (to block card testers), our webhooks system, our new Help Scout + Foxy ecommerce integration, a
TL;DR 東京リージョンを利用する際に2AZの冗長化で良い場合のAZ選定 「apne1-AZ1, apne1-AZ2」の組み合わせで利用するのが、レイテンシ観点からは良い。 レイテンシ: 900μs程度 大阪リージョンを利用する際に2AZの冗長化で良い場合のAZ選定 「apne3-AZ1, apne3-AZ2」の組み合わせで利用するのが、レイテンシ観点からは良い。 レイテンシ: 200μs程度 東京リージョンの方がAZ間レイテンシが平均的に高い(大阪リージョンと比較して) 大阪リージョンの方がAZ間レイテンシが平均的に低い(東京リージョンと比較して) 昨年2023年測定時との差異 2023年に測定した際の記事リンク(Zenn) 環境 インスタンスタイプ変更m5.large --> m6i.large 測定結果 東京リージョンにおける同一リージョン内のレイテンシが1/5~1/2程度になった
CodeBuild プロジェクトを使用して Webhook を設定し、GitHub ACtions ワークフローの yaml を更新して CodeBuild マシン上でホストされているセルフホストランナーを使用できる GitHub への認証は PAT か OAuth App を使う まとめというかわかったこと ※間違ってることや、こうすればいいよなどがあったらコメントください。 良かった点 セットアップは楽 ephemeral である 起動時間は EC2、Lambda 共に 1 分程度だった 個人的には十分速い マネージドイメージに加えて Docker カスタムイメージを指定可能 jobs.<job_id>.runs-on に -<image>-<image-version>-<instance-size> を追記すると、設定不要で様々なアーキテクチャのイメージを使える jobs.<job
仕事の本業や副業のWebサービスホスティングにはクラウド、多くの場面ではAWS、たまにAzureなど他を使っている。 この際、時間によって変化する処理能力への要求に対応するためにオートスケールやサーバレスを活用して運用負荷やホスティングコストと付き合っている。 これらに関する所感をまとめたいと思ったのでまとめる。 オートスケールとサーバレスの違い オートスケールとの付き合い方 オートスケールへの期待 ECSとの付き合い方の実際 オートスケールで対応できないスパイク サーバレスへの期待 余談・プロに頼ろう オートスケールとサーバレスの違い ここ数年で提供開始されたAWSのサーバレスなにがしはサーバレスではなくオートスケールだと思うので、その違和感の元を言語化しておく。 あくまで持論、個人の認識ではあるけれど、まぁまぁ実態に即した捉え方をしているのではないかと思う。 まずオートスケール。これは
Amazon CloudFront が、stale-while-revalidate および stale-if-error キャッシュ制御ディレクティブをサポート
Amazon CloudFront は、stale-while-revalidate および stale-if-error のキャッシュ制御ディレクティブのサポートを発表しました。これらはパフォーマンスと可用性を向上させます。stale-while-revalidate ディレクティブは、バックグラウンドでキャッシュを再検証している間に、ユーザーに古いレスポンスをただちに配信するよう CloudFront に指示します。stale-if-error ディレクティブは、エラーが発生した場合に CloudFront が古いレスポンスを再利用する時間を定義します。これにより、ユーザーエクスペリエンスが向上します。 stale-while-revalidate を使用すると、CloudFront は 480 以上のエッジロケーションから、より高速なレスポンスを配信できます。また、キャッシュヒット率
CEL(Common Expression Language)で書いた条件にマッチしたIAM Policyを見つける / iam-policy-finder
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 自分がAWSをこれっぽっちも知らない頃、 ググって出てきたどこか知らんサイトからだと、「欲しい情報はこれじゃない」ってのが多くあった。 そんなこと繰り返していると エラー、トラブル時に即対応できない 間違って構築したせいで運用時に悪化してしまう 古いソースコードでエラーがでて動かない これで無駄な時間を過ごすことになる。 要は「ググって得たその情報で、作ったものは正しいのか？」 AWSは常にアップデートされ続ける 欲しい情報を手に入れるまで調べる時間を割くなら、 公式展開してるサイトから得たほうが正確である。 ということで、最
Amazon ECSデプロイツールのecspressoについて、もうすぐv2.0をリリースする予定ですのでお知らせします。先行してバージョン v1.99.x をプレリリースしていますので、利用できる方はお試し頂ければと思います。 (2022-12-15追記: v2.0.0をリリースしました！) もし不具合や不審な挙動を見つけた場合、GitHub issue や作者の Twitter (@fujiwara) へのメンションで教えていただけると嬉しいです。 github.com CircleCI Orb をご利用の方に大事なお知らせ まず最初に大事なお知らせです。CircleCI Orbを利用していて次の条件に両方合致している場合、v2が正式リリースされるとv2がインストールされるため、ワークフローが期待通り動かなくなる恐れがあります。 CircleCI Orb fujiwara/ecspre
Node.js 18.x runtime now available in AWS Lambda | Amazon Web Services
AWS Compute Blog Node.js 18.x runtime now available in AWS Lambda This post is written by Suraj Tripathi, Cloud Consultant, AppDev. You can now develop AWS Lambda functions using the Node.js 18 runtime. This version is in active LTS status and considered ready for general use. When creating or updating functions, specify a runtime parameter value of nodejs18.x or use the appropriate container base
AWSジャパンは、8月15日月曜日からテレビCMを放映開始すると発表しました。放送エリアは一部地域を除く全国、放映期間は12月上旬まで。 テーマは「多様なビジネスをAWSのクラウドで」で、30秒のCMは、少女がプログラミングやリモート会議、デリバリーサービスなどを活用して家族と過ごす「データを活用して楽しい一日に」編と、少年がホテルの予約や動画配信、決済サービスなどを活用して小さな冒険を経験する「あらゆるシーンでイノベーションを」編の2種類。 それぞれのCMのなかで登場するサービスは、ANAや出前館、星野リゾート、Disney＋など実際にAWS上で稼働する実在のものとなっています。 すでにセールスフォースやサイボウズなどをはじめとするビジネス向けのSaaSを提供する企業や、ECサイトとしてのAmazonは多数のテレビCMを放映してマーケティングを活発化させています。 これらに続いて、主にI
こんにちは、サーバサイドエンジニアの@Juju_62qです。 今回はタイミーで実践しているECSのオートスケール戦略についてお話ししようと思います。 TL;DR タイミーではTarget Tracking ScalingとStep Scalingを組み合わせてオートスケールをしています Target Tracking Scaling -> 通常のスケールアウト・スケールイン Step Scaling -> スパイク時のスケールアウト 2つを組み合わせることで、様々なリクエストに対し適切なリソースを用意しています タイミーのアクセス量の変化とビジネス要求 タイミーのアクセス量の変化とこれまでのオートスケール タイミーは空いた時間に働きたい人とすぐに人手が欲しい店舗・企業をつなぐスキマバイトアプリです。 したがって、仕事の募集数や働いてくださるワーカーさんの数は世の中の動向に大きく左右されます
こんにちは。SREのid:do-su-0805です。普段はid:do_su_0805として生活しています。 この記事では、Amazon ECS（以下、ECS）でコンテナを動かすとき、ログドライバーとしてawslogsを利用してAmazon CloudWatch Logs（以下、CloudWatch Logs）にログを出力する際に、awslogs-stream-prefixというパラメータには何を設定するとよいかについて考察します。 結論から言うと、このパラメータに「コンテナのイメージタグ」を入れるようにしたところ、出力されるログストリームの/区切りの階層が見やすくなり、ログが世代別に扱いやすくなったよ、というお話です。 ECS＋CloudWatch Logs構成時のロググループとログストリームについて どのようなログストリームが構成されがちかを事例から考えてみる awslogs-strea
At the time of writing, this functionality exists but has yet to be announced or documented. It works, though! EDIT: Here is the functionality on the GitHub roadmap. GitHub Actions has new functionality that can vend OpenID Connect credentials to jobs running on the platform. This is very exciting for AWS account administrators as it means that CI/CD jobs no longer need any long-term secrets to be
それでは前回宣言した通り、Elastic Beanstalkの設定ファイルを用いた環境構築の自動化をご紹介しようと思います。 はじめに 今回の大きなテーマは**.ebextensions**を使った環境構築の自動化です。 そのための題材として、ナウいWebアプリのHTTPS対応をやってみたいと思います。 SSL証明書はACMに登録しているものを使う前提です。 なので今回の内容としては .ebextensionsの作成 Elastic Beanstalkへのデプロイ Route53での名前解決 となります。 ナウい環境って? こんなの 事前準備 ACMへの証明書の登録 まず、「そもそもドメイン持ってないよ」という方は、Route53のコンソールから適当なドメインを取得してください。 手順はこの記事がわかりやすいかと思います。 実践 では、色々と設定を.ebextensionsに追記して行きま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Safeguarding Ukraine’s data to preserve its present and build its future
