はじめに 背景 信頼性 監査プロセス コスト 要件 機能要件 非機能要件 設計 システムの構成要素 なぜECSを選んだのか 監査ログ保全における適切なリソース管理 私達のユースケースに合わせたオブジェクトキー 実装と検証を繰り返しフィードバックループをまわす ログが途中で途切れる 並行運用 転送量のコスト増加 ECS Fargateのキャパシティ不足 ログの整合性をチェック ログローテーションサイズの変更 オンコールドキュメントを作成 成果 Future Works まとめ harukin drumato はじめに こんにちは。技術部技術基盤グループのharukin,drumatoです。 カラーミーでは従来Data Firehose（旧Kinesis Data Firehose）を用いて、Amazon RDSの監査ログをS3に保存する仕組みを運用していました。 しかし、運用していく中で継続
パートナーK氏による、過去PJの構成とノウハウの紹介となります。 ざっくり要件として「メールの文面の内容を解析して次の作業を自動的に行いたい。」がありまして、課題解決のために、イベント駆動で動作するアプリケーション・システムをAWSで構築したよ。その時こんな苦労もありましたが、こう解決しましたよ。という内容でした。 ↑のような構成で構築。 かいつまんで紹介しますと、 S3 メールの保存 SES メール送信に使用 バウンスになった場合、SQSにバウンスになった旨のイベントが飛んできて、それをバッチサーバが処理する ECS アプリケーションの本体 Fargateを使用 ECR ECSで動かすDocker Imageが保存されている CircleCIを用いて ビルド→ECRにイメージ配置→ECSのタスク更新 を自動で実施できるように設定 SQS イベントを配信したり受け取ったりといった部分を管理
こんにちは。 メディアサービス開発部バックエンド開発グループのフサギコ(髙﨑)です。 Ruby on Railsによるバックエンドの実装運用と、AWSによるサービスインフラの設計構築を中心とした、いわゆるテックリードのような立ち位置で働いています。 本記事では前記事のニコニコ漫画のインフラ構成についてに続いて、読書メーターのサービスインフラの概要について軽くご紹介したいと思います。 読書メーターについて 読書メーターは、2008年5月に開設された日本最大級の読書コミュニティサイトです。 単純な読書記録や感想投稿に留まらず、ユーザ間で交流ができること、出版各社さまからご提供いただき著者さまのサイン本や発売前に校閲校正をする際の仮刷りであるプルーフと呼ばれる段階の本が貰える献本プレゼント企画を行っていることも特徴的な点です。 読書メーターの構成 読書メーターは下記の6つのコンポーネントから構成
インフラエンジニアの菅原です。 最近、バイクに念願のグリップヒーターをつけました。 これでツーリング時の手の寒さが多少楽になりそうで喜んでいます。 とはいってもなかなか出かけられないのですが… 現在私はAWS Fargateを使ったサービスをECS上に構築を進めており、日々コンテナと戯れています。 基本的にストレージ以外のコンポーネントはほとんどECSで動いているのですが、VPCのネットワーク内でちょっとした作業（たとえばネットワークの疎通確認など）をしたい場合、都度新しいタスクを起動して作業しています。 また、DBにテストデータを入れたかったり、どうしてもDBを直接操作したいことがある場合、stoneを新しいタスクを起動した上で、そのタスクを踏み台としてaws ssm start-sessionでポートフォワーディングを行い、手元から直接DBにアクセスできるようにしたりしています。 しか
はじめに こんにちは、Selenium 4の正式版がなかなかリリースされなく、ソワソワしている品質管理部・自動化推進ブロックの木村です。 私が所属する品質管理部は、ZOZOTOWNやWEARなどの開発プロジェクトに対してテスト・検証を行い、完成品がユーザーの手に届いても問題ないかを確認する部署です。その品質管理部では、先日、部署で開発運用しているSeleniumによる自動テストのシステムをオンプレからAWSに移行しました。自動テストの書き方や、個々のAWSサービスの使い方の記事は多く存在するので、本記事では自動テスト全体の概要を紹介します。単純な移行だけでなく、サーバレスやマネージドサービスを活用しているので、部分的にでも参考になる点があれば幸いです。 背景 品質管理部が行っていたリグレッションテストやシステムテストを部分的に自動化するために、Seleniumによる自動テストのシステムを開
Amazon ECS/EKS関連の日本語ハンズオンのご案内 2021年10月版 | Amazon Web Services
Amazon Web Services ブログ Amazon ECS/EKS関連の日本語ハンズオンのご案内 2021年10月版 みなさん、こんにちは。ソリューションアーキテクト、コンテナスペシャリストの荒木です。 今日は、「Amazon Elastic Container Service (Amazon ECS、ECS) のハンズオン資料はありませんか？」というリクエストにお答えしてご案内します。あわせて、Amazon Elastic Kubernetes Service (Amazon EKS、EKS) についてもご案内します。 様々な業種のお客様とAWSの利用についてお話しさせてもらう機会がありますが、利用する技術をどのように身につけるのかがしばしば話題になります。もちろんコンテナコンピューティング（以下コンテナ）についてもご相談をいただくことがありますが、コンテナ技術はまだまだ発展の
Amazon ECS でのコンテナデプロイの高速化
Amazon ECS でのコンテナデプロイの高速化 この記事は同僚の Nathan Peck (@nathanpeck)が書いた記事 “Speeding up Amazon ECS container deployments” を翻訳し、加筆・修正したものです. 元記事を ECS ユーザに紹介する機会が何回かあったので、せっかくなので翻訳することにしました. コンテナのオーケストレーションは非常に複雑な問題の一つです. アプリケーションコンテナのデプロイのために、相互にやり取りを行う複数の異なるコンポーネントが存在します. あなたのアプリケーションを実行したオーケストレータは、その実行されたアプリケーションが Web トラフィックを受け取る用意ができているかどうかについて判断する必要があります. その後そのアプリケーションはスケールダウンされたり、あるいは新しいバージョンのアプリケーション
もっといい方法があったので一番下に追記 最新のAMIみたいな情報は今どきはSSMで提供してくれるようになってきています。 Amazon ECS 最適化 AMI バージョン - Amazon Elastic Container Service aws ssm get-parameters --names /aws/service/ecs/optimized-ami/amazon-linux-2/recommended --query "Parameters[0].Value" --output text { "schema_version": 1, "image_name": "amzn2-ami-ecs-hvm-2.0.20200623-x86_64-ebs", "image_id": "ami-08d175f1b493f205f", "os": "Amazon Linux 2", "ec
Amazon ECS のタスク定義には、タスク内のコンテナの起動と終了の順序を制御する依存関係が定義できます。 docs.aws.amazon.com アプリケーションのコンテナと、アプリケーションが依存しているミドルウェアのコンテナがあった場合、依存を定義すると タスク開始時にミドルウェアが起動してからアプリケーションが起動する タスク終了時にアプリケーションが停止してからミドルウェアが停止する というような制御が可能です。 graphviz による可視化 しかし依存関係が複雑になると、JSON で文字列で書いただけでは実際にどう依存しているのかがよく分からないし、間違ってループを作ってしまうと起動できないので事前に確認したい、ということで可視化してみました。 これはとあるアプリケーションタスクの依存関係を、task definition の JSON から graphviz 用の .d
みなさん、AWSのスポットインスタンスは使っていますか？ スポットインスタンスを使えばオンデマンドインスタンスの約70-80%引きでEC2を利用でき、大きなコスト削減が出来ます。 しかし、スポットインスタンスは価格変動が起きるとインスタンスが停止したりするリスクがありますよね？ その辺りのリスクをヘッジしてくれるのがSpotinstというサービスになります。 Spotinstは価格変動によるリスクヘッジだけじゃないメリットがたくさんあるので紹介したいと思います。 Spotinstは何個かサービスがあるのですが、その中のElastigroupという機能を主に説明していきます。 結論 先に結論書いておきます。 かなり安いから使わない理由は無いです。Pricingの項目を参照ください。 Elastigroupとは spotinst.com トレンド分析 Elastigroupは独自の予測アルゴリ
OSS紹介 Advent Calendar 2017 - Qiita 18日目の記事です。(一週間遅れ) Amazon ECS へのデプロイツール ecspresso と、そこで使っている環境変数を展開しつつ複数の YAML/JSON/TOML を読み込む config loader である go-config の紹介をします。 ecspresso github.com 「エスプレッソ」と読みます。Go で書かれた Amazon ECS 用のデプロイツールです。以下の3つのファイルを用いて ECS へのサービス、タスク定義作成、入れ換えを行います。 YAML の設定ファイル タスク定義のための JSON (aws ecs describe-task-definition 出力と互換) サービス定義のための JSON (オプション。aws ecs describe-services 出力の
Speeeエンジニアの義田（@yoppiblog）です。SpeeeではUZOUというアドネットワークである広告配信システムを開発・運用しています。 今回は広告配信システムを裏で支えるバッチのDocker imageの作り方のtipsをお届けしようと思います。 GoのバッチをECSで動かす UZOUのシステムは広範囲に渡ってGoを採用しており、広告配信サーバや配信する広告を選定するバッチもGoで書いて運用しています。 UZOUを導入されるメディアさんが増えるにつれて、処理するデータ量が段階的に増加していくシステムなので、常にバッチサーバを稼働させ続けるよりは、バッチ動作時に必要な台数だけ起動して実行するほうがコストパフォーマンスが良くメンテナンスも不要なため、ECS(Amazon EC2 Container Service)で動作させています。 GoはクロスコンパイルをGoのtool cha
昨日は「JAWS-UG コンテナ支部 #9」に参加して，LT もしてきた．ECS を中心に移行の話，デプロイの話，モニタリングの話などを聞けたし，懇親会にも参加させてもらって，カジュアルに話せて楽しかった．僕もコンテナ支部の運営をお手伝いしたいな！ jawsug-container.connpass.com 発表資料 今回 LT 枠で応募したら採択してもらえたので「ECS x Mackerel ~ 動的ポートマッピングに対応したタスクのメトリクスを取得する ~」という話をしてきた．内容としては，前にブログに書いた記事を整理した感じ．時間も少なくシュッと話したので，詳しくはブログを見てもらえればなと！ kakakakakku.hatenablog.com kakakakakku.hatenablog.com 他の発表でも似た話があったけど，やっぱりタスクのメトリクスも取得したい場合は Dat
Amazon ECS でスケーラブルな Mastodon インスタンスを立ち上げる Tweet はじめに 今回は、Barcelona を使って、Amazon ECS 上に Mastodon のインスタンスを立ち上げる方法を紹介したいと思います。 単に Mastodon のサーバを起動するだけなら、VPSなどを使って一台のサーバで全部動かす方が簡単です。しかし、それではスケーラビリティの面で限界があり、ユーザが増えてきた時にいろいろ困ると思います。 ECSとさまざまな AWSのマネージドサービスを組み合せて構築することで、以下のようなメリットがあります。 ユーザが増えてきた時に負荷に応じてさまざまな方向に拡張できる 一つのクラスタ内に複数のインスタンスを立ち上げ、1インスタンスあたりの費用と運用面の負荷を抑えることができる バックアップの取得やレプリカの運用が簡単で、データを確実に守ることが
こんにちは、転職会議でプログラマをやっている山内です。 皆さんはDockerを使っていますか？ 転職会議では、AWSに移行する際に一部のアプリケーションにおいてDockerを採用しました。 AWS上でDockerコンテナを動かすのにECSを利用しています。 今日は転職会議のECSへのDockerデプロイツールであるpnzrについて紹介します。 当初の運用方式 転職会議はAWS移行した際にDockerを導入しました。 AWSが公式で用意しているAWSコンソールには、最低限の機能しか用意されていません。 このためDockerコンテナのデプロイはchat botとlambdaを利用して行っていました。 デプロイに利用するtask definition templateにはデータベースのパスワードなどの秘密情報が含まれるため、githubのリポジトリに含めることができません。 そこで、秘密情報はS
こんにちはmatsです。 今回はdocker環境への全面移行について、運用環境や全体構成について書こうかと思います。 全体構成 デプロイフロー GitHubとCircleCIの連動を軸に自動化しています。流れ的には [GitHub] PRをmasterブランチにマージ [CircleCI] 自動テスト [CircleCI] docker build でイメージ作成 [CircleCI] ECRに対してdocker push [CircleCI] API経由でECS Task Definitionを更新 [CircleCI] API経由でECS Serviceを更新 [ECS] Sevice設定を元にコンテナが展開される masterブランチが勝手にデプロイされるので、デプロイという作業は行っていないような感じです。 また、ECSのコンテナの入れ替えはELBのヘルスチェックが通るまで古いコン
データ分析や可視化に伴う複雑なジョブフローの改善にはdigdagが便利です。 少しずつ採用事例も増えているようです。 qiita.com 今回は、そんな便利なdigdagをECS上に構築しました。 *1 事前知識 digdagに関する基本的な知識は、以前のエントリを参考にしてください。 yukiyan.hatenablog.jp コード サンプル用にコードを公開しました。 github.com digdagをDockerizeし、設定ファイル(digファイル)も一緒に固めてECRにpushしています。 つまり、digdagの最新の設定ファイルは常にECRにある状態です。 digdagの設定ファイルを変更したブランチがmasterにマージされると、shippableがdocker build・digdag check・docker push・ECSに関する処理をおこない、古いdigdagコン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
