Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに AWS Step Functionsは、サーバレスでワークフローの構築を容易にするサービスです。 Step Functionsがリリースされた当初は、主に複数のAWS Lambdaの関数を順序通り実行するためのサービスとして広まっていきました。 そのため、現在はStep Functionsの標準アクションで実現できる処理が多くなったにも関わらず、今でもLambda関数を作ってデータを渡し、他のサービスの呼び出し(橋渡し)処理やデータの変換処理を実行するアプローチを取られるケースが多々見られます。 このうち、データの変換処理につ
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに ～RDS × ElastiCache って？～ 概要 Amazon ElastiCache は、フルマネージドのインメモリデータストアおよびキャッシュサービスです。 ざっくりいうと、RDSと比べ、複雑なデータ構造は持てないが、処理が超早いデータベースです。 主な用途はこんな感じですね。 データのキャッシュ保存 セッションや重要なデータの高速読み取りがあります RDS × ElastiCache 以下の記事で紹介されているように、ElastiCacheにメインのDBのキャッシュを任せることで、処理速度の向上や、RDSのリードレプ
AWS Step Functions でタスクがエラーになったときに統一的なエラーハンドリング（エラー処理・リカバリ処理・通知処理など）が必要になることがある💡エラーハンドリングを実現する構成例をいくつか考えてみた👍 もちろん最終的には要件次第ではあって絶対にコレ❗️という答えはないと思う ＼( 'ω')／ 案1: タスクごとに Catch する まず最初に思い付くのはタスクごとに Catch する案だと思う．例えば以下のように AWS Lambda 関数（特に意味はなく Yay! という名前にした✌）を順番に3回呼び出す場合にタスクごとに Catch を実装して，エラーハンドリング用の処理 CustomErrorHandler を実行するイメージ👌 案1: ワークフロー例 実行すると期待通りになる❗️タスクごとに異なるエラーハンドリングを実装できて自由度は高いけど，統一的なエラーハ
こんにちは！シンプルフォームの山岸です。 皆さん、ETL / ELT のワークフローエンジンには何を利用されているでしょうか？ Apache Airflow や、その AWS マネージドサービスである Amazon MWAA を利用されている方も多いかと思います。もしくは TROCCO や Fivetran のようなマネージドなワークフローツールを利用されているかもしれません。 当社では多くのワークフローで AWS Step Functions (SFN) を利用しています。今回、Snowflake への ELT ワークフローを SFN で実装してみたので、本記事ではその内容についてご紹介できればと思います。 背景・課題感 背景 少し前に、「Snowflake × dbt で構築する ELT アーキテクチャ」というタイトルの記事を投稿しました。詳細な説明はそちらに譲りますが、AWS 環境か
本記事はANGEL Dojo 2024参加者によるアドベントカレンダー「ANGEL Calendar」の最終日の記事になっております。 他のみなさんが書かれた記事はこちらからご覧ください！ ※…ANGEL Dojo 2024に関しましてはAWS JAPAN APNブログをご覧ください。 こんにちは、ひるたんぬです。 今日で2024年度上半期が終わりますね。これを書いてふと思ったのですが、なぜ「YYYY年度」は4月始まりなのでしょうか？ 1月から始めてくれていれば色々スッキリするのに…と思い、なぜ4月からになったのか調べてみました。 （前略）当初から4月始まりだったわけでなく、明治政府により会計年度が初めて制度化された明治2年（1869）は、10月始まり。続いて、西暦を採用した明治6年からは、1月始まりになりました。つまり、暦年と年度の始まりが同じ時代があったのです。明治8年からは、地租の納
まずServerlessから考える、まずStep Functionsから考える @CloudNative Days Summer 2024 プレイベント
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
