Amazon Athena が、分析ワークフローを合理化するマネージドクエリ結果をリリース - AWS
Amazon Athena は、追加料金なしでクエリ結果のライフサイクルを自動的に保存、暗号化、管理する新機能であるマネージドクエリ結果をリリースしました。マネージドクエリ結果では、クエリ結果の一時ストレージが提供されます。Amazon S3 バケットに結果を保存する必要がなくなるため、不要になった結果をクリーンアップするための個別のプロセスが不要になり、分析と管理のワークフローが合理化されます。現在、Athena は、さまざまなニーズを満たすために、サービスマネージド型の一時結果ストレージとカスタマーマネージド型の S3 ストレージの両方のオプションを提供しています。 チームで複数のワークグループにわたってインタラクティブな分析を行う場合でも、コードを使用してワークグループの作成を自動化する場合でも、マネージドクエリ結果を使用することで、クエリをより少ないステップで実行できます。例えば、
Amazon CloudFrontの従来のOAIから新しくなったOACに移行してみた | DevelopersIO
Amazon CloudFrontからS3へのアクセス制御として、新たにOrigin Access Controlが利用できるようになったので、従来のOrigin Access Identityから移行してみました。 はじめに みなさん、こんにちは。 ネクストモードのあゆです。 Amazon CloudFrontにOrigin Access Control(以下、OAC)の機能が追加されました。従来のOrigin Access Identity(以下、OAI)ではS3側のSSE-KMSに対応していない、 S3に対する動的なリクエストがサポートされていない、などの制限事項がありましたがOACによりそれらをカバーしています。 詳細は下記エントリーをご覧ください。 本記事では新規でOACを作成し、既存環境で使用しているOAIと差し替えて問題なくアクセスできるところまでやってみようと思います！ 書
The Apache Iceberg community has raised a PR S3: Disable strong integrity checksums to disable the newly introduced integrity checksums in AWS S3 SDKs. AWS has introduced default data integrity protections for new objects in Amazon S3, which is a positive development. However, they have also chosen to update the default settings in all SDKs, breaking compatibility with nearly all S3-compatible ser
例えば、Content-Typeメタデータの値を細工したオブジェクトを取得させることでXSSを発生させたり、Content-Dispositionメタデータを細工してRFD (Reflected File Download) を引き起こしたり、 x-amz-storage-classメタデータを操作して意図せぬストレージクラスを使用させEDoS (Economical Deninal of Sustainability)を発生させたり、といった攻撃が成立する可能性があります。 中でもContent-Typeを悪用したXSSは、S3の仕様や使用方法だけでなく、ブラウザの挙動にも注意を払う必要があり、アプリ開発者は攻撃の原理と対処を理解しておく必要があります。 9/21にAzaraさんとSecurity-JAWSのコラボで、この問題にフォーカスしたCTFイベント「とある海豹とSecurity-
Amazon S3 データセットを作成する - Amazon QuickSight
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon S3 データセットを作成する Amazon S3 データセットを作成するには データソースのクォータ をチェックし、ターゲットのファイルセットがデータソースのクォータを超えていないことを確認します。 「Amazon S3 のマニフェストファイルでサポートされている形式」で指定されているいずれかの形式を使用して、インポートするファイルを特定するためのマニフェストファイルを作成します。 マニフェストファイルをローカルディレクトリに保存するか、Amazon S3 にアップロードします。 Amazon QuickSight のスタートページで、[Datasets] (データセット) を選択します。 [Datasets] (データセット) のページで、[New
AWSのETL（抽出、変換、ロード）ツールにGlueというサービスがあるのは認識していましたが、使い方を把握していなかったので、触ってみた結果を残していきます。AI・BIの文脈で、バラバラに存在しているデータを前処理して一箇所にまとめたい、というケースは結構あると思うので、使用するケースは今後増えていきそうです。 Glueとは？ フルマネージドなETL（抽出、変換、ロード）サービスです。S3・RDS・Redshift等にあるデータを取得・変換して、これまたS3・RDS・Redshift等に吐き出すことが可能です。今回は、シンプルな例として、S3にあるcsvを読み込んで、カラム名を変換した上で、S3上の別のバケットにcsvで吐き出す流れについて記載します。 ↓やりたいことのイメージ Glueを使うにあたって、理解しておく必要のある用語がいくつかあるので、記載します。 データカタログ 入力デー
社内で RDS, Kintone, Freee など様々なサービスを使っていて、それらの情報をー箇所で集約し、分析するためのデータ基盤の必要がありました。 そのために以下の手順でデータ基盤を構築してみました。 データのまとめ：AWS Glue を用いてデータを S3 に抽出しカタログ化 データ加工：dbt-athena でデータ変換 クエリ実行：Athena でクエリ データ分析：Metabase でのデータ分析とお可視化 将来的に集めるデータ量が増加見込みなので、コスト効率と拡張性の面で S3 での保存は適切かと考えました。 また、開発チュー自体少人数なので、煩雑な管理作業を避けるためにサーバーレスや自動化に注力し、ETL（Extract, Transform, Load）ワークフローは AWS Glue、Athena、dbt で構築しました。 安全かつスマートにインフラを管理 インフラ
削除マーカーの使用 - Amazon Simple Storage Service
Amazon S3 の削除マーカーは、単純な DELETE リクエストで指定された、バージョニングされたオブジェクトのプレースホルダー (またはマーカー) です。単純な DELETE リクエストとは、バージョン ID を指定しないリクエストです。オブジェクトがバージョニングが有効なバケット内にあるため、そのオブジェクトは削除されません。ただし、削除マーカーにより、Amazon S3 はオブジェクトが削除されたかのように動作します。削除マーカーに対しては、Amazon S3 API DELETE コールを使用できます。これを行うには、適切なアクセス許可を持つ AWS Identity and Access Management (IAM) ユーザーまたはロールを使用して DELETE リクエストを行う必要があります。 削除マーカーには、他のすべてのオブジェクトと同様に、キー名 (またはキー)
AWSのALB(Application Load Balancer)のログはS3に置かれるが、この中身をサクッと調べたいとき、Athenaを使う方法が標準的で、下記で案内されているようにパーティション射影(Partition Projection)でテーブルを作ってAthenaからクエリする。 パーティション射影を使用して Athena で ALB アクセスログ用テーブルを作成する - Amazon Athena 私も従来はその方法を使っていたが、Athenaはブラウザから使うと動作がもっさりしているし、決まったクエリを1回きり実行して結果を取得したいだけのときならまだしも、探索的にクエリを何発も実行したいときには使い勝手が悪い。 最近他のプロジェクトでDuckDBを使うようになって、使い勝手の良さに感動していたが、DuckDBはALBのログを探索的に調べたいときにもめっちゃ使えると思った
こんばんは、菅野です。 仕事で Google スプレッドシートを使う機会があるのですが、そのデータを AWS のサービスで使いたくなったので Google Apps Script（GAS）を使って S3 に CSV ファイルとして保存してみました。 はじめに Google スプレッドシートは使ったことあるけど、Google Apps Script（GAS）は使ったことが無いという人がいるかもしれませんので始め方について書いておきます。 まず、ブラウザは Google Chrome を用意してください。 次に Google Apps Script アプリをインストールしましょう。以下の URL で見つかります。 https://chrome.google.com/webstore/search/Google%20Apps%20Script?hl=ja 作業の流れ 細かい事は追って説明しますが
異なるアカウントでのバケットのレプリケーション設定 - Amazon Simple Storage Service
ライブレプリケーションは、同一または異なる AWS リージョン にあるバケット間でオブジェクトを自動的に非同期でコピーする機能です。ライブレプリケーションでは、新しく作成されたオブジェクトおよびオブジェクトの更新が、レプリケート元バケットからレプリケート先バケットにコピーされます。詳細については、「リージョン内およびリージョン間でのオブジェクトのレプリケート」を参照してください。 レプリケーションを設定するときは、レプリケート元バケットにレプリケーションルールを追加します。レプリケーションルールにより、レプリケート元のソースバケットオブジェクトと、レプリケートされたオブジェクトが保存されるレプリケート先バケットが定義されます。ルールを作成して、バケット内のすべてのオブジェクト、または特定のキー名のプレフィックス、1 つ以上のオブジェクトタグ、あるいはその両方を持つオブジェクトのサブセットを
Stay up to date with the latest from the Knowledge Center. See all new Knowledge Center articles published in the last month, and re:Post’s top contributors. 解決策 注: AWS コマンドラインインターフェイス (AWS CLI) コマンドの実行中にエラーが発生した場合は、「AWS CLI で発生したエラーのトラブルシューティング」を参照してください。また、AWS CLI の最新バージョンを使用していることを確認してください。 オブジェクトをアップロードした AWS アカウントは、自動的には Amazon S3 のオブジェクト所有者になりません。S3 Object Ownership の設定を変更する際は、[バケット所有者の強制] 設
データエクスポート用の Amazon S3 バケットのセットアップ - AWS Data Exports
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 データエクスポート用の Amazon S3 バケットのセットアップ データエクスポートを受信して保存するには、 AWS アカウントに Amazon S3 バケットが必要です。コンソールでエクスポートを作成するときに、所有している既存の S3 バケットを選択することも、新しいバケットを作成することもできます。いずれの場合でも、以下のデフォルトの S3 バケットポリシーの適用を確認して確定する必要があります。Amazon S3 コンソールでこのポリシーを編集したり、エクスポートを作成した後で S3 バケットの所有者を変更したりすると、データエクスポートがエクスポートを配信できなくなります。S3 バケットに保存されているエクスポートデータは、標準の Amazon S3 レ
Amazon QuickSight でデータセットを作成するために、別のアカウントの Amazon Simple Storage Service (Amazon S3) バケットのデータを使用したいと考えています。 簡単な説明 次のステップを実行して、Amazon QuickSight (アカウント A) から別のアカウント (アカウント B) の暗号化された Amazon S3 バケットへの クロスアカウントアクセスを作成します。 S3 バケットが存在するアカウント B の S3 バケットポリシーを更新する。 QuickSight サービスロール (アカウント A) がアクセスできるリソースとして S3 バケットを追加する。 QuickSight サービスロールに S3 バケットの AWS Key Management Service (AWS KMS) キーへのアクセスを許可する。 注
Amazon Redshift での横串検索を使用したデータのクエリの実行 - Amazon Redshift
Amazon Redshift は、2025 年 11 月 1 日以降、新しい Python UDF の作成をサポートしなくなります。Python UDF を使用する場合は、その日付より前に UDFs を作成してください。既存の Python UDF は引き続き通常どおり機能します。詳細については、ブログ記事を参照してください。 Amazon Redshift での横串検索を使用したデータのクエリの実行 Amazon Redshift で横串検索を使用することにより、オペレーションデータベース、データウェアハウス、データレイク全体のデータをクエリして分析することができます。横串検索機能を使用すると、外部データベースのライブデータの Amazon Redshift からのクエリを、Amazon Redshift と Amazon S3 環境全体のクエリと統合できます。横串検索は、Amazon
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon S3 の署名付き URL (presigned URL) をマネジメントコンソールからお手軽に生成できるようになっていた | DevelopersIO
Amazon S3 API Binding for Google Apps Script
