タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
AWSのALB(Application Load Balancer)のログはS3に置かれるが、この中身をサクッと調べたいとき、Athenaを使う方法が標準的で、下記で案内されているようにパーティション射影(Partition Projection)でテーブルを作ってAthenaからクエリする。 パーティション射影を使用して Athena で ALB アクセスログ用テーブルを作成する - Amazon Athena 私も従来はその方法を使っていたが、Athenaはブラウザから使うと動作がもっさりしているし、決まったクエリを1回きり実行して結果を取得したいだけのときならまだしも、探索的にクエリを何発も実行したいときには使い勝手が悪い。 最近他のプロジェクトでDuckDBを使うようになって、使い勝手の良さに感動していたが、DuckDBはALBのログを探索的に調べたいときにもめっちゃ使えると思った
Athena Amazon Athenaは、標準SQLを使用してAmazon S3に保存されたデータを分析することができる、強力でサーバーレス、インタラクティブなクエリサービスです。複雑なETLパイプラインやデータウェアハウスを設定して管理する必要がなく、大量のデータを処理する組織にとって魅力的なオプションです。ただし、Athenaの価格設定は、予算が厳しい場合など、すべてのユーザーに適しているわけではありません。このブログ投稿では、Athenaの代替となる、低コストで同等の機能を提供できるアルティメットを紹介します。 利点: Athenaの主な利点の1つは、Amazon S3のデータを、複雑なETLプロセスや専用のデータウェアハウスなしに、標準SQLクエリを使用して分析できることです。 Athenaはサーバーレスでもあり、データ量やクエリの複雑さに基づいて自動的にスケールされるため、事前
はじめにこんにちは、Finatextで証券プラットフォーム（Brokerage as a Service、以下BaaS）の開発に携わっている石橋（@bashi0501）です。過去のFinatextテックブログではTerraform、CDKとIaCをテーマにした記事しか書いたことがなかったのですが、今回はログの分析活用をテーマとします。 概要弊社の証券事業ではECSによるワークロードを組んでいます。本テーマのアプリケーションログについては標準出力したものをawslogsログドライバーが回収してCloudWatch Logsに送信しています。 ログの検索という観点ではCloudWatch Logs Insightsというサービスでかなりリッチにフィルターや集計を行うことができるのですが、ログデータを元にしたユーザーのファネル分析や業務改善（後述します）に活かしていきたいという意図があるため、マ
Cloud Operator Days Tokyo は、クラウドの運用者に焦点を当てた技術者向けの新しいテックイベントです。AWS環境の運用を手がけるアイレット株式会社のインフラエンジニア古屋氏が、実際にやってしまったしくじりを紹介。原因と対策を語ります。まずは「Athenaで170万円請求」「EC2が復旧できない」 というしくじりから。（全2回） しくじり先生 on AWS古屋啓介氏（以下、古屋）：では「しくじり先生 on AWS」ということで、始めたいと思います。よろしくお願いします。今日は、AWS環境を使って日々運用していく中で発生した、しくじり、失敗事例。そしてそのしくじりの原因と、そこから得られた教訓についてお伝えしようと思います。 今日このお話を聞いたみなさんの中で「あ、うちの環境どうっだったかな？」と、思われる方もいらっしゃるかもしれません。今日お伝えすることの中で、ちょっと
CTO室SREの侘美です。最近は社内のセキュリティ対策関連を生業にしております。 今回は最近進めていた社内のAWSアカウントのセキュリティ可視化がある程度形になったので記事にしたいと思います。 課題：多数のAWSアカウントのセキュリティをチェックしたい サイバー攻撃が増加している昨今、AWSなどのPaaS環境においても構築時にセキュリティの観点で注意すべき点がいくつもあります。 例えば、不必要なサーバー/ポートがインターネットに公開されていないか、アカウントにMFAが設定されているか、等々実施しておきたいセキュリティ対策は多岐にわたります。 弊社では、AWSを用いてインフラを構築する際にセキュリティ上守るべきルール集を、インフラセキュリティポリシーというドキュメントを定義しています。 しかし、あくまでドキュメントベースなので、実際にこのドキュメントに書かれたルールに準拠した構成になっている
こんにちは。ソーシャル経済メディア NewsPicksのSREチームで仕事をしている安藤です。 NewsPicks Advent Calendar 2023 の1日目ということで、日常の業務風景から軽いコスト最適化TIPSをご紹介します。 qiita.com AWSコストを最適化したいよぉ〜 NewsPicksはおかげさまでサービス10周年を迎え、ユーザー数も事業も伸びておりますが、 事業の成長やエンジニア組織の拡大に比例してAWSコストが増え、円安でさらに日本円での負担が増え、となると事業の利益率にも少なからず影響がでます。 私が所属するSREチームでは、「売上に対するAWSコストの割合は、規模が拡大するほど減っていくべき」という考えを持っており、 積極的にAWSサービスの使い方を見直して毎年コストを削っていくつもりで仕事をしています。 AWSが提唱するCloud Financial M
ソーシャル経済メディア「NewsPicks」でSREをしている美濃部です。 NewsPicksのSREのミッションの1つに「コストを適正化する」というものがあります。サービスの規模拡大に比例してインフラコストが増えないようにし、売上に対するコストの割合を低く維持していくのがミッションになります。 今回はAWSコスト削減の中でもConfigの料金に注目して紹介したいと思います。 コストモニタリング定例について Configのコスト分析をどうやって行なったか ConfigのレポートをQuickSightで可視化 構成 手順 QuickSightで可視化する事でわかった事 コスト増加の要因となったリソースタイプがわかったので対応する まとめ まず、SREでは週次でコストモニタリング定例を実施しているのでその内容について簡単に触れさせて頂きます。 コストモニタリング定例について 週次で主に以下のよ
こんにちは、 id:sora_h です。これは KMC Advent Calendar 2023 12 日目の記事です (大遅刻)。 KMC ではインターネット接続手段の 1 つとして AS59128 を 2017 年頃より運用して、部室内のサーバーや一部の部員が利用しています。これまでフロー情報の収集は行ってきませんでしたが、今年、フロー情報の統計を収集して分析を可能にしたため、その実装を軽く紹介します。地味に pmacctd のドキュメントが難解だったので…。 経緯 AS59128 は運用初期から複数のトランジットやピア、東西に跨った複数拠点が存在していますが、外部の経路由来の障害や性能劣化についての調査はフロー情報なしで実施していて、特に変化前のトラフィックを確認することがそれなしでは難しくエスパーを繰り返してました。 このままでは障害時の対応が手探りで安定運用に支障がある、また (
AWS Config の料金がなぜこんなに高い？ Amazon Athena でどのリソースが Config の記録対象になっているか調べてみた | DevelopersIO
わたしの検証環境で試していきます。 Config の設定確認 AWS Config 配信チャネルで、出力先の S3 バケットがどこであるか確認しましょう。 普段独立したリソースとして意識する機会は少ないと思いますが、マネジメントコンソールで以下から確認できる部分は配信チャネルの設定を表しています。 S3 バケットに格納されたオブジェクトの URI の例は以下です。 s3://バケット名/AWSLogs/アカウント番号/Config/ap-northeast-1/2021/9/24/ConfigSnapshot/ファイル名.json.gz ちょっとした気づきですが、yyyy/mm/dd形式になっていません。2021/09/24のように月や日を 2 桁に揃えてくれるわけでなく、元の数字が 1 桁のままであればそのまま 1 桁です。 Athena のクエリ結果の出力先 S3 バケットの作成 今回
[新機能] Amazon Athena データソースコネクタを使ってBigQueryのライブデータにクエリしてみました！ | DevelopersIO
はじめに 先日、AWS Summit San Francisco 2022にて、Amazon AthenaのFederated Queryを経由してデータにアクセスできる10種類のデータソースコネクタをサポートが新たに追加されました。ザックリ言うと、Athenaから以下のデータソースにアクセスできるようになったということです！ 本日は、中でも注目度の高いBigQueryへのクエリについて試してみます。 SAP HANA (Express Edition) Teradata Cloudera Hortonworks Snowflake Microsoft SQL Server Oracle Azure Data Lake Storage (ADLS) Gen2 Azure Synapse Google BigQuery Amazon Athenaのデータソースコネクタが動作するVPC/Sub
![[新機能] Amazon Athena データソースコネクタを使ってBigQueryのライブデータにクエリしてみました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e74dfc28e3f87861a3abf7b0257ff46d1c1a0f04/height=288;version=1;width=512/https%3A%2F%2Fsiteproxy.ruqli.workers.dev%3A443%2Fhttps%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-athena.png)
はじめに 今日は、Amazon Athena クエリのパフォーマンスを向上させる方法についてご紹介します！ Athena とは、Amazon S3 に保存されているデータを中心に、SQL を使ってさまざまなデータソースにクエリを実行できるサービスです。 クエリのパフォーマンスを向上させる方法はいくつかありますが、その中でも効果が大きいのが「スキャンするデータ量を減らす」ことです。 Athena の料金はスキャンしたデータ量に応じて発生するため、パフォーマンスを向上だけではなくコストも最適化できます。 Athena がスキャンする必要があるデータ量を減らすための方法として、パーティションとバケッティングというものがあります。 今回は、パーティションとバケッティングをどのように使い分け、併用すればよいか解説します！ パーティションとは パーティションとは、S3 上のデータをフォルダ（プレフィッ
こんにちは。SREチームの田中 （@kangaechu）です。リモートワークで座ってばかりの生活に危機感を感じ、昨年11月頃からランニングを始めました。最初は1キロ走っただけでヒイヒイ言っていたのですが、最近は10キロくらい走れるようになりました。運動は嫌いな方だったのですが、走るのが楽しいと思えるようになったのが一番の収穫かなと思っています。 今回はALB（Application Load Balancer）のログ検索について紹介します。 ３行で説明するよ AWSの公式ドキュメントの通りAthenaの設定をするとALBの過去ログが検索できない 正規表現をいい感じにすることで過去ログも検索できるようになった Athenaのテーブル作成、Terraformでできるよ crowdworks.jpのシステムログ検索: Athena システムのイベントを適宜記録し、利用状況の把握や障害時の調査、シ
Microsoftは2019年頃からChatGPTやGPT-4のような大規模言語モデル(LLM)のトレーニングに使用できるAIチップの開発に取り組んでいると、The Informationが報じています。報道によると、MicrosoftとOpenAIの一部の従業員は開発中のAIチップを用いてLLMのパフォーマンスを既にテストしているそうです。 Microsoft Readies AI Chip as Machine Learning Costs Surge — The Information https://www.theinformation.com/articles/microsoft-readies-ai-chip-as-machine-learning-costs-surge Microsoft Building Its Own AI Chip on TSMC's 5nm Proc
はじめに この記事はクラスメソッド発 製造業 Advent Calendar 2024の6日目の記事です。 製造現場では、様々なセンサーから大量のデータが生成されます。これらのデータは、装置の稼働状況の監視、製品品質の向上、故障予測など、様々な用途に活用できます。しかし、これらのデータを効率的に収集・分析するためには、適切なデータ基盤が必要となります。今回は、そういったセンサーデータを分析するためのデータ基盤の候補として、Data Firehose + S3 Tables + Athenaの構成を試してみます。 S3 Tablesとは S3 Tablesは、re:Invent 2024で発表された新しいストレージソリューションで、次のような特徴を持ちます。 分析に特化したストレージ設計: 高いトランザクション性能とクエリスループット 汎用のS3バケットに比べて3倍のクエリパフォーマンスと1
Amazon AthenaにPartition Projection（パーティション射影）という機能があります。 dev.classmethod.jp ざっくりいうとパーティション管理を自動化して、高速にクエリが実行でき、お財布にも優しいというものです。個人的にはめちゃくちゃ便利だなと思い、特にログの調査に活用しています。 ログ調査対象のサービスの内、大体どのプロジェクトでも使っているものがいくつかあります（ALB、VPCフローログ、CloudTrail....）。 これまではPartition Projectionの設定を行うCREATE文を毎回実行していたのですが、少し面倒なのでAWS CDKで実装し使いまわせるようにしました。 今回の実装の全体像は以下です。 1. 概要 対象のログ 実装方法 2. 実装詳細 プロジェクト構成 実装の流れ 入力のインタフェース Glue データベースを
DX・リモートワークの推進で、より注目を集めるようになったITインフラ。いつもの仕事にもスピード感が求められ、スキルアップへの余力がなかった方も、少なくないのではないでしょうか。そんな方こそ、時間のあるGW中に、ひとつでも新たな情報や気づきをぜひ得ておきましょう。今回はインフラ分野に特化して、GWまとめ読みにおすすめの記事を、連載もの・1記事完結もの合わせ、5つピックアップしました。 まとめ読みおすすめインフラ記事（1） けしからんSoftEther VPNを作ったら怒られた 登大遊氏のVPN構築ソフトを日本政府が配布停止した理由 情報科学若手の会とは、情報科学に携わる学生、若手研究者、エンジニアのディスカッションと交流の会です。NTT東日本特殊局員の登氏が政府に配布停止要請されたVPNソフトの話など、シン・テレワークシステムの開発のもととなった数々の経験を開発秘話として講演しました。まず
Amazon Athena を使用して AWS Cost and Usage Report をクエリする | Amazon Web Services
Amazon Web Services ブログ Amazon Athena を使用して AWS Cost and Usage Report をクエリする AWS Cost and Usage Report には、お客様のコストと使用状況に関する包括的な情報が含まれています。Amazon Athena を使って AWS Cost and Usage Report のデータソースに問い合わせることで、迅速に価値を引き出すことができます。 Amazon Athena はサーバーレスのインタラクティブなクエリサービスであり、Amazon S3 バケット内の情報に直接クエリし、標準的な SQL を使用して分析します。これには、pricing、products、および reservations に関連する追加のメタデータが含まれます。最も良い点は、インフラストラクチャの設定や維持が必要ないことです。
こんにちは！ 今年、dely株式会社に新卒入社した開発本部のGENです。 この記事は「dely #2 Advent Calendar 2020」の3日目の記事です。 「dely #1 Advent Calendar 2020」はこちら↓ 昨日はisidaさんの「Swiftで1+1が何故2になるのか調べてみた」という記事でした。 swiftの加算演算子をアセンブリまで深掘りしている面白い記事です！ https://tech.trilltrill.jp/entry/2020/12/02/105825 今回は今流行りの〇〇で湯婆婆を実装してみるの Athena(Presto) × Redash 版です。 ↓こちらに記事がまとまっています。 コード コードの解説 湯婆婆から渡される契約書にサインする処理は Redash のパラメータで実現しています。 var_orig_name AS ( SELE
CDK の中で DB を初期化する点についても後ほど触れます。 S3 にサンプルデータをアップロードする 続いて、以下のコマンドで S3 にサンプルのデータを入れます。 bucket_name=$(aws cloudformation describe-stacks --stack-name BlogAthenaJoinS3AndMysqlStack --output text --query 'Stacks[0].Outputs[?OutputKey==`BucketName`].OutputValue') aws s3 cp ./s3_test_data/data "s3://${bucket_name}/data" --recursive これで CloudFormation で作成した S3 バケット名を取得し、そのバケットに以下の CSV ファイルをアップロードしました。 ※4都
運用しているウェブアプリケーションへの、Cloudflare経由のリクエスト数はどれくらいあるかな、と調べたくなった。 そのさい、ちょっと試行錯誤することになったので記しておく。 CloudflareのIPレンジはこのあたりに記されているので、これと合致するかを調べていけばよさそう。 IP Ranges | Cloudflare https://www.cloudflare.com/ips-v4 以降、アクセスログはS3に置いていて、hostカラムにリクエスト元IPが格納されていて、Amazon AthenaからSELECTできるものとする。 また、実際には日付での絞り込みをおこなわないと、全範囲の探索になってしまうので注意。 is_subnet_of Prestoの0.233以降だと、is_subnet_ofという関数が用意されていて、IPレンジ内にIPがあるかを判定できるようだった。
S3のJSONを気軽にAthenaで集計したいと思い、安く済ます方法を調べた。 事前の印象では結構なお値段かかってしまうものだと思っていたが、小さいデータを最低コストで集計する分にはかなり安く済みそうだった。 ということで、ここでやりたいのは、 S3の小さいデータを 気軽に 安く SQLで集計する ということで、RDSなど立てるのはもってのほかである。 前提知識 パーティション データをパーティション分割することで、各クエリでスキャンするデータの量を制限し、パフォーマンスの向上とコストの削減を達成できます。Athena では、データのパーティション分割に Hive を使用します。すべてのキーでデータをパーティション化できます。一般的な方法では、時間に基づいてデータをパーティション分割します。これにより、通常、複数レベルのパーティション構成となります。たとえば、1 時間ごとに配信されるデータ
こんにちは！ 今年、dely株式会社に新卒入社した開発本部のGENです。 この記事は「dely #1 Advent Calendar 2020」の2日目の記事です。 「dely #2 Advent Calendar 2020」はこちら↓ 昨日はmochizukiさんの「Ruby 3.0へ向けて、型周りをさわってみた」という記事でした。 記事で使用しているレシピのチョイスも最高なのでみてみてください！ 今回は Athena(Presto) でアクティブユーザ（DAU，WAU，MAU）の推移を長期間でみるための集計術を紹介したいと思います。 アクティブユーザ集計における木も見て森も見るとは 「木を見て森を見ず」と言うことわざの意味を eigobu.jp で見てみると「細かい部分にこだわりすぎて、大きく全体や本質をつかまないこと」でした。アクティブユーザ集計（DAU，WAU，MAU）における「木
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事はBeeX Advent Calendar 2024の5日目の記事です。 遅刻しました。(12/5投稿予定だった) ※本記事には一部AWSのプレビュー機能も含まれており、一般公開された際には記事の内容から変更される可能性がありますので、認識の上ご覧ください。 はじめに 先日アメリカのラスベガスで開催された AWS re:Invent 2024では多くのAWSアップデートが発表されました。 本記事ではその中でもAmazon S3 Tablesにフォーカスして検証してみましたので、記録として書いていきます。 ざっくりどんなことをする
Amazon Athena Federated Query経由でAmazon DynamoDBのデータをAmazon QuickSightで可視化するハンズオンの公開 | Amazon Web Services
Amazon Web Services ブログ Amazon Athena Federated Query経由でAmazon DynamoDBのデータをAmazon QuickSightで可視化するハンズオンの公開 Amazon AthenaはS3上に置かれたファイルにクエリ（SQL）を実行できるサーバレスのサービスです。先日GAしたFederated Query機能を利用すると、クエリの範囲をS3に加えて多数のデータソース（例えば他のRDBやAmazon DynamoDB等）に広げ、複数のデータソースにまたがってSQL処理することが可能になります。（Federated Queryの機能説明はこちらにあります） 先日(4/17)、「AWSの基礎を学ぼう」というオンライン勉強会に講師として呼んでいただく機会があったので、このFederated Queryを使ったハンズオンキットを作成しました
CloudTrailのログを分析するためのAthenaテーブルを作る機会がありましたので、AthenaのPartition Projectionという機能を用いてリージョンごと・時系列ごとでパーティションを分割するように設定してみました。 今回はPartition Projectionについてざっくりおさらいして、CloudTrailのPartition ProjectionのサンプルDDLをご紹介します。 これまで CloudTrail画面から作成されるデフォルトのDDLを用いてAthenaでテーブルを作成して、 us-east-1 の結果を返すクエリを投げてみます。 デフォルトのDDL(クリックで展開) CREATE EXTERNAL TABLE cloudtrail_logs ( eventVersion STRING, userIdentity STRUCT< type: STRI
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? こちらのアドベントカレンダーの記事です。 近々書くような気がするので、先駆けてアドベントカレンダー駆動で書いていきます。 スタートアップのデータ基盤に興味がある人には刺さるかもしれません。 TL;DR 2020年に構築した弊社のS3+Athena構成のデータ基盤の限界が近い 構築当時に比べてデータ基盤の選択肢色々増えて嬉しい 2024/1~3にかけてSnowflake or Redshift Serverlessの検証をします 現在のデータ基盤の構成 タイトルの通りS3 + Athenaを中心にAWSの細かいサービスを使っています 使用
Amazon Athena Apache IcebergテーブルフォーマットによるACID Transactionを試してみました！ #reinvent | DevelopersIO
Icebergの強みを活かす INSERT INTOで300万レコードのデータコピー 普通のAthenaのテーブルと比較して、オーバヘッドが生じることが確認できました。上記では、1レコードINSERTでも7秒かかったりしたので、300万レコードをINSERT INTOしたときの時間がどうなるのかを確認したいと思います。 上記のテーブルからパーティションを取り除いて、INSERT INTOでデータのコピー先のテーブルを作成します。 CREATE TABLE iceberg_table ( id int, data string, category string) LOCATION 's3://<mybucket>/iceberg_table/' TBLPROPERTIES ( 'table_type'='ICEBERG', 'format'='parquet', 'compaction_bi
こんにちは、サブスクペイサービスでCREを担当してますmurakamiCPです。 CREチームの日々の業務の中で、最も多い問い合わせは「ログ調査」だったりします。 何らかのエラーが起こった際や、お客様の問い合わせでログを追っての確認だったりと要因は様々です。 （この「問い合わせ」自体を減らすことができるサービス作りも取り組んでますが、それはまた別のお話ということで） 端的に「ログ調査」といっても、日々増え続ける膨大なログから該当箇所を見つけるのはなかなか骨が折れますよね。 そんな調査がちょっと楽になったお話をしたいと思います。 AWS移行してでてきた課題 Athena導入 Athenaを使うにあたっての注意 AWS移行してでてきた課題 AWSへ移行した際に、アプリケーション関連のログもAWSの「CloudWatch」で取得するようになり、物理的なlogファイルの保管ではなくなりました。 a
データレイクとデータウェアハウス（DWH）は、データの形式、加工の有無、スキーマの扱い方、用途、スケーリングのしやすさ、コストなどの点で大きく異なります。データレイクは、様々な形式のデータを加工せずに格納でき、探索的な分析や機械学習などに適しています。一方、データウェアハウスは、主に構造化データを扱い、定型的な分析やレポーティングなどに適しています。 データレイクとしてテーブルフォーマットHIVEを用いる場合と、データウェアハウス（DWH）に限りなく近い用途でテーブルフォーマットICEBERGを用いる場合がある。Amazon Athenaは、これらの2つのテーブルフォーマットのデータをシームレスにブレンドできるのが大きな特長です。 データウェアハウス(DWH)について、もう少し知りたい方は以下の動画をご覧ください。 Amazon Athenaのクエリエンジン Amazon Athena は
この記事はGo3 Advent Calendar 2020の22日目です。 こんにちは、Speeeでサーバーサイドエンジニアをしている室岡です。SpeeeではUZOUという広告配信プラットフォームの開発をしています。 今回はGoでAthenaにアクセスするOSSを開発しましたのでそちらの話をさせていただきます。 github.com こちらは元々別の方々が作成されたものですが、 2年近くメンテナンスされてないようなので改修することにいたしました。 go-athena go-athenaはdatabase/sqlパッケージのAthenaのdriverです。下記のように(初期化)importをして使用します。 import ( "database/sql" _ "github.com/speee/go-athena" ) func main() { db, _ := sql.Open("ath
こんにちはSREチームの宮後(@miya10kei)です。最近、デスクシェルフを買ってからデスク周りがとてもスッキリして大満足しています😏 前回に続いて非同期タスク関連の取り組みを紹介します！ ところで、、、障害が発生したときの調査って大変ですよね？非同期で実行される処理なんかは特に原因の特定が難しいと思っています💦 そこで、今回は障害時の調査用に非同期タスクの実行パラメータを永続化し、Athenaから検索できるようにした仕組みを紹介します。 背景 前回紹介した「非同期タスクのメトリクス収集術」で非同期タスクの状態を確認できるようになりました。しかし、障害時にどんなパラメータで実行されたのかといった詳細な情報まではまだ把握できません。エラーログにしっかりと必要な情報を出力できていれば良いのですが、なかなかそうはなっていないのが現状です、、、。 また、実行パラメータには場合によっては個人
はじめに Amazon AthenaはS3に入ったログをSQLで抽出したり集計したりできる超便利機能。 でも、Terraformで一発で作ろうとするとちょっとクセがあるので、整理をしてみた。 Amazon Athenaに必要なリソース Amazon Athenaに必要なリソースは以下の5つ。 ワークグループ データベース テーブル データ SQL だ。データベースに登録するデータはS3に格納しておく必要がある。 ワークスペース＋データベースの作成 これはそんなに難しいことはない。Terraformで普通に定義していこう。 ################################################################################ # Athena # ############################################
Amazon Athena でクエリ実行計画の可視化と、実行結果の統計情報を取得出来るようになりました | DevelopersIO
Amazon Athena でクエリ実行計画の可視化と、実行結果の統計情報を取得出来るようになりました いわさです。 Amazon Athena では1年前のアップデートでクエリパフォーマンスを改善するための実行計画を利用することが出来るようになりました。 そして、本日のアップデートで実行計画の可視化機能が提供され、さらに実行済みクエリから統計情報が取得出来るようになりました。 この記事では、以下のような料金情報CSVを集計するクエリを例にご紹介したいと思います。 実行計画の可視化 以前から、EXPLAIN を実行する機能は Athena でも可能で、以下のような情報を出力することが出来ていました。 しかし、結果の解析に少しコツで、可視化など行いたい場合は別のツールを使って可視化する必要がありました。 今回のアップデートで、実行ボタンの隣に「説明」ボタンが追加されています。 こちらはクエリ
Improve Amazon Athena query performance using AWS Glue Data Catalog partition indexes | Amazon Web Services
AWS Big Data Blog Improve Amazon Athena query performance using AWS Glue Data Catalog partition indexes The AWS Glue Data Catalog provides partition indexes to accelerate queries on highly partitioned tables. In the post Improve query performance using AWS Glue partition indexes, we demonstrated how partition indexes reduce the time it takes to fetch partition information during the planning phase
[動画公開] Amazon Athena (Iceberg) x dbt ではじめるデータ分析！ #ちょっぴりDD | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。AWS主催のオンラインカンファレンス、ちょっぴり DiveDeep する AWS の時間にて「Amazon Athena (Iceberg) x dbt ではじめるデータ分析！」というテーマにて登壇しました。セッション動画と資料が公開されました。 セッション概要 コンサルティングチームでは、Amazon RedshiftやSnowflakeと「dbt」を用いたサーバレスなデータプラットフォームである「dbt-template」ソリューションと、コンサルティングサービスをご提供しております。今回は、「dbt-template」のAmazon Athena対応で得られた技術調査の結果と、テーブルフォーマット「Iceberg」と「dbt」対応について、ちょっぴりDiveDeepしました。 前半は、2023/04にGAになった現在イチ
![[動画公開] Amazon Athena (Iceberg) x dbt ではじめるデータ分析！ #ちょっぴりDD | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/847ff8a298c21e7e726880d075e13e17d5273ec7/height=288;version=1;width=512/https%3A%2F%2Fsiteproxy.ruqli.workers.dev%3A443%2Fhttps%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F09%2F20230727-cyoppiri-dd-1.png)
データ分析基盤を構築する際に、ETL処理は欠かせないものです。ETL処理とは、Extract（抽出）・Transform（変換・加工）・Load（保管）の略で、データが使いやすいように加工する一連の処理を指します。データ分析基盤の構築の中で、実はこのETL処理の開発が一番時間が掛かるといっても過言ではありません。また、一度作ったらお終いではなく、分析する対象・方法が変わるたびに修正を加える必要があります。そのため、ETL処理は人にお任せではなく、自前で作れるようにした方が良いです。 ETLとELT 先程、自分の組織でETL処理を作れるようにするのが大事と言いましたが、そのためにはETL処理を一部の人間ではなく、できるだけ多くの人で修正できるようにすることが大切です。そのため、GUIよりETL処理を行えるようなツールも使うのも選択肢の一つだと思います。それ以外にお勧めとしては、ELT処理とい
2023-06-24 Reject Day 2023 https://connpass.com/event/282843/
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[新機能] Amazon Athena UNLOADコマンドによるCSV、Parquet、Avro、ORC、JSON出力をサポートしました！ | DevelopersIO
[調査報告] Amazon Athena 従来のS3ファイルレイアウトとIcebergテーブルフォーマットのデータ容量比較 | DevelopersIO
![[調査報告] Amazon Athena 従来のS3ファイルレイアウトとIcebergテーブルフォーマットのデータ容量比較 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e090fe1737de1e050a92c8d61fad649de5438544/height=288;version=1;width=512/https%3A%2F%2Fsiteproxy.ruqli.workers.dev%3A443%2Fhttps%2Fimages.ctfassets.net%2Fct0aopd36mqt%2Fwp-thumbnail-764c44f07bcd41184fe62a432ae120ab%2F512a4cdcd05a0ed3ddea950fdf619fa0%2Famazon-athena)
知らなかったのは私だけでしょうか･･･。東京リージョンでも Amazon Athena フェデレーテッド・クエリが GA されていました | DevelopersIO
AWS入門ブログリレー2024〜 Amazon Athena 編〜 | DevelopersIO