Amazon Athena がエンジンバージョン 2 の提供開始を発表
本日、Amazon Athena は、新しいクエリエンジンバージョンである Athena エンジンバージョン 2 の一般提供の開始を発表しました。 Athena エンジンバージョン 2 には、フェデレーションクエリ、スキーマ進化のサポート、追加の地理空間関数、コスト削減のためのネストされたスキーマの読み取りのサポート、JOIN、ORDER BY、および AGGREGATE 操作のパフォーマンスの強化など、いくつかのパフォーマンスの強化と新機能が含まれています。Athena コンソールの [ワークグループを編集] のページで、アカウント全体または特定のワークグループをエンジンバージョン 2 にアップグレードできます。
Amazon Athena の関数 - Amazon Athena
Athena エンジンのバージョンに関する詳細については、「Athena エンジンのバージョニング」を参照してください。AT TIME ZONE 演算子で使用できるタイムゾーンのリストについては、「サポートされているタイムゾーンを使用する」を参照してください。
こんにちは、虎塚です。 2017年3月1日(水)のBlack Beltオンラインセミナーを受講したので、レポートします。今回のテーマは、Amazon Athenaです。 講師は、アマゾンウェブサービスジャパン株式会社のソリューションアーキテクト、志村誠さんでした。 Amazon Athena概要 Amazon Athenaは、一言でいうと、S3上のデータに標準SQLでインタラクティブなクエリを投げて、データ分析ができるサービス。 2016年11月に開催されたre:Invent 2016で発表された。現時点では、バージニア北部、オレゴン、オハイオリージョンで利用できる。 Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを | Amazon Web Services ブログ 内部では、分散クエリエンジンのPrestoと、Hive Metastore互換のデータ
Partition your data - Amazon Athena
By partitioning your data, you can restrict the amount of data scanned by each query, thus improving performance and reducing cost. You can partition your data by any key. A common practice is to partition the data based on time, often leading to a multi-level partitioning scheme. For example, a customer who has data coming in every hour might decide to partition by year, month, date, and hour. An
簡単な説明 TIMESTAMP データの形式が正しくない可能性があります。Athena では、以下のように Java の TIMESTAMP 形式が必須になります。 YYYY-MM-DD HH:MM:SS.fffffffff TIMESTAMP データを正しい形式に変更するには、次の手順に従ってください。 列を STRING として定義します。 Presto の日付と時刻の関数を使用して、列を DATE または TIMESTAMP としてクエリ内に読み取ります。 解決方法 列を STRING として定義する 以下のようなコマンドを使用します。 CREATE EXTERNAL TABLE 'test' ('ts' STRING) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' LOCATION 's3
料金 - Amazon Athena | AWS
Amazon Athena は、オープンソースのフレームワークに基づいて構築されたサーバーレスのインタラクティブな分析サービスで、データの存在場所でペタバイトのデータを分析できます。Athena では SQL または Apache Spark を使用できるため、インフラストラクチャをセットアップしたり管理したりする必要はありません。価格設定はシンプルで、処理されたデータや使用したコンピューティングに基づいて課金されます。 まず、クエリエンジン、実行結果を格納する Amazon Simple Storage Service (S3) の作業ディレクトリ、AWS Identity and Access Management (IAM) ロール (必要な場合)、リソースタグを指定するワークグループを作成します。ワークグループは、ユーザー、チーム、アプリケーション、ワークロードの分離、各クエリまた
Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを | Amazon Web Services
Amazon Web Services ブログ Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを 私達が扱わなければいけないデータの量は日々増え続けています(私は、未だに1,2枚のフロッピーディスクを持っていて、1.44MBというのが当時はとても大きいストレージだったことを思い出せるようにしています)。今日、多くの人々が構造化されたもしくは準構造化されたペタバイト規模のファイル群を、日常的に処理してクエリしています。彼らはこれを高速に実行したいと思いつつ、前処理やスキャン、ロード、もしくはインデックスを貼ることに多くの時間を使いたいとは思っていません。そうではなくて、彼らはすぐ使いたいのです: データを特定し、しばしばアドホックに調査クエリを実行して、結果を得て、そして結果に従って行動したいと思っていて、それらを数分の内に行いたいのです。 Amazon
require 'trino-client' # create a client object: client = Trino::Client.new( server: "localhost:8880", # required option ssl: {verify: false}, catalog: "native", schema: "default", user: "frsyuki", password: "********", time_zone: "US/Pacific", language: "English", properties: { "hive.force_local_scheduling": true, "raptor.reader_stream_buffer_size": "32MB" }, http_proxy: "proxy.example.com:8080",
Architecture of Presto. Presto (including PrestoDB, and PrestoSQL which was re-branded to Trino) is a distributed query engine for big data using the SQL query language. Its architecture allows users to query data sources such as Hadoop, Cassandra, Kafka, AWS S3, Alluxio, MySQL, MongoDB and Teradata,[1] and allows use of multiple data sources within a query. Presto is community-driven open-source
Presto Meetup 201706にて、発表した弊社のPresto運用事例紹介です。 https://techplay.jp/event/621143
About AWS
Since launching in 2006, Amazon Web Services has been providing world-leading cloud technologies that help any organization and any individual build solutions to transform industries, communities, and lives for the better. As part of Amazon, we strive to be Earth’s most customer-centric company. We work backwards from our customers’ problems to provide them with cloud infrastructure that meets the
2017 - 04 - 06 DMMにおけるビッグデータ活用の事例紹介！Presto x Golang x Docker を用いたセグメントバナー施策とは？ 15新卒 勉強会 資料公開 はじめに こんにちは！ DMM.com Labo ビッグデータ部の 吉田 です。 2017年3月28日(火) に開催されたレバレジーズ株式会社主催の ヒカ☆ラボ で登壇してきました。 今回は、そこで発表した内容を資料公開も含めて報告させて頂ければと思います！ どんな内容だったか？ タイトルはこちら。 ビッグデータを使ってバナーを動的表示させたらコンバージョンが 350% 増加した話 atnd.org 弊社ビッグデータ部では、1日あたり2億レコード以上の DMM.com 上でのユーザーの行動ログを中心に、 会員データや、各サービスのコンテンツ情報、地域情報のようなオープンデータを収集し、 データドリブンマーケ
この記事はフロムスクラッチ Advent Calendar 2016の9日目の記事です。 筋トレ大好き！プログラミング大好き！ あれ？そうすると、、、 筋肉系カレンダーにも投稿しないと、自称筋肉プログラマー失格なのでは！！ と本気で悩んでいます。 mixです。 最近の事件 そう！AWS、ATHENAが発表されました！ Presto信者としては血湧き肉躍るニュースです！ 簡単に説明すると、Prestoというfacebookの作ったフレームワークを AWSで__サーバーレスに使える__という画期的かつ凄すぎる新サービスです！ カレンダー2日連続になっていますが、 AWSの回し者とかじゃないです。。。(>_<) そもそもPrestoってなんじゃい？？ 下の説明を正確にしていくと、 分類も定義によったり、 テラバイト処理には対応する大規模構成が必要になったり、 クエリがSQLなのはPrestoの特
Amazon Athena — Serverless Interactive Query Service - AWS Prestoのフォースを感じたので，知り合いが試した情報も含めて，今思っている所を書いてみる． 実装 Athenaのページにあるように，実行エンジンは独自実装ではなくて，Facebookが公開しているPrestoを使っている．FacebookのみならずTreasure Data，Airbnb，Netflixなどクエリがガンガン飛ぶ環境で元気に動いている実績もあるので，拡張性，パフォーマンス，安定性で選ばれたのだろうと思われる．あとAWS的にJavaの方が相性は良さそう． パフォーマンス いくつかの記事で言及されている． Analyzing Data in S3 using Amazon Athena Amazon AthenaをBigQueryと比較してみた Amazon
gistfile1.md Presto の話 概要など http://prestodb.io/overview.html ここを読めという感じである。 とにかくお手軽に使えそうな感じがある "Presto compiles queries to bytecode at runtime and thus produces many classes, so we enable class unloading." とのこと Java のバージョンの話 0.87 から Java8 必須である。 http://prestodb.io/docs/current/release/release-0.87.html Presto が使う java はどうやら環境変数 PATH 上にある java を使うようだ。 JAVA_HOME は関係ないっぽい。 https://github.com/facebook
4日間のNetezza研修に行ってきたのでNetezzaのアーキテクチャについて書いてみる。 Netezzaの全体像はこんな感じです。 SMP hostというのがクエリを受け付けてparseして最適化してプランを作ります。SMP hostのDiskはDRBDで二重化されています。 プランはSnippetという単位になりそれが各SPUにばらまかれて並列処理されます。 各SPUでC++コードの生成、コンパイル、実行という処理を行いますが、2回目以降はコンパイル済みのオブジェクトコードがキャッシュされるので早くなります。 SPUはSnippet processing unitの略でCPU, FPGA, Memoryを持ちます。 FPGAで解凍処理や行、列の絞り込みを行うことによって性能向上をはかります。 CPUの仕事を減らしてハード側でなるべく処理させるという感じでしょうか。 テーブルを作るとき
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Athena engine versioning - Amazon Athena
Amazon Elastic MapReduce with Hive/Presto ハンズオン(講義)
