この記事はフロムスクラッチ Advent Calendar 2016の9日目の記事です。 筋トレ大好き！プログラミング大好き！ あれ？そうすると、、、 筋肉系カレンダーにも投稿しないと、自称筋肉プログラマー失格なのでは！！ と本気で悩んでいます。 mixです。 最近の事件 そう！AWS、ATHENAが発表されました！ Presto信者としては血湧き肉躍るニュースです！ 簡単に説明すると、Prestoというfacebookの作ったフレームワークを AWSで__サーバーレスに使える__という画期的かつ凄すぎる新サービスです！ カレンダー2日連続になっていますが、 AWSの回し者とかじゃないです。。。(>_<) そもそもPrestoってなんじゃい？？ 下の説明を正確にしていくと、 分類も定義によったり、 テラバイト処理には対応する大規模構成が必要になったり、 クエリがSQLなのはPrestoの特
AWS Glue（分析用データ抽出、変換、ロード (ETL) ）| AWS
質の高い結果を得るためにデータを準備することは、分析または AI プロジェクトの最初のステップです。AWS Glue は、データ統合をよりシンプル、迅速、低コストにするサーバーレスサービスです。100 を超える多様なデータソースを検出して接続し、一元化されたデータカタログでデータを管理するとともに、データパイプラインを視覚的に作成、実行、モニタリングして、データをデータレイク、データウェアハウス、レイクハウスにロードできます。生成 AI 機能が組み込まれているため、ETL オーサリングと Spark のトラブルシューティングのインテリジェントな支援を活用して、Apache Spark ジョブをモダナイズし、開発を加速できます。
Amazon EMR が Auto Scaling と設定可能なスケールダウン動作をサポート - AWS
Amazon EMR クラスターで、自動的にノードを追加 (スケールアウト) および終了 (スケールイン) するようポリシーを設定できるようになりました。Amazon EMR はプログラムで Apache Spark や Apache Hive などのアプリケーションをスケールアウトし、追加のノードを利用してパフォーマンスを向上させたり、クラスターのノード数をスケールインして、使用率が低いときにコストを節約したりできます。クラスターは、YARN 使用状況メトリクスを含めて、Amazon EMR で提供される Amazon CloudWatch メトリクスに基づいてスケールすることができます。 Amazon EMR のスケールダウン動作が設定可能になりました。Amazon EMR はリリース 5.1.0 から、タスクの完了にかかわらず、Amazon EC2 請求のインスタンス時間に近づくとク
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
