Amazon Redshift Spectrum – S3のデータを直接クエリし、エクサバイトまでスケール可能 | Amazon Web Services
Amazon Web Services ブログ Amazon Redshift Spectrum – S3のデータを直接クエリし、エクサバイトまでスケール可能 現在、数クリックでクラウド上にコンピュートリソースやストレージリソースを構築可能です。現在のチャレンジは、それらのリソースを活用して生のデータを出来る限り素早く、かつ効果的に活用可能な結果に変換することです。 Amazon Redshiftを活用することで、AWSのお客様はペタバイト級のデータウェアハウスを構築し、社内・社外の多様なデータソースからのデータを統合することが可能です。Redshiftは巨大な表に複雑なクエリ（複数の表をジョインする等）を実行することに最適化されているため、小売、在庫、ファイナンシャルデータといった膨大なデータを特別な苦労なく処理することができます。Redshiftにデータをロードした後は、Redshif
Amazon DynamoDBのadaptive capacityが不均一なデータアクセスパターンに対応する仕組み（または、なぜDynamoDBについて知っている情報が古くなっているのか） | Amazon Web Services
Amazon Web Services ブログ Amazon DynamoDBのadaptive capacityが不均一なデータアクセスパターンに対応する仕組み（または、なぜDynamoDBについて知っている情報が古くなっているのか） Amazon DynamoDBは、あらゆる規模の高性能な非リレーショナルデータベースです。これは、組み込み式のセキュリティ、バックアップ、およびデータ保護を使用して、スループットニーズに適応する、十分に管理されたサービスです。10万人以上の開発者が、モバイル、Web、ゲーム、アドテック、IoT、および低レイテンシのデータアクセスを必要とするその他のアプリケーション向けのDynamoDBを選択しました。 しかし、以前は余分なスループットを提供することでアシストしていた不十分な容量、これに関連するエラーにより要求が失敗することを心配しているという声を、依然とし
Amazon Redshift マテリアライズドビューで ELT と BI クエリを高速化 | Amazon Web Services
Amazon Web Services ブログ Amazon Redshift マテリアライズドビューで ELT と BI クエリを高速化 Amazon Redshift のマテリアライズドビュー機能は、Amazon QuickSight などのビジネスインテリジェンス (BI) ツールからのダッシュボードクエリといった反復または予測可能なワークロードで、大幅に高速なクエリパフォーマンスを実現するために役立ちます。これは、ETL (抽出、変換、ロード) データ処理も高速化およびシンプル化します。マテリアライズドビューは、頻繁に使用される事前計算を保存し、それらをシームレスに使用して後続の分析クエリでの低レイテンシーを達成するために利用できます。 この記事では、マテリアライズドビューを作成する、データ取り込み後にビューを更新する、および BI ワークロードを高速化する方法を説明します。
Redshiftの弱点をRDSとRedshift Spectrumでカバーする ～SQL命令だけでデータ分析ができる環境を考える～ RDSの機能を使えばRedshiftのデータを使用したGIS環境も構築できる クラウド上のデータベース（クラウドデータベース）は、非常に高性能、かつ安定していながら、費用的や技術的にも容易に環境構築することが可能です。しかし、これらの利点の代償として”柔軟性”を失ってしまっています。1つ目は”場所”の柔軟性を失い、常にインターネットから接続できる環境からでないと利用できません。2つ目は”拡張性”の柔軟性です。今回はこのクラウドデータベースの”拡張性”の柔軟性を補完し、コストダウンする方法についてAWSを例にご説明します。 Redshiftは完全なPostgreSQL互換ではない Amazon Redshift(以下、Redshift) は PostgreSQL
Amazon Redshift でのマテリアライズドビューの作成 - Amazon Redshift
データウェアハウスの環境でのアプリケーションでは、多く場合、大規模なテーブルに対し複雑なクエリを実行する必要が生じます。例えば SELECT ステートメントでは、数百万の行を含むテーブルにおいて、複数の テーブルの結合や集計が行われます。このようなクエリの処理は、システムリソース、そして結果を返すためにかかる時間の点から、コストが高くなる可能性があります。 Amazon Redshift のマテリアライズドビューを使用することで、こうした課題に対処できます。マテリアライズドビューには、1 つ以上のベーステーブルで実行された SQL クエリに基づいて事前計算された結果が含まれています。SELECT ステートメントを使用すれば、データベースで他のテーブルやビューをクエリするのと同じ方法でマテリアライズドビューをクエリすることができます。Amazon Redshift は、ベーステーブルに一切ア
Amazon Redshiftがマテリアライズドビューの正式サポート開始。頻繁に実行されるクエリなどがより高速に
Amazon Redshiftがマテリアライズドビューの正式サポート開始。頻繁に実行されるクエリなどがより高速に Amazon Web Services（AWS）が提供しているデータウェアハウス向けデータベースのAmazon Redshiftで、新機能としてマテリアライズドビューの正式サポートが発表されました。 New #AWSLaunches! AWS Resource Access Manager is Now Available in the Middle East (Bahrain) Region Amazon Redshift introduces support for materialized views (Generally Available)https://t.co/lB0bBYdvnl pic.twitter.com/JRVhK3ekRc — Amazon Web S
想定読者 マテリアライズド・ビューという言葉を聞いたことはあるがその意味や仕組みを知らない方 集計処理を実現する一つの手段としてマテリアライズド・ビューを検討している方 マテリアライズド・ビューの実装にあたり必要な知識・注意点を把握したい方 前提 以降の記載は以下のDBMSの使用を前提としています。 Oracle Database 10g, 11g, 12c 集計処理という敵とマテリアライズド・ビューという武器 システム開発を進める中で、何らかの集計処理が必要になることが多々あると思います。 例えば、売上高の集計処理（地域ごと・店舗ごと・期間ごとなど）や、特定の条件を満たす顧客の集計処理（商品名◯×を購入した顧客の合計数など）などです。 SQLで集計処理を実装すればよいのですが、実際に実装してみると以下のような問題が生じることがあります。 集計処理が遅い（複数テーブルの結合などに起因する処
データベース管理システムは関係モデルに従うため、ビュー は仮想的な テーブル であり、データベースに対するクエリの結果を表す。ビューを参照または更新すると、その処理はビューの対象となった実際のテーブルへの参照または更新へ変換され、実行される。 マテリアライズドビュー (Materialized View; 体現ビューともいう)はこれとは異なるアプローチを取り、クエリの結果を実際のテーブルにキャッシュする。キャッシュされたデータは元のテーブルが変更されるたびに更新される。そのため、最新でない状態を取得する可能性はあるが、効率的なアクセスが可能になる。特にデータウェアハウスでは実際のテーブルに対して頻繁にクエリを実行することは非常にコストが高いため、マテリアライズドビューが有効である。 さらに、マテリアライズドビューは実際のテーブルとして実体化されるため、実際のテーブルに対して適用可能な操作は
Announcing Amazon Relational Database Service (RDS) Snapshot Export to S3
You can now export Amazon Relational Database Service (Amazon RDS) or Amazon Aurora snapshots to Amazon S3 as Apache Parquet, an efficient open columnar storage format for analytics. The Parquet format is up to 2x faster to export and consumes up to 6x less storage in Amazon S3, compared to text formats. You can analyze the exported data with other AWS services such as Amazon Athena, Amazon EMR, a
とうとうきてしまいました！ とうとう、ALB一つだけでターゲットグループの重み付けが出来るようになってしまいました！！！！ ALBでターゲットグループの重み付けができるようになり、Route53で設定しなくても良くなりました。 AWSエンジニアは朝5時に起きるらしいと聞いていましたが、まさか自分がそっち側に回るとは思ってもいなかったもこ@札幌オフィスです。 とうとうきてしまいました！ とうとう、ALB一つだけでターゲットグループの重み付けが出来るようになってしまいました！！！！ Application Load Balancer simplifies deployments with support for weighted target groups New – Application Load Balancer Simplifies Deployment with Weighted T
![[激アツアップデート]ALBだけでカナリアリリース(重み付け)ができるようになりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/876809e40a16193d45c580a01a3f67fc9a50a044/height=288;version=1;width=512/https%3A%2F%2Fsiteproxy.ruqli.workers.dev%3A443%2Fhttps%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Felastic-load-balancing.png)
AWS PrivateLink concepts - Amazon Virtual Private Cloud
You can use Amazon VPC to define a virtual private cloud (VPC), which is a logically isolated virtual network. You can allow the clients in your VPC to connect to destinations outside that VPC. For example, add an internet gateway to the VPC to allow access to the internet, or add a VPN connection to allow access to your on-premises network. Alternatively, use AWS PrivateLink to allow the clients
高可用性データベースプロキシ – Amazon RDS Proxy – Amazon Web Services
Amazon RDS Proxy アプリケーションのスケーラビリティ、復元力、および安全性を向上させる Amazon Relational Database Service (Amazon RDS) Proxy は、Amazon RDS 向けの高可用性フルマネージド型データベースプロキシで、アプリケーションのスケーラビリティやデータベース障害に対する回復力と安全性を高めます。 最新のサーバーレスアーキテクチャに構築されたアプリケーションなどのアプリケーションの多くは、データベースサーバーへの接続を多数開くことができます。このとき、データベース接続の開閉が高頻度で実行されて、データベースメモリやコンピューティングリソースを消耗する可能性があります。Amazon RDS Proxy では、アプリケーションがデータベースと確立した接続をプールおよび共有でき、データベースの効率とアプリケーションの
Scalable Applications - Amazon RDS Proxy - AWS
Amazon Relational Database Service (Amazon RDS) Proxy is a fully managed, highly available database proxy for Amazon RDS that makes applications more scalable, more resilient to database failures, and more secure. Many applications, including those built on modern serverless architectures, can have a large number of open connections to the database server and may open and close database connection
Lightweight Hypervisor - AWS Nitro System - AWS
The AWS Nitro System is the foundation for our next generation of EC2 instances that enables AWS to innovate faster, further reduce cost for our customers, and deliver added benefits like increased security and new instance types. AWS has completely re-imagined our virtualization infrastructure. Traditionally, hypervisors protect the physical hardware and bios, virtualize the CPU, storage, network
Send Amazon ECS logs to an AWS service or AWS Partner - Amazon Elastic Container Service
You can use FireLens for Amazon ECS to use task definition parameters to route logs to an AWS service or AWS Partner Network (APN) destination for log storage and analytics. The AWS Partner Network is a global community of partners that leverages programs, expertise, and resources to build, market, and sell customer offerings. For more information see AWS Partner. FireLens works with Fluentd and F
Amazon Athena ワークグループを使用したクエリの分離とコストの管理 | Amazon Web Services
Amazon Web Services ブログ Amazon Athena ワークグループを使用したクエリの分離とコストの管理 Amazon Athena は、Amazon S3 のデータに対するサーバーレスのクエリエンジンです。多くのお客様が、Athena を使用してアプリケーションおよびサービスのログを照会し、自動化されたレポートをスケジュールし、それらのアプリケーションと統合し、新しい分析ベースの機能を可能にしています。 ビジネスアナリスト、データサイエンティスト、セキュリティ、オペレーションエンジニアなど、さまざまな種類のユーザーが Athena を活用しています。しかし、コストを最小限に抑えながらユーザーが最高の体験を得られるには、こうしたワークロードをどのように分離および管理すればよいでしょうか? この記事では、ワークグループを使用して以下を行う方法を説明します。 ワークロード
はじめに 2019/2/18にAthenaのWorkgroup機能がリリースされました。 https://aws.amazon.com/jp/about-aws/whats-new/2019/02/athena_workgroups/ Workgroup機能のまとめると以下になります。 Workgroupに対してクエリ上限を設定可能 Workgroup単位でスキャン量などのメトリクスが取得可能 Workgroupnに対してタグ付け可能でコストアロケーションタグとしても使用可能(Workgroup単位でのコスト管理が可能) 使い方 Workgroupの作成 WorkgroupにアクセスできるようににIAMポリシーを修正する。 https://docs.aws.amazon.com/athena/latest/ug/example-policies-workgroup.html#example
Athena Workgroups を使ってユーザーまたはアプリケーション間のワークロード分離、クエリメトリクスの閲覧、コスト管理の適用を行う
Amazon Athena Workgroups がリリースされました。今後は、この新しいリソースタイプを使って、クエリ実行やクエリ履歴を、同じ AWS アカウントの下で実行されているユーザー、チーム、またはアプリケーション間で分離できるようになります。ワークグループはリソースとして機能するため、ワークグループのアクセス管理にはリソースベースのポリシーが使用できます。たとえば、Athena を使用している 2 つのチームまたは種類の異なるアプリケーションが存在する場合、それらを異なるワークグループに割り当てることでアクセスを制限することができます。また、異なるワークグループに割り当てることで、臨時の使用を予定されているレポートから分離することもできます。あるワークグループで実行中のクエリは、別のワークグループで実行中のユーザーまたはアプリケーションからは確認できません。また、ワークグループ
Sign In with Appleとは？ 今年のWWDCで発表された Appleアカウントでアプリの サインアップやサインインができる機能です。 対応必須 様々なニュースで下記のようなことが書かれており https://japan.cnet.com/article/35138002/ レビューガイドラインを見る限り サードパーティーのログイン連携をしているアプリは Sign In with Appleの実装が必須になります。 弊社のアプリでもFacebookログインなどを使用しており 今後対応が必要になるだろうと思い まずどういうものか知るために サンプルコードとセッション動画の内容から 現状わかったことをまとめてみました。 公式のサイトはこちら https://developer.apple.com/sign-in-with-apple/ Introducing Sign In wit
はじめに Nervesとは，モダンな関数型言語ElixirでIoT！ができるナウでヤングなcoolなフレームワークです． 推奨されるホスト開発環境はmacOSとLinux(Ubuntu)で，永らくWinodwsユーザは虐げられてNervesで遊べずに来ていました．素直なmacOS/Ubuntuユーザの方は，ElixirでIoT#4.1にて開発環境の構築方法を紹介していますので，ぜひ遊びましょう！！ ところが朗報です！！ 2020年4月下旬にあったNerves v1.6.1のcommitにて，Windowsがホスト開発環境として正式サポートされました！hexdocsもすでに公開されています． Nerves on hexdocs: Installation#Windows 本記事では，WindowsユーザをNervesの世界に招待します！！ 要点 せっかちさんのために先に要点をまとめます． W
AWS Systems Manager を使用して Amazon ECS コンテナインスタンスをリモートで管理する - Amazon Elastic Container Service
AWS Systems Manager (Systems Manager) で Run Command 機能を使用すると、Amazon ECS コンテナインスタンスの設定を安全にリモートで管理できます。Run Command を使用すると、インスタンスにローカルにログオンしなくても一般的な管理タスクを簡単に実行することができます。複数のコンテナインスタンスでコマンドを同時に実行することで、クラスター全体の設定の変更を管理できます。Run Command は各コマンドのステータスと結果をレポートします。 ここでは、Run Command を使用して実行できるタスクのタイプについていくつか例を示します。 パッケージをインストールまたはアンインストールする。 セキュリティ更新プログラムを実行する。 Docker イメージをクリーンアップする。 サービスを停止または起動する。 システムリソースを表
本ページでは、Python の機械学習ライブラリの scikit-learn を用いて、クラス分類 (Classification) を行った際の識別結果 (予測結果) の精度を評価する方法を紹介します。 混同行列 (Confusion matrix) 機械学習を用いたクラス分類の精度を評価するには、混同行列 (Confusion matrix, 読み方は「コンフュージョン・マトリックス」) を作成して、正しく識別できた件数、誤って識別した件数を比較することが一般的です。 以下の表は、電子メールのスパムフィルタ (迷惑メールフィルタ) の精度評価を行なう場合の混同行列の例で説明します。混同行列は横方向に識別モデルが算出した識別結果、縦に実際の値 (正解データ) を記します。 例えば、スパムフィルタの場合、横方向に「スパム、またはスパムでないとモデルが識別した件数」、縦方向に「実際にそのメー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon RedshiftとAmazon QuickSightで実現する、長く使えるDWH作り
Shared File Storage - Amazon Elastic File System (EFS) - AWS
What is an Application Load Balancer? - Elastic Load Balancing
Load Balancer - Elastic Load Balancing (ELB) - AWS
Network Gateway - AWS Transit Gateway - AWS
AWS::ECS::TaskDefinition FirelensConfiguration - AWS CloudFormation
