「無印良品」を展開する良品計画は、実店舗と無印良品ネットストアの統合を目指した会員制サービス「MUJI passport」を昨年から展開している。両者の十億件におよぶデータ解析を実現するべく、良品計画では2つのクラウド型ビッグデータ解析ツールを使い分けている。 2つのクラウド型サービスでデータ解析を行なう 衣料品や家具、雑貨、日用品、食品などのオリジナル商品を販売する「無印良品」。自然の素材を活かし、生活になじむシンプルさを持った商品は、多くのファンを抱えている。無印良品の店舗は国内外ですでに640店舗に上っており、特に中国においては2013年度末に100店舗体制となっている。 このように「良品」へのあくなきこだわりと積極的なグローバル展開を続ける同社は、2013年に導入した新しい会員サービス「MUJI passport（ムジパスポート）」と無印良品ネットストアにおいて、数十億件におよぶビ
Amazon Redshift 新機能：『Elastic Resize』で短時間でのノード数変更(リサイズ)が可能になりました | DevelopersIO
Amazon Redshift 新機能：『Elastic Resize』で短時間でのノード数変更(リサイズ)が可能になりました 日本時間の2018年11月16日、下記ツイートにありますようにAmazon Redshiftにて『Elastic Resize』なる機能・仕組みが新たに導入されました。 Today's #AWSLaunches! 3/5 ⭐ AWS Cost & Usage Reports add Athena integration, Apache Parquet Output & Report Overwrite ⭐ Amazon Redshift announces Elastic resize, so you can add & remove nodes in minuteshttps://t.co/r8ekyCt1bR pic.twitter.com/6469grjiY
Amazon Redshift FAQs - Cloud Data Warehouse - Amazon Web Services
Tens of thousands of customers use Amazon Redshift every day to run SQL analytics in the cloud, processing exabytes of data for business insights. Whether your growing data is stored in operational data stores, data lakes, streaming data services or third-party datasets, Amazon Redshift helps you securely access, combine, and share data with minimal movement or copying. Amazon Redshift is deeply i
AWS・Amazon Redshift Monthly Updates ［号外］テラバイト級全件データを数秒で処理！ 新しいSSD版Amazon Redshiftインスタンスは“衝撃の速さ” 2014年1月24日にAmazon Redshift の新しいSSDインスタンスタイプがリリースされました。 AWS発表のブログ記事 【AWS発表】Amazon Redshiftにさらに高速で費用対効果の高いSSDベースの新しいノードが追加 リリース後すぐにそれぞれAmazon Redshiftが利用可能なリージョンで使えるようになったので、さっそくFlyDataチームでもこの新しいインスタンスタイプを試してみました。以前、Amazon Redshiftが最初に公開された時に私たちはHadoop＋Hiveとのベンチマークを実行し公開したのですが、その時と同じ前提で今までのHDDバージョンとSSDバージ
始めに 私は8年ほど前に情報処理試験でデータウェアハウスというものがあるということを知りました。当時は4択問題で問題文に 意思決定支援 というキーワードが出てきたら何なのかよく分かんないけど選択してました。それからずっと興味がありながら実物に触ったことはなかったのですが、クラウド型のデータウェアハウスが登場し触る機会を得ることができました。以前に比べデータウェアハウスはかなり身近なものになってきたのではないでしょうか。弊社でもAmazon RedshiftというAWSのサービスを利用した案件が増えてきています。 クラスメソッド、POSデータ数十億件をリアルタイム分析する基盤を「Amazon Redshift」「Tableau」で開発 この記事ではデータウェアハウスの知識から分析ツールを使ってAmazon Redshiftに接続するところまで簡単にまとめています。実際にどんなものか、触ったこ
Amazon Redshift が標準で提供している Redshift Console は 複数ノード構成のアクティビティの確認に便利な Performance ビューを提供しています。今回はメトリックスの読み解き方と、CloudWatchへのアラーム設定のポイントについてご紹介します。 Performance ビューとは Performance ビューとは Redshift メトリックスに対して、ノードごとのアクティビティをグラフ表示することで、Redshift の稼働状況をひと目で確認できる便利な機能です。また、メトリックスに対して、CloudWatchのしきい値とアラーム設定をすることで、これらアクティビティの監視を自動化できます。 メトリックスの目のつけどころ まずは各メトリックスの目的と、着目するポイントについて、ざっくりと解説します。 以下のメトリックスの例は、データをロード（
Cloud Data Warehouse - Amazon Redshift - AWS
Learn how Amazon Redshift powers SQL analytics in the next generation of Amazon SageMaker Amazon Redshift Deliver unmatched price-performance at scale with SQL for your data lakehouse Amazon Redshift powers modern data analytics at scale, delivering up to 3x better price-performance and 7x better throughput than other cloud data warehouses. Redshift Serverless helps you scale analytics workloads e
オブジェクトストレージの料金 お金は大事ですね． まずはストレージの料金から比べます． 料金は各種操作にかかりますが，特にドミナントなのはストレージ代と転送量だと思うのでこれ以外はめんどくさいのでスルー． 料金系は変動が激しそうなので，まずリンクを貼ります． S3 GCS とりあえず検証時点では，こちらの想定するデータ量で以下の通りでした． (東京リージョン) S3 Storage料金: $0.025 / GB 転送料金: $0.14 / GB GCS Storage料金: $0.023 / GB 転送料金: $0.14 / GB よっぽどデータが大きくない限り大した差にはならないので，決め手にはならないでしょう． 後日談の方でも少し述べますが，ストレージの機能としては若干S3の方が優れている気がしたので，若干高いのもまぁ妥当だと思います． 料金 こちらもまずはリンクを. Athena R
Amazon Redshift Spectrumが新たにサポートした『ネスト化されたデータに対するクエリ』を実際に試してみました | DevelopersIO
はじめに 昨年2017年11月の re:Invent2017 にて紹介された Redshift Spectrum の Nested Data のクエリ実行がついにサポートされました。Nested Data サポートは、ファイル形式が Parquet、ORC、JSON、Ion のネストデータを struct、array、map の複合データ型を使用して外部テーブルを作成できます。Ionフォーマットのクエリと、要望の多いjsonのクエリについて、クエリを実際に試してみたいと思います。 JSONやIonフォーマットの対応については以前のブログを御覧ください。 Amazon Redshift Spectrum がスカラーJSONおよびIonデータ型をサポートしたので試してみました Nested Data サポート Nested Data サポートは、複合データ型（map、struct、map）とい
世界累計利用者数4500万人を突破した大人気スマートフォンゲーム「モンスターストライク（以下、モンスト）」。本ゲームを提供しているのが株式会社ミクシィ XFLAG スタジオだ。かつて同社はデータ分析において大きな課題を抱えていた。その状態を解決すべく、データウェアハウスの設計手法 ディメンショナル・モデリングを導入したのだという。本セッションではXFLAG スタジオが取り組んだ分析基盤改善の軌跡を、データエンジニアの生島光氏が語った。 講演資料：データウェアハウスの設計手法『ディメンショナル・モデリング』のすすめ 株式会社ミクシィ XFLAG スタジオ モンスト事業本部 ゲーム運営部 解析グループ 解析チーム データエンジニア 生島光氏 データ分析の作業が、とにかく非効率的になっていた かつて、XFLAG スタジオではAmazon Redshift（AWSが提供するデータウェアハウスサービ
渡辺です。 日本列島が酷暑とのことですが、札幌は23-4℃となっております。 書く機会があったので。 適当に修正してご利用ください。 /Lambda関数名 というリソースを定義し、POSTで対応するLambda関数を呼び出すテンプレートです。 --- AWSTemplateFormatVersion: 2010-09-09 Description: "API Gateway" Parameters: FunctionName: Type: String Description: "Lambda Function Name (ex: hello-world)" Resources: Api: Type: "AWS::ApiGateway::RestApi" Properties: Name: "api" Resource: Type: "AWS::ApiGateway::Resource"
Amazon API Gateway で Request/Response パラメーターと Status の上書きが可能に
Amazon API Gateway でバックエンド API コードを変更することなく、request/response パラメーターと response ステータスを上書きできるようになりました。 body のコンテンツをベースに response ステータスコードを再マップできるようになりました。また、response ヘッダーのほか request ヘッダー、クエリストリング、パスパラメーターなども、body、他のパラメーター、ステータスコードをもとに上書きできます。たとえば、レガシーのバックエンド API が「Input field out of range」の body コンテンツとともに 200 HTTP ステータスコードを返したとしたら、4xx のステータスコードを戻すよう、API を再マップできるようになります。request/response パラメーターとステータスの上
Amazon API Gateway の使用量プランがメソッドレベルのスロットリングをサポート
Amazon API Gateway の使用量プランにおいて、メソッドレベルでスロットリングを設定することにより、個々のメソッドに対するリクエストを異なるレートで調整できるようになりました。 使用量プランでは、特定のリクエスト率とリクエストクォータで選択した API に対するアクセスを許可できるようになりました。メソッドレベルのスロットリングが使用量プランに含まれるようになったことにより、個別のクライアント API キーに異なる API メソッドでスロットリング (レートおよびバーストの制限) を設定できます。これで、ユースケースに基づいて API に対するより細やかなアクセス制限が設定可能になります。 API の使用量プランにおけるメソッドレベルでのスロットリングは、AWS マネジメントコンソール、AWS CLI、AWS SDK のいずれかを使用して設定できます。Amazon API G
API Gatewayにはタイムアウトの制限があるため、Lambdaで長めの処理を行い、処理結果をレスポンスとして返す場合は非同期の構成にする必要があります。Step Functionsと組み合わせることで、比較的簡単に非同期にできたのでご紹介したいと思います。 どうも！大阪オフィスの西村祐二です。 下記図のような、webサイト上のボタンをクリックし、API Gatewayを経由しLambdaで処理を実行し、その処理結果をブラウザに表示するといった構成はよくあるパターンかと思います。 このような構成で躓くところとして、API Gatewayのタイムアウト制限があります。遭遇場面としてはLambdaで時間のかかる処理をしたときに遭遇することがあります。現状（2018/7/3時点）、API Gatewayは最大29秒でタイムアウトする制限となっています。つまり、29秒以内にレスポンスを返し、裏
API GatewayによるMicroservices化 mercari.go#1 3 July 2018 Taichi Nakashima About me @deeeet / @tcnksm (GitHub) Blog on deeeet.com Tech lead at Mercari microservices platform team 2 Mercari Meetup for Microservices Platform 7/19 遊びに来てくれ！ https://mercari.connpass.com/event/92168/ 3 tl;dr Mercari Microservices化のために開発したAPI Gatewayについて紹介する． API Gatewayとは何か? API Gatewayの設計思想は? API Gatewayの機能の実装方法は? API Gate
API Gateway で REST API へのアクセスを制御および管理する - Amazon API Gateway
API Gateway は API へのアクセスを制御し管理する複数のメカニズムをサポートしています。 認証と認可に次のメカニズムを使用することができます。 リソースポリシーを使用して、特定のソース IP アドレスまたは VPC エンドポイントから、API およびメソッドへのアクセスを許可、または拒否するリソースベースのポリシーを作成できます。詳細については、「API Gateway リソースポリシーを使用して REST API へのアクセスを制御する」を参照してください。 標準 AWS IAM ロールとポリシーは、API 全体または個々のメソッドに適用できる柔軟で堅牢なアクセスコントロールを提供します。IAM ロールとポリシーを使用して、API を作成および管理できるユーザーと、API を呼び出すことができるユーザーを制御できます。詳細については、「IAM アクセス許可を使用して RES
データエンジニアリングチームのよしたけです。 弊社各サービスのデータ分析基盤であるLivesense Analyticsの開発、運用を行っています。 Livesense Analyticsのアーキテクチャ Livesense AnalyticsはAWS上でシステムが構築されています。S3上にあるデータやtd-agent、Kinesis Firehoseなどを経由して集めたデータをAmazon Redshiftに格納し、データウェアハウスとして運用しています。詳細は、弊社大政がデータ分析基盤Night #1 で発表した内容をご参照ください。 当時とは一部変更になっている部分もありますが、大枠は上記の図の構成になっています。 ディスク使用量 このLivesense Analyticsには、マッハバイトや転職会議をはじめ、リブセンスで運用している多くのメディアの各種ログやデータが集められています
[新機能] Amazon API GatewayプライベートAPIとVPCエンドポイントでプライベートなサーバーレスアプリ構築 Amazon API GatewayプライベートAPIとVPCエンドポイントを利用して、VPCやDirect Connectにサーバーレスアプリを提供する様子をご紹介します。 ども、大瀧です。 昨日、API Gatewayの新機能としてプライベートAPIがリリースされ、同時にAPI GatewayがVPCエンドポイントに対応しました。 Introducing Amazon API Gateway Private Endpoints | AWS Compute Blog API Gatewayは、AWS Lambdaとの組み合わせでAWSにおけるサーバーレスアプリケーションを実現する鉄板構成です。今回追加された2つの機能で、VPCやDirect Connectなどの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon API Gateway Increases API Limits
