このエントリは OSS紹介 Advent Calendar 2017 - Qiita 16日目の記事です。穴が空いていたので拙作の紹介で穴埋めを。 s32cs という Amazon CloudSearch に対して S3 からのイベントドリブンでドキュメントを投入する Lambda を書いたのでご紹介します。 github.com 3行で Amazon CloudSearch にドキュメントを登録する Lambda を作った アプリケーションからは Fluentd にログを送るだけ Kinesis Firehose + S3 を利用することで、ストリームデータを 一定時間/一定サイズ に区切っての継続的なバッチ処理が容易かつ堅牢に 基礎知識 Amazon CloudSearch は AWS が提供している、フルマネージドな検索エンジンです。ドキュメント数が多くなったりすると勝手にスケール
Amazon CloudSearchとRDS / DynamoDBの連携を考えてみる | DevelopersIO
データベースとは？ データベースと聞いて直ぐに思い浮かべるのはリレーショナルデータベースではないでしょうか。しかし、世の中には様々な種類のデータベースが存在します。 データベースの種類例 NoSQL：DynamoDBなど GraphDB：Neo4jなど ColumnDB：Redshiftなど TextSearchEngine：CloudSearchなど それぞれのデータベースには特徴があり、他のデータベースと較べて秀でている部分があります。CloudSearchは、テキスト検索エンジンとして、文字の検索に優れています。それぞれの要素は基本的に文書として保管され、文書にはフィールドがあります。フィールドは、複数の値や長さを持つことができます。そして、文書は正規化（ノーマライズ：Normalize）されていません。リレーショナル・データベースと異なる部分は、文書内の文字に完全に一致しなかったと
全文検索システムの比較 - Elasticsearch vs Solr vs Amazon CloudSearch February 10, 2014 at 01:05 AM | categories: solr, aws, elasticsearch, web | 候補の選定方法 候補を選定するにあたって、以下の特徴をもっていることを前提とした。 LuceneやGroongaを使えば何でもできるが、ここでは対象としない。 ウェブベースのインターフェースを持つ インデックスの更新はほぼリアルタイムに反映される スケールアウトが容易 Solr https://lucene.apache.org/solr/ Luceneをバックエンドにした全文検索システム。バージョン4になってから大幅に機能が増強された。 長所 実績が十分ある 機能豊富 短所 クラスタを構築して運用するには手間がかかりそう S
var aws = require('aws-sdk'); var cloudsearchdomain = new aws.CloudSearchDomain({ endpoint: '<CloudSearchのエンドポイント>' }); exports.handler = function(event, context) { var params = { query:event.q }; cloudsearchdomain.search(params, function(err, data) { if (err) { console.log("error " + err); } else { if (data.hits.found > 0) { console.log(data.hits.hit[0]); context.done(null, data.hits.hit[0]); } e
(SDD411) Amazon CloudSearch Deep Dive and Best Practices | AWS re:Invent 2014
16. AWS CloudTrail { "eventVersion": "1.01", "userIdentity": {"type": "Root", "principalId": "...", "arn": "...", "accountId": "...", "accessKeyId": "..."}, "eventTime": "2014-10-27T20:53:07Z", "eventSource": "cloudsearch.amazonaws.com", "eventName": "DescribeDomains", "awsRegion": "us-east-1", "sourceIPAddress": "...", "userAgent": "aws-sdk-java/unknown-version Linux/2.6.18-164.el5 Java_HotSpot(T
#20 Amazon CloudSearchで検索サジェスト機能を作った話 - KAYAC Engineers' Blog
tech.kayac.com Advent Calendar 2014 20日目を担当する@ken39argです。 近況報告 お久しぶりです。 前回ブログを書いたのが、2012年のアドベントカレンダーでしたので、2年ぶりということになります。 前回のブログの出だしが、 「最近子供が産まれた」 でしたが、 4日前の 12/16の朝に2人目の男の子が産まれ、 本日嫁と子供が病院から帰ってました。とてもバタバタしております。 長年、特にFlashLiteの動的生成などを得意分野としてガラケーを始めとするケータイ向けブラウザゲームを作ってきましたが、 昨年末から心機一転 LobiチームにJoinして、主にLobi REC SDKのサーバーサイドの開発を担当しています。 今年も様々な人やサービスの助けを借りてオートスケールする動画変換サーバーやニコニコ動画へのアップロード、 プレイ動画を見るためのL
AWSサポートのケース情報を抽出し、DynamoDBに格納する awscliでケースを抽出しDynamoDBに入れることを試みたのですが、各ケースをDynamoDBにインポートするためのJSON形式に変換するのが手間だったのでAWS SDK for Rubyでインポート用のスクリプトを用意しました。またawscli（Python）だと時々海外の方が入力する右シングルクォーテーション（\u2019）が扱えなかったこともRubyを用いた理由です。 スクリプトの注意点は下記となります。 describe_cases時に言語設定（language）が"en"と"ja"が分かれて返ってくるため、それぞれの言語で取得する。 AWSサポートのエンドポイントはus-east-1のみなのでAWS::Supportインスタンス生成時の設定でRegionを固定する。 display_idはString#to_i
CloudFront、RedshiftなどAWSが支える動画広告の舞台裏～インフラのイノベーションがもたらす動画広告のイノベーション～
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
