最近めっきり暑くなりましたが、皆さんいかがお過ごしでしょうか。 なにげに日傘男子の @cero_t です。 さて、先日、Elastic Stack 5.0.0-alpha4がリリースされました。 なかなか良いペースでalphaもバージョンが上がっていて、この調子ならβ版のリリースも近いんじゃないのかなと思います。 さて、今日はそのalpha-4の新機能を紹介します。 Elastic Stack 5.0.0-alpha4の新機能 まず簡単にalpha4の主な新機能を紹介します。 https://www.elastic.co/jp/blog/elastic-stack-release-5-0-0-alpha-4 ElasticsearchのJavaクライアントに、HTTP/REST（9200番ポートのほう）対応版が追加されました。 KibanaでCSVファイルのインポートができるようになりまし
こんにちは、ホリデー株式会社の内藤です。Holiday ( https://haveagood.holiday/ ) というサービスの開発を行っています。 先日開催した Cookpad TechConf 2016 では、『おでかけスポット検索のむずかしさ - Holiday を支える検索技術』という題で発表を行いました。 おでかけスポット検索のむずかしさ - Holidayを支える検索技術 from Yusuke Naito www.slideshare.net この発表では、 おでかけスポットの検索では、全文検索だけでは満足のいく結果は得られない 地理空間検索に拡張することでよりよい検索体験を作ることが可能 これを実現するための Elasticsearch の機能を紹介 というような内容を紹介しました。 例えば、我々が「中目黒」を思い浮かべた時にイメージするエリア内の住所には、「中目黒」
こんにちは、fujiiです。 最近、社内でもElasticsearchを使う機会も増えてきてました。 インストールも簡単ですし、 ちょっと設定するだけでログの解析も手軽にできるので、 便利だと思って使い始めるのですが、 ・必要以上に負荷のかかる設定になっている。 ・システムダウンしたときの復旧を考慮していなかった。 ・初期構築などで大量にデータを入れようとしたら、一部データが入っていなかった。 と、後から反省することも多くあります。 （私も最初は知らないことが多く、反省点ばかりでした） そのため、Elasticsearchを初めて使うときの注意点をまとめ、 社内で講習会を開きました。 以下に公開しました。 実際に案件で利用しようと思った時にパフォーマンスなどで迷うこともありますので、 そんな時の一つの参考になればと思います。 Elasticsearchを使うときの注意点 公開用スライド f
今日は楽しみにしてた「Elastic{ON} Tour 2015 in Tokyo」に参加してきた！ 刺激的な1日だった．キーノートはとにかく圧巻だったし，カスタマー事例は Elasticsearch を筆頭に ELK スタックの可能性が業種を選ばずここまで広がっているんだなというのを知ることができた．参加者全員が Elastic 製品を愛してる雰囲気が出てて素晴らしいコミュニティだなと感じた． リアルタイムブログも出てたし，明日以降も多くレポートが出そうだけど，個人的なメモを簡単に残しておこうと思う．さらに今日知った Beats シリーズの Topbeat を試してみたので，その話も書く． キーノート Elastic 社 CEO の Shay Banon や Kibana Creator の Rashid Khan が Elastic 製品の事例やロードマップを語っていた．とにかく圧巻の
こんにちは。ホリデー株式会社の内藤です。 ホリデー株式会社では Holiday（https://haveagood.holiday） という新規サービスの開発・運営を行っています。*1 以前投稿した記事でご紹介したように、Holiday では全文検索エンジンとして Elasticsearch を利用しています。 Ruby on Rails で構築されたアプリケーションから Elasticsearch を操作するには、公式 gem である elasticsearch-rails を使うのがとても便利です。 もちろん、Holiday でも活用させてもらっています。 大方の機能についてはこの gem で提供されるもので満足だったのですが、一点だけ、Holiday の運用をしている中で困ることがありました。 それが、サービス公開後のインデックスの再構築です。 elasticsearch-rails
DeNA社内でのElasticsearch勉強会にて、アプリ「ハッカドール」におけるElasitcsearch利用法について発表してきました。 スライドはこちら。 Elasticsearch for Hackadoll from mosa siru Elasitcsearchの中身や運用について濃く触れるというよりは、ちゃんとした検索エンジン作るための泥臭い話がメインになっています。 （ある意味で昨年Tokyo WebMiningにて発表した捗るリコメンドシステムの裏事情（ハッカドール）の派生スライドです。） ハッカドールは1周年を迎え、来月にはアニメ化もされます。ニュースアプリがアニメ化とか開発者としてもどうなるか予想がつきませんが、放映時には全裸待機しようと思います！ hackadoll-anime.com
まとめ YAPC::Asia Tokyo 2015 #yapcasia 全セッション総まとめ 前夜祭から大盛り上がりの様子を完全まとめしていきます。実況ツイートはトラック毎のハッシュタグ付き推奨！ #yapcasia / 全体 #yapcasiaA / トラックA (国際会議場) #yapcasiaB / トラックB (701-702) #yapcasiaC / トラックC (703) #yapcasiaD / トラックD (605-606) #yapcasiaE / トラックE (607-608) #yapcasiaDinner / 懇親会 (レセプションホール) 17091 pv 94 39 users 57
【2016/09/10追記】 勉強しなおして、Elasticsearchの知識についてさらにまとめた記事を書いたので、そちらを参照してもらうと良さそうです。 blog.shibayu36.org 最近Elasticsearchの勉強をした。ただ、入門のためどのような資料が適しているかを知るのが大変だった。そこでどのように勉強したかについてメモをしておく。少しまとめエントリー的なノリになりそう。 Elasticsearchの概念を知る 全文検索技術の基本を知る Elasticsearchのドキュメントのたどり方を知る の順に学習を進めていった。 Elasticsearchの概念を知る Elasticsearchの学習を始めようとした時に、まずは基本からということで以下の本を読んでいた。 高速スケーラブル検索エンジン ElasticSearch Server (アスキー書籍) 作者:Ｒａｆａｌ
elasticsearchの機能を試すように何かしらデータを入れてみたかったので、wikipediaのデータをelasticsearchに適当にインデックスしてみた。 wikipediaのデータセット wikipediaのデータセットは Wikipedia:データベースダウンロード - Wikipedia 辺りからダウンロードできる。いろんなデータがあるが、今回はhttp://dumps.wikimedia.org/jawiki/latest/ の中にあるpages-article1.xml.bz2辺りを利用する。 wikipediaデータのインデックス https://github.com/shibayu36/wikipedia-elasticsearch にサンプルを置いてある。 perlで適当に書いているので、最初にcarton installだけしておいてください。 elastic
皆様はじめまして．リクルートテクノロジーズでエンジニアをしている相野谷と申します． 先週開催された第3回Elasticsearch勉強会で「Elasticsearch+DynamoDB+Node.jsで作る全社基盤」というタイトルで，独自開発したシステムでのElasticsearchの利用例を紹介させていただきました． 発表スライド自体は既にupされていますが，それだけでは初見の人に分かりづらいと思いますので，解説記事を上げさせていただきます． スマホアプリのためのプッシュ通知基盤 今回開発したシステムは，「リクルートグループが開発するスマホ用のアプリでプッシュ通知を送るための基盤」です．このプッシュ通知基盤が提供する条件指定プッシュという機能のために，Elasticsearchを使用しています． システム構成 本システムはリクルートで開発される全アプリから利用されることを想定しているため
脱単なる一覧表示！俯瞰できる検索結果を利用者へ提供することで、効率のよい情報収集と今まで知らなかった情報を気づかせる。 もしかしたら、クエリー関連の記事を書くのははじめてかも。基本は飛ばして、いきなりAggregationです。そのうち基本も書きます。 Aggregationと言うとファセット検索で使用したり、集計したりどちらかと言うと分析関連で使われることが多そうな気がしますが、今回はいわゆるブログや企業サイト等で利用されているサイト内検索をAggregationを使ってもっと便利にしたいと思います。それと query DSLの説明も。 と言うわけでいきなりデモです。 Demo Top hits aggregation . デモアプリのあまりの殺風景さに戸惑わないでください。。例えば「日本語で全文検索」などElasticsearchに関連する質問を入力すると検索結果が表示されます。このデ
この記事には最新版があります Elasticsearch2.1.1とKibana4.3.1の環境をVagrantコマンド一発で構築する まえがき Elasticsearch Advent Calendar 2日目の記事です。 今思えば、実案件に投入したこともないのに参加してしまったなぁと内心ビビっているのですが、このAdvent CalendarをきっかけにElasticsearchやKibanaを触ってみようと思った方が、ストレスなくElasticsearchを体験できるような記事を書ければと思います。 環境構築の方法 今回の記事では2通りの環境構築について紹介します。ひとつはVagrantを使用する例、もう一つはAnsibleを使用する例となります。 事前準備 Vagrant、Ansibleのどちらを使うにしても、この記事向けに作成したGitリポジトリーをcloneする必要があります。
まえがき これはElasticsearch Advent Calendar 7日目の記事です。 今回はElasticsearchをコンテンツの検索として利用した際にElasticsearchで検索ログも収集・利用する方法についてです。 私はAdvent Calendar参加が今回初めてになります。 もし分かりにくいところがあったらツッコミお願いします。 はじめに Elasticsearchは主に「コンテンツ検索」と「ログ管理」の二通りの使われ方をしています。 「コンテンツ検索」は、記事やユーザのコメントなどの文章をESで検索する利用方法です。日本語の検索がメインになるので、正規化や形態素解析辞書、同義語辞書の管理などが課題になります。 「ログ管理」は、みんな大好きFluentdとKibanaなどを組み合わせてアクセスログを グラフ化したり、エラーログを検索できるようにする活用方法です。 こ
実は検索エンジンの会社で働いていたことがあります。 ぶっちゃけ検索エンジンのテクノロジーの奥深くについてドップリ詳しいわけではありませんが、昨今のシステム開発に置いて検索技術の重要性は重々承知していいます。 自分の会社では今はカッコイイことをしておらず、永続ストアはGoogle Docs、Excel(!!!)、H2データベースにあり検索エンジンは導入できていません。 日々あらゆるデータソースを探し回っている残念な状態です。 当然ながらこれから検索エンジンを導入するならばElasticsearchを使うのが自然な流れだよね、と思いつつ手を動かせていなかったので背水の陣でElasticsearch Advent Calendar 2014にエントリした次第です。 前置きが長くなりますがもう少し前置きがあります。今弊社には実はElasticsearchの社員がおり、毎日左隣でElasticsea
これは Elasticsearch Advent Calendar 2014 22日目の記事です。 今回は、プロダクション環境で、流行りのFluentd+Elasticsearch+Kibanaでログ可視化というのを数ヶ月やった中で苦労した点とかはまった点を書いてみます。 というか、書き終えて思うとこれからやる人はここに気をつけた方がいいというような内容になってしまったので、既に運用されている方にはあまり役に立たないかもです。。 内容は、大きく下記3つです。 ①集計(検索)の条件を考えてtemplateでnot_analyzeを指定しておく ②スキーマ変更があるindexは、日単位でindex作るべし ③数値型フィールドの罠(Fluentd寄りの話) 前提として、この流れで収集しているのは下記4パターンのログ達。 ・Apache accesslog ・Apache errorlog ・Ap
日本語の文章を形態素解析するときは、トークナイズする前に文字列の正規化を済ませて検索精度を向上させよう！ この記事は、Elasticsearch Advent Calendar 2014 の１８日目のエントリーです。即席で申し訳ないですが、なんとかまとめましたので是非最後までお付き合いください。 今回は、日本語形態素解析における文字列正規化のお話です。 それでは早速本題に。 非正規化された日本語の文章を形態素解析を使って、なるべく意図したようにトークナイズするためには、全角英数字を半角英数字に正規化したり、半角カタカナを全角カタカナに正規化したり、不要な文字を除外したり、単語ではなく、文字単位での正規化が重要になってきます。 Japanese (kuromoji) Analysis Plugin のページでも紹介されているように、全角英数字や半角カタカナの正規化には、CJK Width F
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
