こんにちは。ウォンテッドリーの Enabling チームでバックエンドエンジニアをしている市古（@sora_ichigo_x）です。 現在、Enabling チームでは技術的な取り組みを社外にも発信すべく、メンバーが週替わりで技術ブログをリレー形式で執筆しています。前回は私、市古による「おすすめ Claude Code 設定・運用まとめ」でした。今回は Elasticsearch の話をします。 Elasticsearch は高度な検索と分析を実現する検索エンジンとして広く活用されています。 しかし、その仕組みをブラックボックスに感じているエンジニアは多いのではないでしょうか。 このブログでは Elasticsearch の全文検索に入門し、同義語検索のような応用的なユースケースの仕組みまで理解することを目指します。 なお、このブログは執筆時点（2025年6月17日）で最新である Elas
(2024/12/10 13:35) Elastic Stack (Elasticsearch) Advent Calendar 2024のリンクを追加 初めまして。ECシステムエンジニアリング部門 EC商品基盤グループ サーチチーム 松浦です。 今回は、全文検索エンジンElasticsearch のバージョンアップの具体的な取り組みについて取り上げます。 このブログ記事の内容はElasticsearch株式会社が主催するElasticsearch Community in Osaka - connpassで発表した内容を元に作成しました。 また、Elastic Stack (Elasticsearch) - Qiita Advent Calendar 2024 - Qiita の10日目の記事です。 所属チームとシステムの概要説明 今回のバージョンアップの詳細と、これまでのバージョンアッ
Search and analytics, data ingestion, and visualization – all at your fingertips.
初めまして、EC基盤グループ サーチチームの壷井です。 モノタロウでは2019年10月頃より新規検索システムの設計・開発を進め、今年の4月頃にECサイト(monotaro.com) 検索ページの裏側の検索システムを従来のSolrからElasticsearchに100%移行*1しました。この移行は将来の商品点数やリクエスト数の増加を見据えたバックエンドの大規模な改修で、ここまで約2年半ほどプロジェクトを進めてきました。今後もECサイトのすべてのページの完全移行に向け引き続き開発・運用を行っていきます。 今回はこのプロジェクトのなかで私が担当してきたElasticsearchへの日々のデータの洗い替え（日次更新と呼んでいます）ワークフローのシステム構成と工夫などについてお話します。 モノタロウの検索システムの紹介 日次更新のシステム構成 処理の流れ ① リアルタイムデータ同期 ② 日次商品デー
サジェストは、優れた検索エクスペリエンスにおける重要な要素です。一方で、この機能は一部の言語では実装が難しい場合があり、日本語もそのような言語の1つです。このブログでは、日本語のサジェスト機能を実装する際の課題と、Elasticsearchを使用してこれらの課題を克服する方法をご紹介します。 日本語のサジェストの特徴次の図にはGoogleの日本語サジェスト候補を表示しています。この例では、キーワードは「日本」です。 日本語のサジェスト機能の実装が英語よりも困難であることには、いくつかの要因があります。 単語の区切りがわかりにくいサジェストの機能を実装するには、単語を分割するためのアナライザーが必要です。英語を含む大半のヨーロッパ言語では、単語がホワイトスペースで区切られるため、容易に文章を単語に分割できます。しかし、日本語では個々の単語をホワイトスペースで分割することはありません。そのため
はてなブックマークチームのid:taraoです。はてなブックマークでは、以前はオンプレミスなElasticsearchクラスタを運用していましたが、AWS上にAmazon Elasticsearch Serviceのクラスタを構築して切り替えました。この切り替えではクラスタの再構築に限らず、アップグレードやマッピングの変更にも使える一般的な方法を採用しました。 この記事では、その具体的な方法を紹介します。 一般的な方法を採用したい目的と背景 検討したクラスタ再構築や切り替えの方法 1. ローリングアップグレード 2. スナップショット・リストア 3. クラスタ横断レプリケーション 4. Reindex API 5. アプリケーションコードによる再インデキシング 目的・条件による取りうる方法のまとめ 採用した再インデキシング手法の詳細 ダブルライトをどのように実現するか 非同期ダブルライトの
Search and analytics, data ingestion, and visualization – all at your fingertips.
2019年7月31日、本田技研工業の従業員のメールアドレスや内部ネットワーク、PCに関連するElasticsearchデータベースが露出していたとして、対応の顛末が発見者により公開されました。この問題は本田のセキュリティチームに伝えられ、問題は解消されているとのことです。ここでは関連する情報をまとめます。 問題の発見者 Justin氏の報告 Honda Motor Company leaks database with 134 million rows of employee computer data https://t.co/IN9IESN0Ae— Justin (@xxdesmus) 2019年7月31日 Justin氏はクラウドフレア社 Trust & Safety担当のディレクター。 何が問題であったか 本田技研工業の従業員の名前やメールアドレス、連絡先の情報、同社内部の端末やネ
こんにちは。 @shin0higuchiです😊 この記事は Kibanaのマルチテナント運用について考えてみた(前編) - Taste of Tech Topics の後編となります。事前にそちらをご一読ください。 さて、前回の記事では データが入っているindexに対してアクセス制限をかけることで、見せたくないデータを隠すことができました。 しかし、ダッシュボードが編集できてしまうなどの問題がありました。 ここでは、その対策としてkibana_dashboard_only_userを使ってみます。 ダッシュボードの閲覧専用ユーザー バージョン5.xまでは自分で.kibanaへのアクセスを制限したroleを作る必要がありましたが、バージョン6からは予めkibana_dashboard_only_userというroleが定義されています。 これをkibana_userの代わりに付与してみま
こんにちは。アプリケーション基盤チームの @ueokande です。 今日は、サイボウズの新しくなったログ基盤についてお話しします。 サイボウズのログ基盤の進化 リプレイス前のログ基盤 サイボウズのログ基盤はサービスの成長に合わせて、常に進化し続けてます。 そんななか2017年の夏に大きなリプレイス作業がありました。 サイボウズのサービスを支えるログ基盤 from Shin'ya Ueoka 以前のログ基盤は、ログを収集するホストがあり、各ホストからログを収集してました。 しかしログの転送システムが単一障害点であったり、スケーラビリティに欠けるのでサービスの成長に追いつかず、性能的にも限界に達してました。 また以前のログ基盤では、ログの解析がしにくく、ログはあるけどビジネスに役立てにくい状況でした。 そのため今後のサービスの成長や、より安定したログ基盤を運用できるように、ゼロから刷新するこ
Tweet 古いバージョンの EC2 上で動く Elasticsearch と Kibana を AWS Elasticsearch Service (5.1) & Kibana 5 に移行するときに、ちょっとハマったポイントがあったのでメモとして残しておきます。 一部のレコードがなぜか aggregate できない MySQL が吐くスロークエリログをいい感じにしたいとき、fluent-plugin-mysqlslowquery を利用して Elasticsearch に送り、Kibana を使って視覚化する、という常套手段があります。 このとき、以下のスクリーンショットのような感じで Split Bars の Sub Aggregation に Temrs を指定し、スロークエリの SQL 文 (sql.keyword) で棒を分割するでしょう。 このとき、雑に fluent-plug
こんにちは、 @snuffkin です。 こちらはDistributed computing Advent Calendarの12日目の記事となります。 qiita.com Elasticsearch6.0も登場し、使っている方も増えつつあるのではないかと思います。 進化が速く、どんどん機能が増えていますが、基本的なところを押さえるのも重要と考えています。 先日、Acroquest社内勉強会で「Elasticsearch as a Distributed System ～分散システムとしてのElasticsearch～」と題して Elasticsearchの分散システムとしての側面について話しました。 Elasticsearch as a Distributed System from Satoyuki Tsukano www.slideshare.net 資料の内容 ノードの種類 シャー
ブログryuzeeによるブログ記事。不定期更新Homeブログオープンソースの全文検索エンジンFessを試してみた みなさんこんにちは。@ryuzeeです。 このWebサイト、昔はWordpressを使っていたのですが、本体やプラグインのメンテナンスを頻繁にやらなきゃいけなくて面倒なのと性能面などで辛くなって、その後Ruby製の静的サイトジェネレータであるMiddlemanに変更し、その後ビルドの遅さに耐えられなくなってGo言語で作られているHugoに置き換わっています。 静的コンテンツになればAmazon S3などで運用できるので非常に楽なのですが、一方でサイト内を検索したい場合は別の解決策の用意が必要になります。Googleの検索を埋め込んでももちろん良いのですが、調査の一環として、今回はオープンソースの全文検索エンジンFessを試してみました。 Fessの特徴公式サイトで詳細に紹介され
Google Site Searchが2018年3月をもってサービス終了するため、自社Webサイトに組み込む検索サービスを探している方も多いのではないでしょうか。また、企業や個人で保有するファイルが年々増えており、効率よく必要なものを見つけられる仕組みを求める声もよく聞きます。 そうした背景から、検索サーバの導入を検討するケースが増えているようです。 一昔前であればnamazuなどの一部プロダクトに選択肢が限られていましたが、現在ではApache Luceneのような低レイヤーのライブラリから、今回紹介するFessのような導入すればすぐ利用できる検索サーバまで、さまざまなものが出てきています。 本連載では、全文検索サーバFessを使って、ウェブ検索や企業内検索の実現方法を紹介していきます。 検索の理論的な話ではなく、実際の検索課題にどのように対応していくかをもとに実践的な説明していきます。
概要 elasticsearchに入れたデータの型を修正する手順をメモ。 バージョン情報など elasticsearch-6.0.0-alpha2 kibana-6.0.0-alpha2 前提 ・elasticsearchにデータを入れてみたけど、やっぱりデータ型が違っていた。 ・データ量がそれほど大きくない reindexAPIを使った方がスマートな場合も多々ありますが、 今回はKibanaのConsoleからmappingを修正して、Logstashなどでデータを再投入する場合を想定します。 想定するシチュエーション ユーザーのアカウント情報を示すaccountというindexにデータを突っ込んでみました。 kibanaで可視化するためにindex patternを作成... 確認してみるとageがstringになっています。 平均年齢とかをグラフ化する時とかに困ります。 ageが数字
ElasticsearchのX-Packはマジ便利なんですが，有償なので (だたしmonitor機能なんかは無償のBasicライセンスで使えて最高) 使わない人も多いでしょう． そんな場合，Elasticsearch/KibanaをDockerで動かすという時にX-Packを取り除きたくなるというのが人情でしょう．コンテナは軽いと嬉しい． というわけでそういう場合の法です． Elasticsearch: FROM docker.elastic.co/elasticsearch/elasticsearch:5.6.3 RUN bin/elasticsearch-plugin remove x-packKibana: FROM docker.elastic.co/kibana/kibana:5.6.3 RUN bin/kibana-plugin remove x-packプラグインマネジメント
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
