Download to read offline
Uploaded byPIXTA Inc.
サービスのスケール化のための検索システム改善
エンジニアの力でサービス・組織をスケール化させるには？〜Web現場MeetUP ＃2 〜 で発表した資料です。 ピクスタで活用しているAWS CloudSearchの裏側を紹介します。
サービスのスケール化のための検索システム改善
- 1.
- 2.
- 3.
- 4. ● PIXTAにおける海外対応(地域別加点) ● シノニム/ トークナイズ対応 今日話すこと 国際化対応 ● 料金体系 ● 原因と対策 ● コスト削減効果 コスト削減
- 5. ● PIXTAにおける海外対応(地域別加点) ● シノニム/ トークナイズ対応 今日話すこと 国際化対応 ● 料金体系 ● 原因と対策 ● コスト削減効果 コスト削減
- 6.
- 7.
- 8.
- 9.
- 10.
- 11. 検索順位の算出 海外対応 東京 中国 ヨーロッパ 素材 A 素材 B 素材 C 素材Aの地域素材Bの地域 素材Cの地域 0km 検索した人からの距離 3000km 検索した人からの距離 20,000km 検索した人からの距離 東京 検索した人の地域 IPを元に緯度経度を算出 => =>
- 12. CloudSearchの活用 海外対応 (200 * pow(0.98,((haversin(36.204824000, 138.252924000, location.latitude, location.longitude) / 50))))
- 13. ● PIXTAにおける海外対応(地域別加点) ● シノニム/ トークナイズ対応 今日話すこと 国際化対応 ● 料金体系 ● 原因と対策 ● コスト削減効果 コスト削減
- 14. Tokenizeとは？ 国内対応 国内検索においては、日本語のタグ情報を検索ヒットの条件としている => bigramで分かち書きに。デフォルトのkuromojiトークナイズでは きゃ =>動詞 べつ => 名詞 きゃべつが Tokenizeされてしまう。
- 15.
- 16.
- 17. ● PIXTAにおける海外対応(地域別加点) ● シノニム/ トークナイズ対応 今日話すこと 国際化対応 ● 料金体系 ● 原因と対策 ● コスト削減効果 コスト削減
- 18.
- 19. ● PIXTAにおける海外対応(地域別加点) ● シノニム/ トークナイズ対応 今日話すこと 国際化対応 ● 料金体系 ● 原因と対策 ● コスト削減効果 コスト削減
- 20.
- 21.
- 22. ● 検索インスタンス数 ● ドキュメントバッチアップロード ●IndexDocumentsリクエスト ● データ転送 課金項目
- 23.
- 24.
- 27. ● PIXTAにおける海外対応(地域別加点) ● シノニム/ トークナイズ対応 今日話すこと 国際化対応 ● 料金体系 ● 原因と対策 ● コスト削減効果 コスト削減
- 28.
- 29.
- 30. ● スケーリングによって決定する ○ トラフィック ○総データ量 検索インスタンス
- 31.
- 33.
- 34.
- 35.
- 36.
- 37.
- 38.
- 39.
- 40. ● PIXTAにおける海外対応(地域別加点) ● シノニム/ トークナイズ対応 今日話すこと 国際化対応 ● 料金体系 ● 原因と対策 ● コスト削減効果 コスト削減
- 41.
- 42.
- 43. Partition* 10 Replication *3 Before
- 44. Partition* 10 Replication *3 Partition* 2 Replication * 3 Before After
- 45.
- 46. 才能をつなぎ、 世界をポジティブにする We're hiring! 7336449 Photoby Sunny studio