Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
この記事は、インテル® デベロッパー・ゾーンに掲載されている「Part #1 – Tuning Java Garbage Collection for Hbase」(https://software.intel.com/en-us/blogs/2014/06/18/part-1-tuning-java-garbage-collection-for-hbase) の日本語参考訳です。 このパート 1 の記事では、100% YCSB 読み取りの HBase* 用 Java* ガベージ・コレクション (GC) をチューニングする方法を説明します。パート 2 では 100% 書き込み、パート 3 では 50%/50% 読み取り/書き込みの Java* GC のチューニングを行います。すべての記事で、標準 NoSQL ワークロードである YCSB を使用します。YCSB と HBase* のインスト
We are very excited to announce that eBay has released to the open-source community our distributed analytics engine: Kylin (http://kylin.io). Designed to accelerate analytics on Hadoop and allow the use of SQL-compatible tools, Kylin provides a SQL interface and multi-dimensional analysis (OLAP) on Hadoop to support extremely large datasets. Kylin is currently used in production by various busine
草薙 昭彦 @nagix 現行HBaseの色々な課題(コンパクションやリージョン分割・マージなどを意識する必要があり運用管理が難しい、障害復旧に時間がかかる、等)は、HDFSのダメさ具合とHadoopの分散システムの中にHBaseの分散システムを構築するという複雑さが主な要因になっている 2012-12-20 14:03:51 草薙 昭彦 @nagix HDFSはWrite Onceのファイルシステム。分かりやすく例えるとCD-Rのようなもの。ファイルのわずかな部分を書き換えるために全てのデータを読み込んでメモリ上で一部分を更新し、全てのデータを書き込む必要がある。ファイルシステムといいつつプリミティブな機能しか備えていない 2012-12-20 14:18:15 草薙 昭彦 @nagix MapRが行った改良はこのHDFSをMapR-FSに置き換えて同時アクセス・ランダムR/W可能な先進
3. たとえば… ⾼速性 他の Hadoop YCSB Benchmark MapR 3.0.1 YCSB Benchmark 3.0.1 ディストリビューション M7 Advantage デ トリビ シ d (M7エディション) (ops/sec/node) (HBase) 50% read, 50% update 50% read 50% update 7965 2918 2.7x 2 7x 95% read, 5% update 3850 1541 2.5x Random Read 5934 865 6.9x Range Scan (50 rows) Range Scan (50 ) 838 274 3.1x 3 1x Hardware Configuration ©MapR Technologies ‐ Confidential CPU : Intel® Xeon®
![[B27] エンタープライズ NoSQL/HBase プラットフォーム – MapR M7 エディション by Masataka Oka](https://cdn-ak-scissors.b.st-hatena.com/image/square/ca2294cd1120464c4a0786de74e661101a0561ef/height=288;version=1;width=512/https%3A%2F%2Fsiteproxy.ruqli.workers.dev%3A443%2Fhttps%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fb27maprm7-131126004827-phpapp02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
まず wiki の「Performance Tuning」を読んでください。この記事には、RAM、圧縮、JVM の設定など、パフォーマンスに関係する重要な要素についての全般的な説明があります。記事を読んだら、ここへ戻ってきてください。以下では、さらに詳しい情報へのポインタを示します。 Todd Lipcon は、「Avoiding Full GCs with MemStore-Local Allocation Buffers」と題したプレゼンテーションの中で、特に HBase の読み込み時によく発生する、すべてが止まったかのような状態になるガベージコレクション、すなわち CMS が失敗するケースと、古い世代のヒープがフラグメンテーション化するケースの 2 つを取り上げています。最初のケースに対処するには、-XX:CMSInitiatingOccupancyFraction を追加してデフォ
HBase Tier Based Compaction by Akashnil Dutta 1. Overview The goal of the compaction selection algorithm is to schedule compactions efficiently. The current algorithm takes a set of candidate files as input, and produces a subset as output. If there is no eligible compactions, the output set can be empty. The candidate set is made of all the files in one region which are not already scheduled for
Hive 0.11.0にバージョンアップしてmultiple insertに関わるバグである[HIVE-3699] Multiple insert overwrite into multiple tables query stores same results in all tables - ASF JIRAを心配しなくて良くなったけど代わりにネストしたgroup byに関わるバグである[HIVE-5237] Incorrect group-by aggregation in 0.11.0 - ASF JIRAを踏んだwyukawaです、こんにちは。ユニークユーザとか求める時にネストしたgroup byが出てくる可能性はあるのですがcount(distinct ...)とか使って回避しました。 で、今回書くのはそういう話じゃなくてHiveとHBaseとの連携に関してです。結論から言うと結構
名称表記が揺れてて微妙だけど Hbase at FaceBook on Zusaar このイベントに行ってきた。Facebookの人は "HBase Tokyo meetup" と認識していたようだ。 内容のまとめはやらないので、以下の各ページなどをご覧になると良いのではないでしょうか。 Tokyo HBase Meetup - Realtime Big Data at Facebook with Hadoop and HB… Hbase at FaceBookのまとめ - Togetterまとめ FacebookがHBaseを大規模リアルタイム処理に利用している理由（前編） － Publickey FacebookがHBaseを大規模リアルタイム処理に利用している理由（後編） － Publickey セッションの内容と自分が考えたことと人としゃべったことをいっしょくたにここに書いておく。
This document summarizes Facebook's real-time analytics systems. It describes Data Freeway, which uses a scalable data streaming framework to collect log data with low latency. It also describes Puma, which performs reliable stream aggregation and storage by sharding computations in memory and checkpointing to HBase. Future work may include open sourcing components and adding scheduler support.Rea
Facebookの新しいリアルタイム解析のシステムでは、HBaseで1日200億件のイベントを処理しているそうです。以下の記事の翻訳です。High Scalability - High Scalability - Facebook’s New Realtime Analytics System: HBase to Process 20 Billion Events Per DayFacebookがまたやってくれた。彼らは巨大なリアルタイムデータのストリームを処理するもう1つのシステムを構築したのだ。以前にもFacebookはリアルタイムなメッセージシステムをHBaseで構築している(http://highscalability.com/blog/2010/11/16/facebooks-new-real-time-messaging-system-hbase-to-store-135.ht
ご訪問いただいたお客様へのお知らせ Information for customers visiting this Web site from SpinNet アクセスいただいたWebサービスは提供を終了いたしました。 長年にわたり、多くの皆様にご利用いただきましたことを心よりお礼申し上げます。 SpinNetトップページへ The Web service you are trying to access has been terminated. We would like to thank all of you for your patronage over the years. Go to the SpinNet
The document discusses Facebook's use of HBase to store messaging data. It provides an overview of HBase, including its data model, performance characteristics, and how it was a good fit for Facebook's needs due to its ability to handle large volumes of data, high write throughput, and efficient random access. It also describes some enhancements Facebook made to HBase to improve availability, stab
ClouderaNOW Learn about the latest innovations in data, analytics, and AI Watch now
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
