ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに Pub-Subとは 用語の定義 システム構成 Hello World おわりに 緊急告知 参考 はじめに こんにちは。システム統括本部プラットフォーム開発本部の栗原と申します。 2016年9月、Yahoo! Inc.からPulsarがOSSとして公開されました。Pulsarは高い配信信頼性/パフォーマンス/スケーラビリティを誇るPub-Subメッセージングシステムです。Yahoo! Inc.において開発され、これまでYahoo! Inc.のメール、ファイナンス、スポーツなど主要サービスにおいて、メッセージを高速かつ消失することなく配信するために利用されて来ました。 Pulsar開発者によって書かれた技術ブログ：Open-
20130719 CDP Night LightningTalk "Internal Port Concentrator"
Notes: https://www.cloudamqp.com provides a hosted RabbitMQ service cluster and is not covered here. However, the Highly Available RabbitMQ cluster is included. CloudAMQP do not document what network partitioning mitigations they have configured for RabbitMQ cluster. https://redislabs.com provides a hosted Redis service and is not covered here. It uses custom replication and sharding proxies, but
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? (かきかけ)つい先日、surgemqの速さについての記事「SurgeMQ: MQTT Message Queue @ 750,000 MPS」が製作者本人により書かれ自分の周りのTLではにぎわいを見せました。 現時点ではまだまだ未実装な点が多いsurgemqですがgoでこの速度を達成した、ということは驚異に値します。 nsqdが約10万msg/sec、私のgoのmqttサーバーが4万msg/sec、ということで普通にgoでああいったTCPサーバーを書くと何もしないとSingle Coreで1〜2万に行くのがやっとこなはずなので凄さがわか
CEDEC 2015 IoT向け汎用protocol MQTTのリアルタイムゲーム通信利用と実装、そして未来へ…
メッセージキュー について書いている連載の続きとして、今週末は分散型メッセージングを実行するための様々なライブラリを詳細に分析していきたいと思います。今回の分析では、APIの特性、デプロイメントやメンテナンスの容易さ、そしてパフォーマンスの質を含めて2、3種類の異なる側面に着目します。メッセージキューは2つのグループに分類できます。ブローカレス（brokerless）とブローカード（brokered）です。ブローカードなキューはエンドポイント間に何かしらのサーバを挟んでいますが、ブローカレスなメッセージキューは、メッセージ送信の際でも間に何も挾まないP2Pです。 今回分析するのは以下のシステムです。 ブローカレス nanomsg ZeroMQ ブローカード ActiveMQ gnatsd Kafka Kestrel NATS NSQ RabbitMQ Redis 取り掛かりとして、ほぼ間違
Pivotalとの共同検証で、Google Compute EngineがRabbitMQを使った仮想クラスタ環境での大量メッセージング処理で高い性能を示した。 米グーグルとPivotalは2014年6月23日、「Google Compute Engine」にオープンソースのメッセージングシステム「RabbitMQ」を導入して行った性能実験で、毎秒100万通を超すメッセージを安定して処理できる性能を実証したと発表した。 送信したメッセージと受信したメッセージを合せると処理数は毎秒200万通を超え、1日当たりに換算すると860億通に相当する。これはAppleが1日に処理するiMessagesの400億通を上回るという。 実験ではGoogle Compute Engine上に、それぞれ8個のvCPUと30GバイトのRAMを搭載した仮想マシン32台のクラスタを構築。各仮想マシンのDebian上に
Jörgen Modin is an IT consultant and trainer who works with web based and mobile based systems. Jörgen can be reached at [email protected]. I have just finished writing a message queue based system and I used Redis as the message queue system. I have just run the system in production for a couple of days, but I already have some thoughts on how I would like a message queue system to work, and wha
Here's an Update On Disqus: It's Still About Realtime, But Go Demolishes Python. How do you add realtime functionality to a web scale application? That's what Adam Hitchcock, a Software Engineer at Disqus talks about in an excellent talk: Making DISQUS Realtime (slides). Disqus had to take their commenting system and add realtime capabilities to it. Not something that's easy to do when at the time
AWS Chatbot Now Integrates With Microsoft Teams I am pleased to announce that, starting today, you can use AWS Chatbot to troubleshoot and operate your AWS resources from Microsoft Teams. Communicating and collaborating on IT operation tasks through chat channels is known as ChatOps. It allows you to centralize the management of infrastructure and applications, as well as to automate and streamlin
『ニフティクラウド』、システムインテグレーションに必要な機能をPaaSとして提供 ～「RDB」「メール配信」「DNS」など多彩な機能を用意～ ニフティが提供するクラウドサービス『ニフティクラウド』は、システムインテグレーションに必要な機能をPaaS（Platform as a Service）として2013年12月以降、順次提供します。 近年企業のシステム開発の現場では、インフラ環境構築の迅速化やTCO（総保有コスト）削減の観点から、IaaS（Infrastructure as a Service）が採用されるケースが増えています。『ニフティクラウド』でも、IaaSを中心にサービスを展開し、提供開始以来2,000件を超える（2013年1月末時点）お客様に採用いただいています。 今回、IaaSを用いてシステムを構築する際に必要な機能を、PaaSとして提供することで、さらなる開発・運用工数やコ
Q: SQS ロングポーリングとは何ですか？ | Amazon Simple Queue Service (Amazon SQS) よくあるご質問 | アマゾン ウェブ サービス（AWS 日本語）
自社製や市販パッケージのメッセージキューイングシステムと比較して、Amazon SQS にはどのようなメリットがありますか? Amazon SQS では、メッセージキューの管理のために独自のソフトウェアを構築したり、市販またはオープンソースのメッセージキューイングシステムを使用してシステムの開発や設定の初期作業に多くの時間を費やしたりする必要がありません。 また、自社製または市販のパッケージ化されたメッセージキューイングシステムでは、定期的なハードウェアのメンテナンスやシステム管理のためのリソースが必要です。ハードウェア障害の発生時にメッセージが失われないよう、冗長性のあるメッセージストレージを設定する必要もあるため、システムの設定や管理はさらに複雑になります。 対照的に、Amazon SQS では、管理オーバーヘッドが発生せず、必要な設定もわずかです。Amazon SQS は、毎日数十億
Dead Letter Channel Pattern with RabbitMQ
メッセージングシステムで送信されたメッセージが正常に処理されなかった場合どうするのか? RabbitMQ 2.8 以降では expire したメッセージや拒否されたメッセージを dead letter として専用の exchange に転送する事ができる。 dead letter になるユースケース 以下のケースで、メッセージは dead letter になる The message is rejected (basic.reject or basic.nack) with requeue=false The TTL for the message expires Enterprise Integratin Patterns との対比 Gregor Hohpe & Bobby Woolf の “Enterprise Integratin Patterns” では 前者は Invalid M
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
