TOPICS Database 発行年月日 2016年08月 PRINT LENGTH 384 ISBN 978-4-87311-775-1 原書 Big Data FORMAT 絶え間なく入ってくる大量のストリームデータをリアルタイムに処理・分析するために必要な概念とその実現手法を紹介します。任意のクエリに対応しながら、スケーラビリティと信頼性をどう担保するのか、障害発生時にデータを復旧しやすく、汎用的で拡張性や保守性の高いシステム設計を実現するには、どのようなデータモデルとアーキテクチャが必要なのか。データ分析を行うエンジニアが備えておくべき知識と情報について、従来のアーキテクチャが持つ問題を解消するために著者が開発した「ラムダアーキテクチャ」のデータモデルに沿って解説します。 目次 まえがき 1章　ビッグデータを扱うための新しいパラダイム 1.1　本書の構成 1.2　伝統的なデータベ

運用監視も エンジニアが対応 これまでの経験を元に、お客様の業務を全面的にサポート。運用監視もエンジニアによる24時間体制で状況変化・障害発生を早期に検知し、対応します。 幅広い対応力 技術担当者が不在、または別の業務に専念したい場合も、ハートビーツのエンジニアがインフラ管理〜コンサルティングまで対応、ご要望にお応えします。

ChromeOSでの開発環境を整える Chromebook Pixel 2015を開発環境として購入したものの、ChromeOSで開発できるようにするには少し手間だったのでメモ書き。 開発者モードに切り替える データが消えるので真っ先にやる！ chromebrewを入れる vimのインストールと設定 プログラムを実行できるようにマウントし直す 開発者モードに切り替える まずは開発者モードに切り替えます。 ChromeOSはターミナルでcroshが使えますが、開発者向けのOSではないので、通常だとほぼ何もできません。 また、開発者モードに切り換えする時にローカルのデータやアカウントの連携情報などがすべて吹っ飛ぶので、開発環境として使いたい人は何よりもまず先に開発者モードに切り替えましょう（何度もGmailアカウントにログインする羽目になります）。 一応手順を書いておきますが、ChromeOS

DI部の大矢です。こんにちは。 現在私は、Amazon Redshiftを使ったデータ分析システムの開発プロジェクトに参画しておりますが、 今回は、データ分析システムではよく出てくる「履歴テーブル」を扱うSQLについて書いてみます。 記載したSQLは、Amazon Redshift(1.0.1086)、PostgreSQL(9.5.3)で動作確認しました。 履歴テーブルとは 履歴テーブルとは、データを更新する際、元のレコードはそのまま残して、新たなレコードをinsertしていくようにしているテーブルです。 こうしておくと、過去の任意の時点でデータがどのような状態であったのか、調べることができます。 今回は以下のような「顧客テーブル」を例に使用します。 A社は社名を頻繁に変え、同時に引っ越しもしているようですね。 create table customer ( customer_id sma

西澤です。先日、VPC Peering先から、Public DNS hostnameをPrivate IP Addressとして名前解決する機能がサポートされるようになった、というリリースがありました。今回のリリースで何ができるようになったのか確認してみたいと思います。 Announcing DNS Resolution Support for VPC Peering Public DNS hostnameのおさらい まずは何も設定していない状態で、vpc-a内のec2-a(ip-10-0-0-201)から、vpc-b内のec2-b(ip-10-1-0-51)から、それぞれvpc-a内のEC2インスタンスのPublic DNS hostnameの名前解決を試みます。 ec2-a(ip-10-0-0-201)での名前解決 こちらはプライベートIPアドレスが返されます。Public DNS h

はじめに こんにちは、中山です。 Terraformを使用していく中で、どのようなディレクトリ構造(tfファイルの配置方式)がベストなのかと考えたことはありませんか。私自身いろいろと試している最中なのですが、現時点で私が考えるベストプラクティスをご紹介します。 ディレクトリ構造 いきなりですが、以下のとおりです。 ├── Makefile ├── README.md ├── app.tf ├── bastion.tf ├── cloudfront.tf ├── db.tf ├── elasticache.tf ├── elb.tf ├── envs │   ├── dev │   │   ├── main.tf │   │   └── variables.tf │   ├── prd │   │   ├── main.tf │   │   └── variables.tf │   └──

下駄配列に変わる配列を作りたいという気持ちは、かなり前から、それこそ下駄配列を完成させた次の瞬間からありました。 まず、下駄配列をさらに使い込んだり、下駄配列以外の配列を使ったり、データを集めたりして、良い配列が作れるように準備をしました。 実際に配列の作成を始めたのは2008年6月ごろです（もうそんな前になるか……）。データを見て配列を考えたり、実際に使ってみたりしながら、下駄配列に変わる新しい配列を少しずつ作っていました。 途中、完全に配列作成を中断する期間があったり、いったんリセットして一から作り直したりして、これが最善型と思える配列が完成したのが2010年7月。最終確認のために使用していたところ、先日、『タイプウェル国語Ｋ』で下駄配列で出した記録を上回ることができました。 そこで、これを機会に発表しようと思います。 配列の名称は、下駄配列の特徴を受け継ぎながらも、新たに練り直した配

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 気づいたら3ヶ月くらい何も書いてませんでした・・・。 さて、皆様キー割り当てツール（または配列エミュレータ）などは利用しているでしょうか。何やそれ？という方は、あんまりいないんじゃないかとは思いますが。 例えば次のような用途で利用されるかと思います。 − SandSをやりたい − CtrlとCapslockを切り替えたい − 変換とか無変換とかにいろいろ割り当てる − 新しいかな入力を使う Windowsの場合、CtrlとCapslockの切り替えについては、普通にやるとレジストリをいじるしかないんですが、そういったことが出来ない場合は

「サーバレスとは何か」そして「サーバレスとPaaSの違い」とは。マーチン・ファウラー氏のブログに投稿された解説 サーバレスアーキテクチャは、クラウドに対応したアプリケーション開発においてホットな話題の1つと言えます。 その発端はAmazonクラウドがAWS Lambdaを発表したことですが、その後Googleが「Google Cloud Functions」を、IBMが「OpenWhisk」を、マイクロソフトが「Azure Functions」を相次いで発表し、主要なクラウドにおけるサーバレス環境が一気に整いつつあります。 しかしサーバレスはAWS Lambdaなどの実装が先行したことなどから、明確な定義があいまいなまま普及が始まろうとしている面があります。 こうした状況を整理し、何がサーバレスなのか、PaaSと何が違うのか、といった解説が、マーチン・ファウラー氏のブログMartinFol

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Cuckoo filter is a Bloom filter replacement for approximated set-membership queries. Cuckoo filters support adding and removing items dynamically while achieving even higher performance than Bloom filters. For applications that store many items and target moderately low false positive rates, cuckoo filters have lower space overhead than space-optimized Bloom filters. Some possible use-cases that d

Binary Ninja 5.2, codename Io, is out and includes bitfield support, containers, hexagon, and much more. Disassemble and decompile code Automate analysis with C++, Python, or Rust Visualize control flow and stack layouts Triage samples quickly Extend functionality with plugins Organize artifacts and analysis databases Debug issues interactively Collaborate in real-time with Enterprise Try in secon

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Firejail is a SUID program that reduces the risk of security breaches by restricting the running environment of untrusted applications using Linux namespaces and seccomp-bpf. It allows a process and all its descendants to have their own private view of the globally shared kernel resources, such as the network stack, process table, mount table. Written in C with virtually no dependencies, the softw

おひさしブリーフ、かっぱです。 tl;dr 下図のように cron ジョブで定期的にスクリプトを生成して実行させようとした時、スクリプト完了する前に次の cron ジョブが走ってスクリプトが生成されて、そのスクリプトが実行されてしまうような状況に遭遇してどうしたもんかなと悩んでいたら ts というツールを見つけたので試してみた。 memo ts とは http://vicerveza.homeunix.net/~viric/soft/ts/ https://osdn.jp/magazine/09/01/20/0150258 スクリプトやコマンドを ts コマンド経由で実行することで、それらをジョブとしてキューに放り込んで順次実行してくれるツール。冒頭の構成に ts を加えると下図のようになり、cron の開始時間とスクリプトの実行時間の依存関係は切り離される。 導入 CentOS 6 に導