Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019) Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ / Hadoop / Spark Conference Japan 2019 講演者： 関山 宜孝 （Amazon Web Services Japan） 昨今 Hadoop/Spark エコシステムで広く使われているクラウドストレージ。本講演では Amazon S3 を例に、Hadoop/Spark から見た S3 の動作や HDFS と S3 の使い分けをご説明します。また、AWS サポートに寄せられた多くのお問い合わせから得られた知見をもとに、Hadoop/Spark で S3 を最大限活用するベストプラクティス、パフォーマンスチューニング、よくあるハマりど
MySQLを開発したMichael “Monty” Widenius氏らオリジナル開発者3人が12月4日、非営利団体「MariaDB Foundation」の立ち上げを発表した。MySQLのフォークとなる「MariaDB」の開発母体となり、ユーザー/開発者コミュニティにインフラを提供する。 MySQLはオープンソースのデータベースであるが、2008年にSun Microsystemsがその開発元であるMySQL社を買収。さらに2009年に発表された米Oracleによる米Sun Microsystems買収により、現在はOracleの傘下となっている。このような経緯の中、Widenius氏らは独立してMariaDBプロジェクトを立ち上げ開発を続けてきた。MariaDBはMySQLと完全な互換性を持つフォークとなっており、GPLv2ライセンスで提供されている。 MariaDB Foundati
転職等、状況のご報告
一部の関係者や、勘の鋭い方はお気づきだと思いますが、11月にPerconaを辞して、12月よりInnoDB teamの一員として働くこととなりました。XtraDB等Perconaの製品については少なくとも現職にある限りは、関与することは今後基本的にありません。 XtraDBは私にとっては、InnoDBという優れたアーキテクチャの持つポテンシャルを引き出す手段を素早く積極的に世に問うための重要なチャネルでした。しかし利用者が増えるに連れ、利用者や会社にとっては製品としての位置づけが強くなってしまったようです。この立場の違いが、開発の方針のあらゆる面での意見の相違を生んだと思います。迅速な進歩を失ってしまっては、永続的な存在意義は無いと、例え現在満足していても、将来問題に直面したときに小手先で解決できることなどもう無いのです、先に手を打たなければ。体裁を気にして将来の継続的なメンテナンスコスト
MySQLがダウンしたときに自動的に別のMySQLへ処理を引き継ぐことで、高可用性を実現するフェイルオーバーツール「MySQL-MHA: MySQL Master High Availability manager and tools」がオープンソースとして公開されたことを、作者の松信嘉範（まつのぶよしのり）氏がブログで伝えています。 Yoshinori Matsunobu's blog: Announcing MySQL-MHA: "MySQL Master High Availability manager and tools" 松信氏はモバゲーなどで知られるDeNAに勤務しており、MySQL-MHAによる自動フェイルオーバー機能はDeNAのインフラ運用を支えているとのこと。同氏のブログから引用します。 Difficulties of master failover is one of
Drizzleは、MySQLアーキテクトのBrian Aker氏が2008年7月に開始したプロジェクト。MySQLをベースにしたWebアプリとクラウドインフラ向けの軽量SQLデータベースを目指し、不要なコードを削除し、残りのコードをリファクタリングしてC++化した。 「ビルド1802」として公開したDrizzle7ベータでは、MySQLからのマイグレーションを強化した。バックアップツールdrizzledumpを強化し、中間にダンプファイルを置くことなく直接MySQLからDrizzleへの移行が可能となった。MySQLのネットワークプロトコルもサポートした。 ソースツリー内で「Sphinx」ベースのドキュメンテーションをサポートした。トランザクションログや設定ファイルが強化され、セッションパフォーマンステーブルも導入されている。I/Oをクリーンアップし、40以上のバグを修正した。 Drizz
web2ProjectはPHP/MySQL製のオープンソース・ソフトウェア。プロジェクト管理は既に世の中に多数存在している。シンプルなもの、高機能なもの、Webベース、GUIアプリケーションとコンセプトも無数にある。その中から自分たちにあったものを選ぶ必要がある。 プロジェクト管理 とは言え100%自分達のニーズにあったものを選択すると言うのは難しい。ある程度は許容しつつ、足らない機能があれば追加してみるのはどうだろう。web2Projectであれば拡張も念頭に置かれているので面白そうだ。 web2Projectが提供する主な機能はクライアント管理、プロジェクト管理、タスク、カレンダー。ファイル、コンタクト、リンク、検索、ユーザ管理、レポートなどとなっている。これらはモジュールで管理されており、有効/無効を切り替えることが可能だ。 管理画面 フォーラムや履歴管理、ヘルプといった機能は有効に
ここしばらく、水面下でBrian Akerを代表とするMySQL/SUNのエンジニアたちや、業界のオープンソースハッカーたちとMySQLをスリムダウンさせたマイクロカーネルRDBMSを開発していたのですが、本日アナウンスされたので、日本語でご紹介させていただきたいと思います。 Drizzleとは？ Drizzleとは必要のないものは一切存在しない、最低限でパフォーマンス重視な「MySQLよりシンプルで、軽く、安定して、高速な」 MySQLのforkです。マイクロカーネルアーキテクチャを採用したので、必要のないものは後付けできる構成です。こういった目標もあり、現在、Drizzleの開発チームはMySQLをドラスティックにリファクタリングしています。 コミュニティベースのプロジェクト Drizzleで大事な事は、Drizzleはコミュニティベースのプロジェクトであるという事です。Montyのブ
個人的には疲れ気味のSNSではあるが、海外に目を転じるとまだまだ熱い。ただコネクションを張って、コミュニティを構築して…といった段階を一歩抜け出した感もある。次のステップで目指すのはネットワーク上のオペレーションシステムだろうか。 テストアプリケーション。エラーが出てしまった…（調整すれば出ないはず） その先端にいるのがFacebookとGoogleが提唱したOpenSocialだろう。多数のサービスを巻き込んだオープンな規格であるOpenSocialに対してFacebookの打ち出した案がオープンソース化だ。 今回紹介するオープンソース・ソフトウェアはFacebook Open Platform、Facebookプラットフォームのオープンソース版だ。 Facebook Open PlatformはFacebookの開発者向けプラットフォームであるFacebook Platformをオープ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
