ムック「データベース徹底攻略」 - MySQL/Redis/MongoDB/Redshift
最近発売された技術評論社のムック「データベース徹底攻略」に寄稿しました。 この本は、データベースのための本ということで、データベース設計、SQL、MySQL、Redis、MongoDB、Redshiftという代表的な要素技術についてのまとめとなっています。各プロダクト(MySQL、Redis、MongoDB、Redshift)については、現場で実際に本格的に使われている方々による記事なので大いに参考になると思います。 私は冒頭のまとめ記事を寄稿しました。詳細はぜひお手に取って読んでくださればと思います。ここでも自分が各技術を現時点でどのようにとらえているか、本ではいささか書きづらい内容について、最近流行りの言葉でもある「技術的負債」という観点も踏まえて書いておこうと思います。 ・MySQL (RDBMS) 私はMySQLの中の人でもありましたし、これまで至るところで話してきたので省略します
PostgreSQLの基本コマンドをメモ。 参考:ドットインストール 他 （注:少しずつ追加していきます） 起動 サービスの起動 postgres -D /usr/local/var/postgres ターミナルを起動 デフォルトのデータベースに接続 psql -d postgres データベースを指定して接続 psql -d データベース名 データベースとユーザを指定して接続 psql -d データベース名 -U ユーザ名 データベース データベース一覧の表示 \l データベースの選択 \c データベース名 テーブル テーブル一覧の表示 \dt; テーブル構造の表示 \d テーブル名; テーブル内のデータを一覧 select * from テーブル名; 指定したカラムの内容を小さい順に表示 select * from テーブル名 order by カラム; 指定したカラムの内容を大きい順
この記事では、GraphQL(グラフQL)の概要やメリット、クエリのしくみや解決方法、サンプルでわか GraphQL のサーバー構築方法などをわかりやすく解説していきます。 ガイドの目次 GraphQLとは？ GraphQL のメリット GraphQL クエリのしくみ GraphQL クエリの解決方法 GraphQL を既存のバックエンドと組み合わせて使用する Node.js でシンプルな GraphQL サーバーを構築する まとめ GraphQL（グラフQL）とは API のために作られたクエリ言語であり、既存のデータに対するクエリを実行するランタイムです。理解できる完全な形で API 内のデータについて記述します。GraphQL を利用すれば、クライアント側から必要な内容だけを問い合わせられると共に、漸次的に API を進化させることが容易になり、強力な開発者ツールを実現できます。 G
(1) PostgreSQLのダンプツールを利用したバックアップ pg_dumpコマンド DBを運用しながらでも使えるbackupコマンド 中ではトランザクションブロック内でSELECT文を発行し、取得したデータを出力形式に合わせて整形した腕標準出力に出力 するらしい。 pg_dumpの出力形式 スクリプト形式(デフォルト) アーカイブ形式 が選択できる。 スクリプト形式 スクリプト形式の出力は、リストアに必要なSQL文の羅列が出る。 ので、psqlコマンドでリストアする。 スクリプト形式の場合はプレーンテキストなので、リストアの際にエラーが出たら、中を見れるという利点がある。 アーカイブ形式 バイナリの形で出力される。リストアはpsqlコマンドでなくpg_restoreコマンドで行う。 アーカイブ形式の利点は、 **｢指定したtableのみを選択してリストアできる｣**ことらしい。 また
リレーショナルデータベースが話題に挙がるとき、私は何かが足りないと思わずにはいられません。データベースはあらゆるところで使われており、その種類も、小規模で便利なSQLiteからパワフルなTeradataまで様々です。しかし、それがどういう仕組みで機能しているかを説明したものとなると、その数はごくわずかではないでしょうか。例えば「リレーショナルデータベース 仕組み」などで検索してみてください。ヒット数の少なさを実感できると思います。さらにそれらの記事は短いものがほとんどです。逆に、近年流行している技術（ビッグデータ、NoSQL、JavaScriptなど）を検索した場合、それらの機能を詳しく説明した記事はたくさん見つかると思います。 リレーショナルデータベースは、もはや大学の授業や研究論文、専門書などでしか扱われないような古くて退屈な技術なのでしょうか？ 私は開発者として、理解していないものを
下記のようなシステムでパフォーマンスが良さげな SQLite を使用予定ですが、もっと速いものが無いか確認のため他のデータベースのパフォーマンスを計測してみました。SQL 利用前提ですが、NoSQL が圧倒的な性能を出す場合は検討する必要があるので KVS も確認しました。 データ件数は 1 億件程度、JDBC SQL 利用可能 INSERT、UPDATE はバッチ SELECT は主キーアクセス性能を重視 将来スケールアウトのための分散はありえるが、スタンドアロンで遅いのはだめ データベースのパフォーマンス比較 計測したデータベース データベース名 タイプ 形態 評判 計測についての備考 SQLite RDB 組み込み ※2 おもちゃ、Android標準 JDBC操作 ※1 H2 RDB 組み込み ※2 組み込み最速 JDBC操作 ※1 Derby RDB 組み込み ※2 Java標準で
開発コストは掛かったでしょうから、さすがにMySQLと同価格、とは行かなかったようですが、概ね1.2倍強の価格で提供されています。詳しくは料金表を御覧ください。 ちなみに、インスタンスクラスの選択肢は、現状上記5種類のようです。開発環境用にt2シリーズも欲しいですねぇ…。 MySQL 5.6からのマイグレーション マイグレーションには2つの選択肢があります。1つ目は「mysqldump & mysqlimport」、単純にダンプして、それをAuroraに食わせればいいんですね。見た目にも分かりやすいです。 もう一つはMySQLのDBスナップショットからAuroraのインスタンスを立てることもできるようです。これは簡単。 制限事項としては2つ。MyISAMエンジンを使っている場合は、予めInnoDBに変換しておく必要があります。そもそもRDS for MySQLでは推奨されていなかったエンジ
「Aurora（オーロラ）は、AWS史上、もっとも速いスピードで成長を続けているサービス」―7月28日、アマゾン ウェブ サービス ジャパンが行った報道陣向けの説明会において、同社 技術本部 エンタープライズソリューション部長/シニアソリューションアーキテクトの瀧澤与一氏は、データベースサービス「Amazon Aurora」への注目度の高さをこう表現しました。2014年の「AWS re:Invent」で発表されて以来、MySQL互換のマネージドデータベースサービスとして多くのユーザを獲得してきたAuroraですが、その勢いはリリースから2年経った現在も衰えることを知りません。なぜAuroraはこれほど力強い支持を得られているのでしょうか。説明会の内容をもとに、Auroraというデータベースエンジンのいまに迫ってみたいと思います。 説明会のスピーカを務めたアマゾン ウェブ サービス ジャパン
Amazon AuroraのMySQL 5.7互換が正式リリースされました | DevelopersIO
◯| |南米 (サンパウロ)|◯||| ### 新機能 MySQL 5.7互換であるため、MySQL 5.7としての新機能が追加されています。代表的なものは以下のとおりです。 - JSONサポート - 空間インデックス（Amazon Auroraは独自に空間インデックスを実装しています） - 生成カラム（generated column） JSONサポートは嬉しい方が多いのではないでしょうか。多用するとリレーショナルモデルから逸脱するので適度な使用が良いと思います。 生成カラムは別のカラムの内容を基に計算した結果を取得できるカラムです。データの取り出しに柔軟性（コード -> 値の変換がアプリ側で不要など）が生まれます。 13.1.18.8 CREATE TABLE and Generated Columns 既存Auroraからの移行 Aurora MySQL 1.14、1.15、1.16
TL;DR; Amazon AuroraはIn-Memory DBでもなくDisk-Oriented DBでもなく、In-KVS DBとでも呼ぶべき新地平に立っている。 その斬新さたるやマスターのメインメモリはキャッシュでありながらWrite-BackでもなくWrite-Throughでもないという驚天動地。 ついでに従来のチェックポイント処理も不要になったのでスループットも向上した。 詳細が気になる人はこの記事をチェキ！ Amazon Aurora Amazon AuroraはAWSの中で利用可能なマネージド(＝運用をAWSが面倒見てくれる)なデータベースサービス。 ユーザーからはただのMySQL、もしくはPostgreSQLとして扱う事ができるのでそれらに依存する既存のアプリケーション資産をそのまま利用する事ができて、落ちたら再起動したりセキュリティパッチをダウンタイムなしで(!?)適
DBのマイグレーションツールは最初の設計の時点ですごく悩むことの一つです。 できるなら、使い慣れた形のマイグレーションツールを使いたいという方のほうが多いと思います。 本記事ではそんなマイグレーションツールの一つであるsqlalchemy-migrateというツールを紹介します。 ソースコードはこちら sqlalchemy-migrateは、pythonの代表的なORマッパーの一つであるsqlalchemyの文法をそのまま踏襲したマイグレーションツールで、sqlalchemyを用いて開発している方にとっては文法理解などの話が少なくて済むおすすめのマイグレーションツールです。 本記事ではsqlalchemy-migrateの導入から初歩的なテーブル管理までを解説します。 導入してみる インストールにはpipを使います。 $ pip install sqlalchemy-migrate その後
im@sparql im@s + sparql = im@sparql 広がるアイマスワールドをオープンデータ化 WebやアプリからSPARQLで検索・利用可能なエンドポイント Update Try Input Query PREFIX schema: <http://schema.org/> PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> PREFIX imas: <https://sparql.crssnky.xyz/imasrdf/URIs/imas-schema.ttl#> PREFIX imasrdf: <https://sparql.crssnky.xyz/imasrdf/RDFs/detail/> PREFIX foaf: <http://xmlns.com/foaf/0.1/> PREFIX math: <
SqlAlchemy-migrateを使ってみる 概要 RailsのActiveRecordのMigrationに影響を受けて、SQLAlchemy を使ったプロジェクトのスキーマ管理をできるようにしたもの。 現時点での最新Verは0.8.2みたいです。 Package Index > sqlalchemy-migrate > 0.8.2 使用方法 ライブラリのインストール $ pip install sqlalchemy $ pip install sqlalchemy-migrate これにより"migrate"コマンドが使えるようになる。 $ migrate --help プロジェクトの作成 ※DBは既に存在していることを前提とする。今回はチュートリアルにのっとりSQLiteを使用します。 ちなみに初期Tableはこんな感じで作ってある。 # create_table.py from
先週は、レガシーなOracleデータベースと格闘していた(文字エンコーディングの件もその一つ)。 __table__と__tablename__の違い __table__は適切に設定済みのテーブルに対して使うらしい。自分でごちゃごちゃと設定したい場合は__tablename__と__table_args__を使うべし How to override a column name in sqlalchemy using reflection and descriptive syntax 複合プライマリーキーでのone-to-many 主キーが複合プライマリーキーの場合はそれぞれにprimary_key=Trueをつけるが、外部キーで一対多の関連付けをしたい場合には __table_args__で外部キー設定をしておく。 class Protocol(Base): __tablename__ =
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
