システムを運用していると時折直面するのが「移行作業」です。 新しい技術に触れられるのは楽しいです。一方、大量のコードの書き換えはちょっと辛いですよね。単純な置換で済めばよいのですが、そううまくはいかないことがほとんどです。 今回はこの書き換えを Claude Code を活用して楽に、精度良く実施したお話です。 データ基盤チーム/Unit9（エビデンス創出プロダクトチーム）エンジニアの坂元です。このブログはデータ基盤チーム/Unit9 ブログリレー 1 日目の記事です。 背景 はじめの一歩 独り立ち そして検証も… できたこと 残った課題 細かい工夫 全文読んでから対応すること セルフレビューしてもらう まとめ We are hiring! 背景 エムスリーのデータ基盤（BigQuery）上では数多のデータパイプラインが稼働しています。今回はそのうちの一部を dbt (data build
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? BIをコード管理したくないですか？私はしたいです。 BI as Codeを謳うOSSがあるようなので、Get Startedしてみます。 環境構築 公式ドキュメントを見ると、VSCodeのExtensionを入れて開発することを推奨しているようです。 2.Open the Command Palette (Ctrl/Cmd + Shift + P) and enter Evidence: New Evidence Project 3.Click Start Evidence in the bottom status bar 拡張機能のイ
序文 私の仕事は、DBエンジニアです。といっても別に望んでデータベースの世界へきたわけではなく、当初、私はこの分野が面白くありませんでした。「Web系は花形、データベースは日陰」という言葉も囁かれていました。今でも囁かれているかもしれません。 ですが、しばらくデータベースを触っているうちに、私はこの世界にとても興味深いテーマが多くあることを知りました。なぜもっと早く気づかなかったのか、後悔することしきりです。 もちろん、自分の不明が最大の原因ですが、この世界に足を踏み入れた当時、先生も、導きの書となる入門書もなかったことも事実です。 今でこそバイブルと仰ぐ『プログラマのためのSQL 第2版』も新入社員には敷居が高すぎました (2015年2月追記：その後、自分で第4版を訳出できたのだから、 人生は何があるか分からないものです)。 そこで、です。このサイトの目的は、データベースの世界に足を踏み
Run a query and get results from: postgres:16.4 mysql:8.4 sqlite:3.46 mariadb:11.5 clickhouse:24.5 duckdb:1.1 Write a query below or pick one: columns join using exists group by rollup window percentile fetch upsert except json recursive cte information schema arrays strings select dense_rank() over w as erank, first_name, dep.name as dep_name, salary from employee as emp join department as dep on
運用しているウェブアプリケーションへの、Cloudflare経由のリクエスト数はどれくらいあるかな、と調べたくなった。 そのさい、ちょっと試行錯誤することになったので記しておく。 CloudflareのIPレンジはこのあたりに記されているので、これと合致するかを調べていけばよさそう。 IP Ranges | Cloudflare https://www.cloudflare.com/ips-v4 以降、アクセスログはS3に置いていて、hostカラムにリクエスト元IPが格納されていて、Amazon AthenaからSELECTできるものとする。 また、実際には日付での絞り込みをおこなわないと、全範囲の探索になってしまうので注意。 is_subnet_of Prestoの0.233以降だと、is_subnet_ofという関数が用意されていて、IPレンジ内にIPがあるかを判定できるようだった。
はじめに こんにちは。 GMOアドマーケティングのKONCEです。 新卒で入社し、数年経ちました。日々の業務で学ぶことは多いですが、今年度は技術の深堀りをテーマにやっていきたいと思っています。 今回は入社してDBやSQLに関しては業務内で学ぶことが多く、特別訓練をしていたわけではなかったのですが、「SQLアンチパターン」を用いて学びながら、改めて自分の現状を見つめ直していけたらと思います。 今回は学習を行う側面と自分自身のレベルについて見直していきたいので 知っていた → ○ 部分的に知っていた → △ 知らなかった → × を付けてみようと思います。 目次 SQLアンチパターンについて Ⅰ部 データベース論理設計のアンチパターン 2-1. [○]1章 ジェイウォーク（信号無視） 2-2. [×]2章 ナイーブツリー（素朴な木） 2-3. [○]3章 IDリクワイアド（とりあえずID） 2
ども、@kimihom です。 今回 SQL の負荷を分析して改善することをしたので、その実施を残しておこう。 パフォーマンス解析 基礎 何かしらサービスをローンチする時点で、パフォーマンス解析するようなサービスを導入することかと思う。 New Relic | パフォーマンス分析プラットフォーム Application Monitoring for Ruby, PHP, Node.js, Python, and Elixir ~ Scout Application Monitoring for Ruby on Rails, Elixir & Node.js | AppSignal APM 実際にその "SQL をどの頻度で使っているのか、平均どのくらい時間がかかっているのか" を定期的にチェックするのが、サービスの運用として必要なことになる。 最初のローンチ時点で SQL の負荷がとてもか
Google、ORMが生成するSQLが遅いときの調査を容易にする「sqlcommenter」をオープンソースで公開。Rails、Spring、Djangoなど主要なフレームワークに対応 SQL文を直接書かなくとも、自動的にSQL文を生成、実行してくれるORM（Object-Relational Mapper）は、プログラミングを容易にしてくれる技術としてRailsやHibernate、Springなどさまざまなフレームワークなどで活用されています。 一方で、ORMが生成するSQL文はときに複雑に、あるいは非効率なものとなり、データベース処理の遅さにつながることもあります。 このとき、SQL文の生成と実行を明示的にコードとして記述する必要がないというORMの特徴が、なぜデータベース処理が遅くなったのか、どのようなSQL文が生成され、そのどこに原因があるのか、といった調査を難しくている面があり
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
@tkanayama_です。「SQLアンチパターン *1」 という本を読みました。「ポケモンを題材に因果推論を実践してみる」のように、仮想的なストーリ上で実際に使ってみた感を出すことにより、自分の記憶に定着させることを狙います。 前提として、何をアンチパターンとするかは状況（ベンダーフリーである必要があるかどうか、どの程度の頻度で更新されるか・・・など）によって大きく異なるので、下記で紹介するアンチパターンは実は状況によっては問題にならないケースもあるかと思います。この投稿はあくまで「SQLアンチパターン」に忠実に従うことが目的です。 www.oreilly.co.jp 追記 登場人物 ストーリー フシギダネへの対応 ヤミカラスへの対応 ディグダへの対応 誤登録でポケモントレーナーになってしまったユーザーの削除 最後に 謝辞 追記 このブログを公開後、「外部キー制約はレコードロック周りのト
最近Pythonを使い始めた人の多くが最初に使うPythonのORMはDjangoに附属しているやつなんじゃないかと思います。そういった人が、後になってSQLAlchemyを使うと、必要以上に複雑で使いにくいと感じることもあるようです。かく言う僕もそんな感じで、長らく研究用スクリプトにもDjangoのORMを無理矢理組み込んで使っていました。 しかしながら、最近になって(研究室の輪講の為に)SQLAlchemyの使い方を勉強し直したところ、この認識を改めるに至りました。このことをもっと多くの人とシェアしようと思い、キーボードに手を置いた次第です。本稿では、DjangoのORMを使ったことがある人を対象に、SQLAlchemyの使い方を、両者の違いと共通点を意識しながら解説したいと思います。 SQLAlchemyバリバリ使ってる人 間違ってる箇所や、こういう便利な機能あるよ、というのがあった
ずっと前から積ん読状態だった「SQLアンチパターン」を読みました。 何年積んでたか分からないSQLアンチパターン読み終わったー。噂に違わずいい本ですねー。もっと早く読むべきだった。— @ketancho (@ketancho) 2018年3月6日 噂通りとても良い本で、まさに「エンジニアとしての血肉本」と言えます。1, 2年目の頃に読んでおくべきだったなーと少し後悔しています。 SQLアンチパターン 作者: Bill Karwin,和田卓人,和田省二,児島修出版社/メーカー: オライリージャパン発売日: 2013/01/26メディア: 大型本購入: 9人 クリック: 698回この商品を含むブログ (46件) を見る 読んで終わりだと身につかないと思うので、自分なりのチェックポイントを言語化しておこうと思います。長くなってしまったので、章ごとに4つに分けたいと思います。この記事はその第一弾と
この記事はPython Advent Calendar その2の20日目の記事です。 PythonでメインでSQLAlchemyを使用しているのですが、せっかくORMを使用しているのに、生SQLばかり書いているのも良くないので、そろそろ真面目に慣れたいなと思って、使い方〜クエリの操作まで記述しました。 sqlalchemyの基礎 データベースへ接続(pymysqlを使用) sqlalchemyモジュールのcreate_engineメソッドを利用する from sqlalchemy import create_engine username = 'username' password = 'password' host = 'localhost' dbname = 'database' engine = create_engine('mysql+pymysql://{username}:{p
sqlmap は SQL インジェクションに特化したオープンソースのペネトレーションテストツール。 これを使うと Web アプリケーションの特定のパラメータに SQL インジェクションの脆弱性があるか否かを確認しやすい。 注意: 外部のサーバに使うことは攻撃となるので絶対にしないように。 今回使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.6 BuildVersion: 16G29 $ sqlmap --version 1.1.8#stable $ python --version Python 2.7.10 インストール sqlmap は Homebrew でインストールできる。 $ brew install sqlmap これで sqlmap コマンドが使えるようになる。 $ sqlmap --vers
SQLアンチパターン 作者:Bill KarwinオライリージャパンAmazon 免責 この本を読んだことがない人が、このノートから本の内容を脳内に展開することはできません。見出し部分は Amazon などで「目次」の内容として公開されている範囲にとどまります。 この本を買うかどうか悩んでいる人は是非購入しましょう。これは価値のある本です。 本の紹介 SQL つまり RDBMS を使ったアプリケーション開発や運用の中で遭遇する「アンチパターン」についてまとめられている本です。出版年を見ると歴史が古いことがわかりますが、Amazon で見ると最近も非常に人気があるロングセラーであることがわかります。読んでみると、それは確かに納得のいくものでした。 アンチパターン、つまり「やらない方がよい手法」を集めたものですが＿＿多くの人が共感してくれると思いますが＿＿よくやってしまう手法でもありました。な
集計結果で数字を見る際に桁数がよくわからないことが会ったので、SQLで集計出力時に3桁ごとにカンマ区切りで見やすく表示させる対応をしたので備忘で残しておく。 各DBごとにSQLの記述が異なるのでひとまずよく使用されるMariaDB、PostgreSQL、OracleDB、SQL Serverごとで調べてみることにした。 1. MySQL/MariaDBの場合 MySQL/MariaDBの場合、対象のカラムをformat()で指定することで桁区切りが行える。 select format(1234567,0); MariaDB [test]> select format(1234567,0) num; +-----------+ | num | +-----------+ | 1,234,567 | +-----------+ 1 row in set (0.00 sec) 2.Postgre
SQLAlchemy は Python でよく使われている O/R マッパーの一つ。 今回は、そんな SQLAlchemy が生成する SQL 文を確認するためのパッケージを作ってみたよ、という話。 具体的には、以下の sqlalchemy-profile というパッケージを作ってみた。 このエントリでは、なんでこんなものを作ったのかみたいな話をしてみる。 github.com 使った環境は次の通り。 ただし sqlalchemy-profile 自体はプラットフォームに依存せず Python 2.7, 3.3 ~ 3.6 に対応している。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.4 BuildVersion: 16E195 $ python --version Python 3.6.1 O/R マッパーについて O/R
こんにちは、サイバーエージェントのメディア広告部門、 通称MDHで開発局の局長をやっている小越と申します。 我々の部署は「メディアの為の広告テクノロジー」というミッションで 日々配信サーバーやDMPの開発を通じてメディアの広告収益を 上げる事を仕事にしています。 今回は、我々の部署で導入して、とても捗った話を紹介したいと思います。 ■何をやったのか？(やっているのか？) 簡単に言うと、(1)ディレクターがSQLを覚えて、(2)データ分析に 必要なデータ抽出はディレクターがやるというルールを導入し、 実際に運用しています。 導入前の課題、導入後の効果、 そしてそれから更に何が起こったかを順番に説明していきます。 ■導入前の課題 皆さんの開発組織では、PDCAサイクルはどのように回ってますか？ PDCAとは我々の部署では以下のような行為と定義付ける事ができます。 P:プラン データ分析や戦略策
3行まとめ 業務が忙しかった日はヘトヘトになってしまいブログを書かない傾向がある メモを取りながら業務を行っているので、業務が終わると同時にブログがほぼ完成している状態にしていこう canonical属性 URLの正規化 リンクポピュラリティ ページランク rel=canonical の指定は１ページで１つとし、かつページのheadタグ内で指定する。 http://やhttps://がついていない場合は、相対URLとして判断されます。 AMP(Accelerated Mobile Pages) : GoogleやTwitterなどが共同で参加しているAMPプロジェクトが構築した仕組み、もしくはそのためのHTML規格 Googleは2016年2月からスタート assertequals と assertsame equals はゆるい比較 1.0 ~ 2.0 までみたいな範囲指定もできたりする
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
