GitLabを16万8千光年ワープさせた話 GITLAB BIG UPGRADE PROJECT

© 2017 UNICAST INC.
2017年7月14日
株式会社ユニキャスト
ゆるUniStudy（仮）
第3回
GitLabを16万8千光年ワープさせた話
GITLAB BIG UPGRADE PROJECT

自己紹介
© 2017 UNICAST INC. 1
株式会社ユニキャスト
ソフトウェアエンジニア
野口航（Wataru NOGUCHI）
@wnoguchi
https://pg1x.io/
• 茨城大学3年の時にアルバイトとしてユニキャストに参加
• 大学卒業と同時に入社
Acclaim
https://goo.gl/fwxMRB
LPIC
Level1 Certified Engineer

アジェンダ
1. About GITLAB BIG UPGRADE PROJECT
2. 検証: 7.4.3→7.14.3
3. 検証: 7.14.3→8.0
4. 検証: 8.0→8.11→8.5
5. 検証: MySQL→PostgreSQL RDBMS変換
6. 検証: 8.5→8.17
7. 検証: 8.17→9.0
8. 検証: 9.0→9.2
9. 本番: 7.4.3→9.2
10. 本番: CentOS 6.9 Src. Ver. → Ubuntu Server 16.04 LTS Omnibus Package Ver.
11. 質疑応答

About GITLAB BIG UPGRADE PROJECT(1)
• Mission: 古くなったGitLabを最新バージョンにアップグレードする
• 方法1: GitLab付属のツールでとったバックアップをインポートする
• マイナーバージョンレベルまで完全に一致していないと無理
• 方法2: リポジトリだけ丸ごと最新GitLabに移し替える
• ユーザー、グループ情報、公開鍵情報が一切引き継がれない
• ゆえに開発、デプロイに大きく支障が出るので廃案
• 方法3: 愚直にGitLab社の提供しているソースバージョンのアップグレード方法を
一個一個実施していく

About GITLAB BIG UPGRADE PROJECT(2)
戦略(TACTICS)
• 現行本番KVM仮想マシンをシャットダウンしてイメージ丸ごとコピー
• イメージをraw形式からvmdk形式に変換
• VMware Workstation上でバージョンごとにスナップショットをとっていつでも切
り戻しできるようにして検証
（超便利！！超おすすめ！！）
• RDBMSの変換はPythonのバージョンが違ってかなり大変そうなので最新版まで
上げてからやる
（そう思っていた時期が私にもありました）
• なぜRDBMSの変換が必要なのか
• GitLabがPostgreSQLを使うことを強く推奨
• OmnibusパッケージでMySQLがサポートされるのはGitLab EEのみ
• GitLab CEはPostgreSQL一択
• 検証が全部済んだら
• 土日使って一気に本番環境をアップグレード
• ついでにOmnibusパッケージ版にも変換、ディストリビューションもCentOS6.9
からちゃんと公式でテストされているUbuntu Server16.04 LTSに

結論から言います

すげえ大変だった。。。。。

検証: 7.4.3→7.14.3
• 2回失敗
• Redisのソケット化がうまくいかなかった
• 3回目にしてやっと成功
• 本当に大丈夫なのかと思った
• diff取るの大変。。。

7.14.3のGitLabの姿

検証: 7.14.3→8.0
• メジャーバージョンアップ
• diff取るの大変。。。

検証: 8.0→8.11→8.5
• 8.0→8.17までやる予定だった
• だんだんバージョンアップ作業に慣れてきた
• というかこのあたりから必要な新設定ファイルを
git show abc123>8.0/new/gitlab.yml
のように予め8.0,8.1,8.2,…,9.0,9.1,9.2まで抽出しておく
• そして差分をWinMergeで視覚的に比較、慎重にvim :sp Vjy C-b w p する
• という効率的なやり方に切り替えていく
• 頭の切り替えが大変だから
• patchコマンド使っても良かったかもしれない
• でもdiffとるのすごくつらい。。。。
• 0.1増えるだけでちょこちょこ設定ファイルやミドルウェアが変わる
• 8.11でついにMySQLのマイグレーションが失敗するようになった
• mysqldumpもMySQL server gone away
• gone awayしなくなるまでスナップショット戻す
• 8.5まで戻る
• MySQLからPostgreSQLに変換することを真剣に検討しなければいけなくなる

ひたすらdiffをとって設定をコピー

検証: MySQL→PostgreSQL RDBMS変換
• CentOS6.9で標準で入っているPythonのバージョンは2.4
• PostgreSQLに変換するにはPython 2.7が必要
• ビルドするのは絶対イヤ
• あちこち探しまくってリポジトリ見つける（一時的にPython 2.7が使える）
• gitlabブランチをチェックアウトして変換実施
• 動いた。。。。。
• なんで動いているのかわからない。。。。
• 奇跡の技では。。。

検証: 8.5→8.17
• バックエンドをPostgreSQLに改めて再度挑戦
• 今度は8.16まで素直に動く
• 8.16ちょっと詰まる
• けど8.17までアップグレードできた
• diff取るの大変だよ。。。。

検証: 8.17→9.0
• メジャーバージョンアップ
• あと一息。。
• 相変わらずdiff取るの大変だよ。。。。

検証: 9.0→9.2
• ガシガシミドルウェアの変更が入る
• いつのまにかグループに公開制御がついていて（8.6あたりから）デフォルトで全
世界に公開する設定になっていて50+個ぐらいのグループをpublicからprivateに
修正。。。
• やっと検証完了（したと思ったら9.3がリリースされた）
• リリースから1ヶ月ぐらい寝かせないとバグ満載で生きた心地しないのでここで
うちやめ

本番: 7.4.3→9.2
• 今までの検証結果をまとめた手順書ベースに一気にアップグレード
• 大ワープ
• 予め検証済みの設定ファイル一式をバージョンを一つ上げるごとにコピーして行
くのでかなり高速
• 万が一に備えてVMはイメージごとバックアップ

本番: 7.4.3→9.2
GitLabロードアベレージ上昇中

本番: 7.4.3→9.2
CPU使用率60%

本番: 7.4.3→9.2
90%

本番: 7.4.3→9.2
メモリ使用量も上昇させます。

本番: 7.4.3→9.2
CPU使用率120%

本番: 7.4.3→9.2
秒読み開始

本番: 7.4.3→9.2
3

本番: 7.4.3→9.2
2

本番: 7.4.3→9.2
1

本番: 7.4.3→9.2
ワーーーープ！！！！！！！

本番: 7.4.3→9.2
ついに、来たんだな、GitLab9.2・・・

本番: 7.4.3→9.2
ああ・・・そうだ

本番: CentOS 6.9 Src. Ver. → Ubuntu Server 16.04 LTS Omnibus Package Ver.
• 今度はソースバージョンのGitLabをOmnibusパッケージ版のGitLabに変換
• これは検証間に合ってなかった
• 一発勝負
• ついでにディストリビューションもUbuntu Server 16.04 LTSに変更
• なぜなら開発、テストは主にUbuntu Serverをベースに行われているから
• CentOSは安定している代わりにパッケージのバージョンが圧倒的に古く、無いソ
フトウェアは自力でビルドする必要がある
• 一応うまくいった
• LDAP認証対応(Active Directory)
• httpsのURLクローン対応

所感
diff取るのすごく大変でした。。。

教訓
• 導入したソフトウェアのバージョンアップにはアンテナを貼ってこまめにアップ
デートしていくべき

帰ろう、家へ・・・

今のGitLabの姿

自宅、、何もかも皆、懐かしい・・・

質疑応答

GitLabを16万8千光年ワープさせた話 GITLAB BIG UPGRADE PROJECT

Recommended

More Related Content

What's hot (20)

Similar to GitLabを16万8千光年ワープさせた話 GITLAB BIG UPGRADE PROJECT (20)

More from Wataru NOGUCHI (7)

GitLabを16万8千光年ワープさせた話 GITLAB BIG UPGRADE PROJECT