2人目アナリティクスエンジニアとして入社して1年が経ちました【在籍エントリ】

こんにちは。ニーリーのAnalyticsチームで働いている五十嵐です。普段は鹿児島からフルリモートで勤務しています。下の写真は鹿児島の日常です。この程度では誰も見向きもしません。

5月で入社1年が経ちました & 入社エントリを書くタイミングを逃してしまったので、禊の振り返り記事を書かせていただきました。面接ではよく「テックブログ読みましたよ」と言われるらしいので、ニーリーへの入社を考えてくださっている方の参考になれば幸いです。

2024 上期（2024年5月〜6月）

2024年5月に入社し当初2週間程度はオンボーディングメニューに沿って月極駐車場やPark Directに関するドメイン知識、データ基盤開発や分析の標準的なフローをじっくり学ぶ期間とその時は思っていました。

しかしそこはやはりスタートアップ。入社3日目くらいに急ぎめの指標値の算出依頼が入り、早速自分が担当することになりました(笑)。

集計に要する過去分のデータが基盤に蓄積されていないというあるある状態。他チームが手動で蓄積していたスプレッドシートをベースに集計できそうというところまでは良かったのですが、やはり手動運用のスプレッドシート。カラムの位置がファイルによってずれていたり、改行を含む項目が別行になっていたりとこれまたあるある状態でした。仕方がないので書き捨てのプログラムを書いてデータをクレンジングしてまとめてCSVに出力、これをBigQueryに取り込んでクエリを書いて集計という形で無事指標の算出まで辿り着けました。

予定していたオンボーディングとは異なる形でしたが、実データを用いた泥臭い対応を通じて、座学だけでは得られない実践的なドメイン知識と、当社のデータの「生」の姿を知ることができました。結果として非常に効果的なキャッチアップになったのではないかと思います。ただ、誤解しないで欲しいのですが、オンボーディングコンテンツはちゃんと準備されており、私より後に入ったメンバーはしっかり時間を取ってオンボーディングを受けています！

最近のオンボーディングコンテンツの例。メンバーが増えるたびにアップデートしています。

この期間はそれ以外にもアドホックなデータ抽出・分析依頼に対応しながら、Analyticsチームのワークフローや、BigQuery、TROCCOといったクラウドベースのデータ基盤環境に慣れていきました。前職まではオンプレミス環境が中心だったので、クラウド環境への適応も大きなテーマでした。

技術的な改善としては、BigQueryにおける履歴データの蓄積方法を見直しました。従来のCREATE OR REPLACEによるフルスキャンを伴う更新から、MERGE文を使った差分更新に変更することで、クエリのスキャン量を大幅に削減することができました。また、HubSpotなどの利用サービスで生まれる未活用のデータを基盤に取り込む作業も開始しました。

2024 下期（2024年7月〜12月）

下期に入ってからは、引き続きデータ基盤への新規データソースの取り込みを進めたり、アプリケーションDB（PostgreSQL）側で実行されていて高負荷となっていた集計クエリを、データ基盤であるBigQueryへ移植する作業を進めていました。それによりデータ基盤上でやれる分析も増え、Analyticsチームへの依頼窓口も整備されていったので、8から9月にかけてはアドホックなデータ抽出・分析依頼が非常に多くなり、嬉しい悲鳴ではありますが正直チームはかなり大忙しでした。

10月後半からはPark Directの新しい機能として、駐車場管理会社様向けの分析レポートを提供するためのリバースETL構築プロジェクトの一部を担当しました。データ基盤上で集計・加工したデータを、Park DirectのアプリケーションDBへ書き戻すという、データ活用における重要な取り組みでした。リバースETL部分の設計と実装、運用構築まで担当し、カラム追加などのスキーマ変更にも柔軟に対応できるようになり、データ復旧なども滞りなく行える安定したパイプラインを構築することができました。詳しくは以下の記事にまとめています。

nealle-dev.hatenablog.com

またこの時期に新しいメンバーが加わってくれたことでチーム化が進み、より協力して業務を進められる体制が築けました。