Merry Christmas 🎅🎄 というわけで CyberAgent Group SRE Adv ...

はじめに こんにちは、クラウドエース株式会社 第四開発部の多賀です。 データ分析や活用において、頻繁に課題となるのが 「データの欠損」 です。 「顧客リストの電話番号が抜けている」「住所が入っていない」といった不完全なデータに対し、Web 検索等を用いて情報を補完しようとする場合、これまでは外部スクリプトを作成して API を利用したり、あるいは手作業で検索してデータを更新するといった対応が必要でした。 しかし、BigQuery ML (BQML) と Gemini、そして Grounding with

みなさん、こんにちは。DevHRチームの長谷川(X： @hasehathy )です。 街はすっかり年末の雰囲気ですね…！noteでも「1年の振り返り」機能が公開されたりと、2025年について考えるタイミングが増えてきました。 今月もデスクツアー記事や自社主催の技術イベントなど、11月の活動をまとめてお届けします！

この記事は、NTTデータ Snowflake アドベントカレンダー の25日目（最終日）の記事です。 はじめに Snowflake はデータ品質をモニタリングするための機能としてデータメトリクス関数 (Data Metric Functions:DMF)を提供しています。 DMF を利用することで DMBOK2（データマネジメント知識体系ガイド第2版） で定義されているデータ品質の一般的な評価軸（正確性、完全性、一貫性、整合性、妥当性、適時性、一意性、有効性）に関する品質チェックを継続的に実現可能です。

生成AIが生み出す新しい負債「理解負債」について こんにちは！ 株式会社ココナラのVP of Product Engineeringの村上です。 こちらは株式会社ココナラ Advent Calendar 2025 25日目の記事です。 本内容は以下の登壇内容について深堀りしたものとなります。 https://sakuragaoka-tech.connpass.com/event/374785/ 登壇資料も合わせてご確認ください。 はじめに 「このコード、どういう意図で書いたんですか？」 PRレビューでの何

こんにちは、 エニグモ の嘉松です。普段はデータ活用推進室にて、データ分析・データ活用の推進やMAツールを用いた CRM 施策などを担当しています。 本記事は Enigmo Advent Calendar 2025 の最終日（25日目）の記事です。1ヶ月間にわたり様々なテーマで繋いできたバトンも、いよいよ今回が最終回となります！ 最終回は、データ分析・データ活用の裏側を支える技術にフォーカスし、BigQueryに関する（少しディープな）知見を共有します。 時点データとは？ データ分析において、現時点のデー

はじめに こんにちは、スタメンにてにてエンジニアインターンをしております中村です。 「 TUNAGチャット 」では、データベースとしてGoogle Cloud（旧GCP）のAlloyDB for PostgreSQLを利用しています。以前から平日昼間のCPU使用率は55~65％の水準でしたが、ある時期からデプロイのタイミングでDBのCPU負荷が100%に達し、一時的に障害となる事態が問題となりました。 一週間で２度、CPU使用率が100%までスパイクした様子 調査の結果、DB負荷の原因は 「オプティマイザ

こんにちは、AI ShiftのLinです。 この記事は AI Shift Advent Calendar 2025 の24日目の記事です。 Lead Forward Deployed EngineerのLinです。東京側のFDEチームと沖縄のAI Operationチームをリードしています。 この記事の要約 この記事では、Forward Deployed Engineer（FDE）という職種について紹介します。FDEは、お客様の業務に最も近い場所で働くエンジニアです。技術とビジネスの両面から課題解決に取り

この記事は、NTTデータ Snowflakeアドベントカレンダーの24日目です。 1. はじめに：Streamlit in Snowflakeで“作りたいものがすぐ作れる”と実感した話 こんにちは。データマネジメント統括部の田辺です。 今年入社した新卒1年目です。 現在のプロジェクトでは、生成AIにプロンプトを与えて Snowflake 上でファイルフォーマット・テーブル・プロシージャなどの 資材を自動生成する仕組みのトライアルを進めています。 この仕組みでは、Snowflake のテーブルで管理している

この記事は「ビギナーズ Advent Calendar 2025」の24日目の記事です。 はじめに 自身が現在担当している案件は、Databricksを使用したデータパイプラインの作成を行っています。データ活用を加速させるために、Databricksにデータを一元集約しようとしており、フェデレーション接続されたテーブルに対するデータパイプラインを開発しています。 ある時、とあるビューのパイプライン作成を依頼されました。そのビューは名前に「/」を含んでいたため、フェデレーション上に表示されませんでした。この

この記事は Bitkey Developers Advent Calendar 2025 24日目の記事です。 株式会社ビットキーで データアナリストをしている@bitkey_r_ikutaが担当します。 はじめに 私の所属しているData Platformチームは、ビジネスサイドからのデータ集計依頼に対して、BigQueryでデータ集計用のSQLクエリを作成し、その後の可視化やインサイトの提供につなげています。 このとき、多くの場合3~5つ以上の様々なテーブルを結合して集計する必要があるのですが、毎回「

本記事は【 Advent Calendar 2025 】の19日目の記事です。 はじめに マイナビの2年目データエンジニアのItです 今回はSnowflakeデータベースに蓄積されるデータ（ACCOUNT_USAGEスキーマなど）を用いて、コストの可視化をしてみました。 背景 Snowflakeの利用者（主にビジネスサイドの人たち）に対してコストの可視化をし、コストの透明化を図りたいと考えていました。 「コストの可視化、そんなもんSnowsightで見ればいいでしょ！」 と言われてしまいそうなので、現在の

本記事は、” Achieve a high-speed InnoDB purge on Amazon RDS for MySQL and Amazon Aurora MySQL ”  を翻訳したものです。 パージ は、MySQL データベースにおけるハウスキーピング操作です。InnoDB ストレージエンジンは、 マルチバージョン同時実行制御 (MVCC) やロールバック操作のために不要となった、 undo ログ や削除マークの付いたテーブルレコードのクリーンアップを、この操作に依存しています。私

はじめに 現在注目を集めているSnowflake Cortex AISQL。 その中で音声データを扱えるAI_TRANSCRIBE 関数 が、今後さらなるユースケースに活用できると感じたため、今回試してみたいと思います！ この記事は、NTTデータ Snowflakeアドベントカレンダー23日目です。 Cortex AISQL 概要 Cortex AISQLは、SQLクエリから直接AI機能を呼び出せる仕組みです。 従来慣れ親しんできたSQL構文を活かしながら、AIを活用した分析が可能になります。 Corte

はじめに 私はエンジニアとしては未経験でNTTデータに中途入社し、2025年1月から本格的に Snowflake を触り始めました。 初めて Snowsight にログインしたとき、画面上にはさまざまなメニューや機能が並んでおり、まずは試しに SQL を実行してみようと思ったのですが、“どこで SQL を書けばよいのか”、“実行結果をどこで確認するのか”が分からず戸惑ったことを覚えています。 Snowflake というツール自体が初めてだったこともあり、最初に “要点だけがまとまった簡易的なガイド” があ