NW運用の工夫と発明

NW運用の工夫と発明～現場ならではの３つの事例～ Preferred Networks 金井瑛(Akira Kanai)　recuraki 　技術士(情報工学), CCIE(EI), CIA,
CISA

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 自己紹介: 金井瑛
2009-2022: (13年間) 　NTTコミュニケーションズ　NW全般の設計・開発・技術検証光伝送, Ethernet, IP Interop NOC(2012-2016) 2022-現在: (3年間) 　Preferred Networks AIコンピューティング本部基盤技術G 　AIクラスタ NW の設計・開発・技術検証　　400G Ethernet, RoCE v2 趣味: 資格試験(122件), 競プロ, ルービックキューブ(3x3) • 技術士(情報工学), CCIE EI, IPA ネスペ, AWS(14個), 知財検定２級 SNS: recuraki P.2 ここでのエピソード

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 みなさん特許と聞いてどう思いますか？難しそう
数式が必要そう？研究？ソフトウェアには関係ない？ P.3

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 特許・発明 P.4 引用元:
https://www.jpaa-tokai.jp/media/detail_468.html https://www.businesslawyers.jp/practices/299 　特許制度は、「発明の保護及び利用を図ることにより、発明を奨励し、もって産業の発達に寄与することを目的」とした制度です（特許法 1条）。特許制度のイメージ特許の出願と審査・自然法則を利用していること・技術的思想であること・創作されたものであること (新規性) ・高度のものであること

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 特許は誰でも見られる ...けど読み解きが難しい STEP1:
J-PlatPat(特許情報プラットフォーム)を開く STEP2: テキストボックスに名前を入れて検索例：特許7273938(次ページの例)や名前を入れる STEP3: 読む！

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 難しいですよね ... P.6
1: 定義する文章 2: 定義する図【解決手段】その文字の入力操作又は文字属性において共通する事項を有する文字毎に分けられた複数のグループに基づいて、出力される文字列である出力文字列を構成する複数のブロックに入る候補文字を決定し、決定された候補文字の中から１又は複数の文字を各ブロックにおいて選択することによって文字列を生成する制御部、を備える文字列生成装置である。

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 このプログラムの概要と話さないこと
【問題意識】NW運用の現場ではいろいろ工夫を行っているのに、それらを”当たり前”と捉え、発明になりうることが知られていない【そこで】この発表では、私が実際の現場の３つを公開範囲で紹介 • 1: 打ちやすく伝えやすいパスワード生成方式 • 2: 可視化による運用の意識付け • 3: イベント特有の超多量なログの異常検知「こんなことも特許になるんだ」という皆さんの新たな視点となれば幸いです　　　（運用で新しいことを生み出している、かもしれない）話さないこと • 特許・知財自身の話 • 特許の書き方や出願の仕方 • 紹介例のビジネス的な価値 (特許ではなく公開記事にするなど含む ) 注意：知財関係では公知でないことが重要なので、アイデアの相談にはご注意ください

入力しやすく伝えやすいパスワード生成文字列生成装置、文字列生成方法及びコンピュータープログラム特許第7273938号

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 はじめに:入力しやすく伝えやすいパスワード生成パスワードを生成する際、「ブロック」を結合して生成するそれぞれのブロックの
文字種(アルファベット・数字・記号）をまとめる　 ⇒例えば小文字、大文字、数字、記号の順にでまとめる QFsS5%($)9q => sqQFS59%($) 工夫１：文字種の順番を変更する (大文字・数字・記号・小文字の順でも良い ) 工夫２：文字種の長さは任意で良い（０文字の文字種があっても良い）工夫３：文字種の決定には端末の種類を考慮する (User-Agent) これによって「見やすく」「打ちやすく」「伝えやすい」パスワードを生成する。 aiue UEAY 7463 !&#$ aiue UEAY 7463 !&#$ ASR uyasqa 1 &”#$”

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 問題意識私の立場：全社検証環境の運用リーダ(2020年頃) 前提：前者ユーザに対してWiFiサービスや色々なシステム(Web)などを提供。
問題意識：パスワードが打ちにくいし、読みづらく、伝えづらい！と内外の声　例１：WiFiパスワードを月次ローテーション　例２：Webシステムの初期パスワードパスワードの例: uFmsS5%/G($)709tq • 課題1：見づらく • 課題2：打ちにくく • 課題3：声で伝えにくい(電話、会議、現場) ここには既存手法で対処

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 STEP0: “見づらく”への対処: まずは既存手法を併用
既存の工夫１：フォントにより見づらい文字は使わない既存の工夫２：音が同じ文字を使わない • q / 9 (きゅー/きゅう) • m / n(えむ/えん) • p / b(ぴー/びー) • z / g(ずぃー/じー) 使わない文字リストの例

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 “打ちにくい /伝えにくい ”への対処1:
文字種をまとめるパスワード作る際にパスワードとは「ブロック」を結合したものであり、それぞれのブロックの文字種(アルファベット・数字・記号）をまとめる　 ⇒例えば小文字、大文字、数字、記号の順にでまとめる QFsS5%($)9q => sqQFS59%($) 工夫１：文字種の順番を変更する (大文字・数字・記号・小文字の順でも良い ) 工夫２：文字種の長さは任意で良い（０文字の文字種があっても良い） aiue UEAY 7463 !&#$ aiue UEAY 7463 !&#$ ASR uyasqa 1 &”#$”

文字種をまとめるパスワード作る際にパスワードとは「ブロック」を結合したものであり、それぞれのブロックの文字種(アルファベット・数字・記号）をまとめる　 ⇒例えば小文字、大文字、数字、記号の順にでまとめる QFsS5%($)9q => sqQFS59%($) 打ちやすさ (スマホの例) キーマップをいたずらに移動しなくて良くなる！

文字種をまとめるパスワード作る際にパスワードとは「ブロック」を結合したものであり、それぞれのブロックの文字種(アルファベット・数字・記号）をまとめる　 ⇒例えば小文字、大文字、数字、記号の順にでまとめる QFsS5%($)9q => sqQFS59%($) 伝えやすさ sqQFS59%($) 小文字で「えす・きゅー」大文字の「えふ・えす」数字の「ご、きゅー」記号で「ぱーせんと、かっこ、だらー、かっことじ」 QFsS5%($)9q 大文字のきゅー、大文字エフ、小文字エス、大文字エス、数字のご、ぱーせんと、かっこ、だらー、かっことじ、数字のきゅー、小文字のきゅー

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 “打ちにくい ”へのさらなる対処 :
UserAgentを配慮 iPhone13 Pixel8 工夫3：UserAgentをみて端末ごとに固めるべき文字種別を変更実はiPhone/Androidによってキーマップが違う例：uFmsS5%/G(%)709tq

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 まとめ:入力しやすく伝えやすいパスワード生成 (再掲) パスワードを生成する際、「ブロック」を結合して生成する
それぞれのブロックの文字種(アルファベット・数字・記号）をまとめる　 ⇒例えば小文字、大文字、数字、記号の順にでまとめる QFsS5%($)9q => sqQFS59%($) 工夫１：文字種の順番を変更する (大文字・数字・記号・小文字の順でも良い ) 工夫２：文字種の長さは任意で良い（０文字の文字種があっても良い）工夫３：文字種の決定には端末の種類を考慮する (User-Agent) これによって「見やすく」「打ちやすく」「伝えやすい」パスワードを生成する。 aiue UEAY 7463 !&#$ aiue UEAY 7463 !&#$ ASR uyasqa 1 &”#$”

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 FAQ: 他の生成方法もあるのではないか？ →もちろんある
• 例：英単語 + 数字をつなげる。 ◦ 例：WaterApple123 ◦ 一見良いが「最初は大文字のミズのウォーター、最初は大文字のリンゴのアップル、数字でいち、にー、さん」は伝えやすいか？ ◦ スペリングが難しい単語は人によって違う。 • 課題：分かりやすい英単語を受け付けてくれないことがある • 課題：機器やシステムによってパスワードの制約が相容れない.....😇 ◦ 英数字10文字以内 vs 英数字記号を全て含めて12文字以上などなど...

可視化による運用の意識付け（商用/検証の取り違いや商用作業の重複防止）表示制御装置、表示制御方法、及びプログラム特開2016-208236

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 はじめに:可視化による運用の意識付け NTT西日本: 24時間体制のネットワーク監視制御
https://www.ntt-west.co.jp/saun/saitai/control/ Oﬃce(Room) alice bob carol Dave Ellen Frank Trudy Marvin Mallory Oscar Walter Oscar Walter 大前提：踏み台経由でネットワーク機器の主導オペレーションを行うチームを想定　　　　比較的小規模なチームを想定、また、成熟しきっていない運用・保守運用上大切な「ホストにログインしている意識」の醸成を環境でサポートするシステム。工夫１：踏み台ホストからログイン先を特定し、商用か検証かを区別して　　　　座席にマッピングして表示する方法工夫２：通信時間などにより表示方法を変更する（色・点滅）これによってユーザ端末からホストに接続して作業を行う環境において、作業ミスを削減する (=運用品質向上）

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 運用では障害が隣り合わせバグオペレーションミ
ス設計以上の負荷物理故障 P.20

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 運用では障害が隣り合わせバグオペレーションミ
ス設計以上の負荷物理故障 P.21 入社3年目品質改善WG

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 運用現場: 入社3年目くらいに考えていたこと掲げたテーマ：運用を「失敗で覚える」をどうにかできないか？
背景：運用経験年数の長さにより失敗原因が違う • 運用未経験者 (新人/他部署から来た部員) ◦ 確認項目軽視による確認不足 ◦ 確認ポイントが分からない /存在を知らない • 運用エキスパート • 慣れによる確認不足 • うっかり赤字部分について意識改善を！と言われがちだが意識は簡単に変えられない →「環境」で支援したい！

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 運用現場: 入社3年目くらいに考えていたこと２意識向上？
• 能動的な活動 • ルール制定 • トレーニング • 環境に因る意識づけ 1. 人的環境: あるべき行動が周囲で取られている 2. 設備的環境: 例: 重要な項目がディスプレイに示されている　　→このようなアプローチが取れないか？課題１：運用基盤なので安定を妨げるシステムは入れなくない課題２：そもそも「現場ならでは」の運用の勘所を伝えるには？

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 実装した表示部分 Oﬃce(Room) alice
bob carol Dave Ellen Frank Trudy Marvin Mallory Oscar Walter Oscar Walter 社内の座席表を利用灰: ログインしていない緑: 何かのホストにログイン橙: 商用機にログイン赤: 商用機にログインかつセッションが3600秒以上

bob carol Dave Ellen Frank Trudy Marvin Mallory Oscar Walter Oscar Walter 社内の座席表を利用灰: ログインしていない緑: 何かのホストにログイン橙: 商用機にログイン赤: 商用機にログインかつセッションが3600秒以上シナリオ例：本人が勤務中に見て  抜け忘れのtmuxプロセスに気がつくシナリオ例：帰るときに見て  ログイン忘れに気がつく

bob carol Dave Ellen Frank Trudy Marvin Mallory Oscar Walter Oscar Walter 社内の座席表を利用灰: ログインしていない緑: 何かのホストにログイン橙: 商用機にログイン赤: 商用機にログインかつセッションが3600秒以上シナリオ例：誰かが「作業前」にみて  商用を触っている人に気がつく誰かが帰宅前にみて  商用機に入りっぱなしに気がつく

bob carol Dave Ellen Frank Trudy Marvin Mallory Oscar Walter Oscar Walter 社内の座席表を利用灰: ログインしていない緑: 何かのホストにログイン橙: 商用機にログイン赤: 商用機にログインかつセッションが3600秒以上管理者が  長時間作業時の休憩を促す (集中力欠如によるミスの低減)

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 実装最もアグレッシブなシナリオとして検証・商用で同じ踏み台の共用を想定踏み台からssh/telnetする
制約：機器側への特殊な設定や複雑なシステムを構築したくない検証/社内環境商用環境踏み台サーバ作業者 1: 踏み台ホストから”ps”や”netstat”の結果をもとにログイン先を特定 2: ログイン先のホスト名 (DNS)から検証と商用を特定 3: セッション維持時間を管理する 4: 画像を生成する

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 実装2: 参考:より興味を引き・注意喚起をする工夫 •
“表示装置”は図に限定していない ◦ 1: 座席に模したブロックのLEDを光らせても良い ◦ 2: “誰か一人が3600秒以上ログイン”してたらパトランプを光らせても良い

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 まとめ: 可視化による運用の意識付け •
踏み台ホストのプロセス一覧からログイン先を特定し、商用か検証かを区別してユーザ名と座席を対応づけて図などの表示をすること • 踏み台において、プロセス名, socket等で通信を区別 • 通信時間などにより表示方法を区別 NWシステムにおいて判定・表示制御する”表示制御方式” →ユーザ端末からホストに接続して作業を行う環境において、作業ミスを削減する検証/社内環境商用環境踏み台サーバ作業者

大規模イベントNWのTB/dayログの異常検知方式異常検知システム、異常検知方法、及びプログラム特開2023-063865(特許査定済)

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 はじめに:TB/dayログの異常検知方式 @イベントNW 大規模イベントNＷ(例としてInterop
Tokyoと同規模、それ以上 )において、コスト・設備をおさえながら、多量 (GB/分)のログを用いて異常検知を行う。これには、多量の計算・転送やデータの分析が必要になる。そこで、工夫１：ログファイルに直接アクセスせずファイルシステムのメタ情報からログ流量を分析する工夫２：複数のログファイルをグルーピング化しそれぞれで異常を検知するこれによってログを用いた異常検知を、少ない計算量で、機密性を保ちながら実行する。

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 イベントネットワーク NW 仮定するイベントNWの性質
• ＮＷ一式: ルータ、スイッチ、ファイアウォール、 WiFi, 認証サーバ, LBなど... • 数年間運用される”サービス”のNWではなく数日～のイベントに用いられる NW • 商用と異なる運用環境 : 何らかの未知に対応しなければならない • スポンサーから機器が提供されるマルチベンダ :様々なログフォーマットが存在 • 規模が大きい ◦ マルチベンダ、数百台 ◦ 1分間に1GB強のログが出力。1時間で4TB, 1日で100TB, 1週間で1PB級 ◦ ※1line 100文字として1000万行/分 https://www.janog.gr.jp/meeting/janog54/wp-content/uploads/2024/07/janog54-kyopro-all.pdf https://archive.interop.jp/2024/shownet/concept/ ゼロから創る！競技系イベントネットワーク実例紹介よりゼロから創る！競技系イベントネットワーク実例紹介より Interop2024

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 大きなイベント NWの例: Interop
2024トポロジより https://archive.interop.jp/2024/shownet/concept/

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 イベントNWの特徴イベントNWでは安定運用のために最後の砦としてログ全体を俯瞰視して
何らかの異常を知る →あらかじめ異常を定義したり、平常時を定義することが困難 • イベント専用NOCチームの場合が多い ◦ メンバが入れ替わる • 通常のＮＷ運用とは異なり、運用時間が短いため ◦ 1: 運用者にとって未知のログが大量に発生 ◦ 2: 機械的な解析のためのラベル付け /初期学習を実施することが困難 • イベントでは超短期間でフェイズが変わる (次ページ) ◦ 機械学習等への適応が困難 • イベントにより、NOCでの権限が分離されており、ログにアクセスできる人が限定されているさらに • 費用: 予算面から余剰なリソースはない

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 例: あるイベントの準備から本番トラフィックの例リハーサル
本番 • イベントでは「構築」「リハーサル」「本番」と言ったフェイズでトラフィック傾向・イベント発生が急激に変化 • また、「本番」から急激に性質が変わりことが多くある（例：一般来場者）（図はlogスケールグラフであることに注意）構築

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 先行研究: Interop Toktoにおける異常検知手法
(1) 阿部他、「イベントネットワークにおけるsyslogを用いた異常検知手法の提案と実データを用いた評価」, インターネットと運用技術シンポジウム（IOT） 2016 (URL) ログの行数をカウントして行数の変化を時系列の移動平均データから異常を検知する。概要: 大規模なイベントネットワークではネットワーク管理手法の一つとして syslog を用いた運用監視が行われる．syslog メッセージに含まれるキーワード検知や閾値による異常検知などネットワークの異常が運用者に通知される．マルチベンダ機器によって構築される特殊なイベントネットワークでは，ログの意味解析やキーワードによる異常検知が行えない環境下であることが多い．本論文ではイベントネットワークで収集される syslog の総量による分析を行い異常を検知する手法を提案する．株式取引で用いられるボリンジャーバンドアルゴリズムを利用し，Interop Tokyo で構築される ShowNet で収集された syslog の実データを用いて統計学的手法において軽量な計算による異常検出を行い，ボリンジャーバンドアルゴリズムの有効性を評価する．

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 先行研究: Interop Toktoにおける異常検知手法
(2) syslogサーバ大容量ストレージ【課題】イベントNW監視に有用だが転送量/計算量が大きく、機密保持が難しい →より巨大であったり、資源が少なかったり、センシティブな情報のNWには適応困難

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 方式概要: 基本的なアイデアは先行技術に同じ。以下に注目して工夫を行った　現実1:
巨大なNWではログ流量が多量であり、解析の負荷（やその維持コスト）が重い　工夫1: ログファイルに直接アクセスせずファイルサイズからログ流量を分析する • Nノードのログに対して総量に関係なく O(N)で分析が可能 ◦ 端的に言えば、ls -alの結果で良い　現実2: 「何か」が起こった後は人力による分析が必要になり、手がかりがほしい。　工夫2: 複数のログファイルをグルーピング化しそれぞれで異常を検知する • ホストにつけられる名前から特徴毎にグルーピングする (場所・役割・機種名) ◦ イベントではhostネーミングがきちんとしているので自動的に分類

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 工夫1:ファイルサイズからログ流量を分析基本的なアイデアは先行技術に同じ。以下に注目して工夫を行った　現実1:
巨大なNWではログ流量が多量であり、解析の負荷（やその維持コスト）が重い　工夫1: ログファイルに直接アクセスせずファイルサイズからログ流量を分析する • Nノードのログに対して総量に関係なく O(N)で分析が可能 ◦ 端的に言えば、ls -alの結果で良い前提とする条件: ログのイベント発生数（行数）の急増はログの総量（バイト数）と関係が深い　→実運用上、tail -fでログを見ることは多く、画面の流れる速度で異常を確認することは多い詳細1: ls -alの結果を単位時間毎に取得する詳細2: rsyslogdなどを用いているとlogローテーションでinode番号が変更されるのでその変化を検知

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 提案方式: 工夫2 　現実2:
「何か」が起こった後は人力による分析が必要になり、手がかりがほしい。　工夫2: 複数のログファイルをグルーピング化しそれぞれで集計・検知する　　　　異常時にはそれぞれの「 TOPn」を表示して迅速に対象を把握する • ホストにつけられる名前から特徴毎にグルーピングする (場所・役割・機種名) 形：役割色：メーカメーカーごと役割ごと拠点ごと

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 まとめ • ログファイルに直接アクセスせずファイルシステムのメタ情報からログ流量を分析する
• 複数のログファイルをグルーピング化しそれぞれで異常を検知するこれにより、 • 数十TB/h 級のログが吐かれるシステムの異常検知のあたりをつけて即座に分析に着手することができる

まとめ

NW運用の工夫と発明～３つの事例～ 2025/06 Network Developer Night #1 まとめ • 運用ならではの悩みに取り組んだ３本の事例を紹介
タイトル現場で悩んでいたことアプローチ 1: 入力しやすく伝えやすいパスワード生成パスワードが見づらく、打ちにくく、伝えにくい 1:文字をグループ分けして固める 2:UserAgentを見て文字種を決める 2: 可視化による運用の意識付け商用/検証の取り違い、商用作業重複防止「ミスをして運用を学ぶ」をどうにかしたい 1:踏み台のプロセス・セッション情報でアクセス先を推定 2:作業時間・対象など運用ならではの情報を重ねる 3: 巨大イベントNWのTB/dayログの異常検知方式異常検知のあたりをつけるのに膨大な流量のデータであるし、機密性が問題 1: ファイルサイズで流量を測定 2: グループ分けして初動を早くする • 運用の現場では新しいことが生まれているかもしれない！

NW運用の工夫と発明

NW運用の工夫と発明

More Decks by Akira Kanai / recuraki

Other Decks in Technology

Featured

Transcript