ゴール指向の測定によるデータに裏付けら
れたソフトウェア品質評価と改善
早稲田大学グローバルソフトウェアエンジニアリング研究所 所長
国立情報学研究所 客員准教授
ISO/IEC/JTC1/SC7/WG20 Convenor
IEEE Computer Society Japan Chapter Chair
SEMAT Japan Chapter Chair
鷲崎 弘宜
Twitter: @Hiro_Washi washizaki@waseda.jp
http://www.washi.cs.waseda.ac.jp/
わしざき ひろのり
第一回メタップス人工知能セミナー 2015年6月14日
品質とは
• 品質: あるものの特性または属性 [American
Heritage Dictionary]
• ソフトウェア品質: ソフトウェアの使用時に必要
性を満たす能力を決定する属性(測定可能な
特徴)全体 [ISO9126-
1][ISO25000][JIS0129-1]
2
メトリクス(Metric / Metrics)
• 測定の方法と尺度
• 測定できない事柄は、管理できない(T. DeMarco)
• 成功率 31% → 定量的評価導入 46% [矢口08]
3
[矢口08] 矢口竜太郎, 吉田洋平: 成功率は31.1%, 日経コンピュータ12月1日号, 2008.
要求
定義
設計 実装 テスト
機能
仕様書
ファンクション
ポイント
モジュール
設計
凝集度
結合度
ソース
コード
複雑度
コード行数
欠陥票
欠陥密度
テスト
ケース
消化数
工数、期間
落とし穴「ホーソン効果」
4nicolasdsampson.com, Observe And Learn: The Magic Of Paying Attention
http://nicolasdsampson.com/wp-content/uploads/2012/10/2010_12_06_observe-learn-magic-paying-attention.jpg
I. 解釈
(評価基準)
コツ「ゴール指向のメトリクス定義」
• Goal-Question-Metric(GQM)パラダイム
M. メトリクス
G. 目標
Q. 質問
測定対象(データ)
達成評価
答え
測定値
5
楠本真二, 肥後芳樹, “GQMパラダイムを用いたソフトウェアメトリクスの活用”, コンピュータソフトウェア, 2012.
リンダ・M・ライルド, M・キャロル・ブレナン著, 野中誠, 鷲崎弘宜 訳 , "演習で学ぶソフトウエアメトリクスの", 日経BP社 , 2009.
V. Basili, et al.: Goal, Question, Metric Paradigm, Encycloperia of Software Engineering, Vol. 1(1994)
コツ「横に広げて多面的に見る」
6
鷲崎弘宜,田邉浩之,小池利和,ソースコード解析による品質評価の仕組み,日経エレクトロニクス 2010/1/25
[Adqua] http://www.ogis-ri.co.jp/product/b-08-000001A6.html
保守性
モジュール性 再利用性 修正性 ・・・
コールグラフ
階層の深さ
サイクロマテ
ィック複雑度
関数内の
戻り点の数
処理が複雑
すぎないか?
処理が構造化
されているか?
…… …
…… …
…… …
…… …
・・・
・・・ ・・・
G. 目標
対象
M. メトリクス
Q. 質問
事例: 測定による保守性・機能性評価・改善
H. Nakai, et al. Initial Industrial Experience of GQM-based Product-Focused Project Monitoring with Trend Patterns, APSEC'14
ヤフーとの共同研究
落とし穴「有効な組織アクションに繋がっていない」
8
製品の信頼性や使いやす
さを改善して、顧客満足度
を10%上げるぞ!
経営層
テスト効率を上げます。
保守性も改善させます。
開発部
不具合数、さらには、プログラ
ムの複雑度を測定します。
品質保証部
落とし穴「有効な組織アクションに繋がっていない」
9
製品の信頼性や使いやす
さを改善して、顧客満足度
を10%上げるぞ!
経営層
テスト効率を上げます。
保守性も改善させます。
開発部
不具合数、さらには、プログラ
ムの複雑度を測定します。
品質保証部
コツ「縦に、アクションに繋げる」 GQM+Strategies
10
顧客満足度10%向上
製品の信頼性
を改善する
製品の使いや
すさを改善する
不具合指摘を
20%削減
テスト効率
を改善する
保守性を
改善する
顧客満足度調査
不具合データ
プログラムの複雑さ
OG. 上位
組織目標
S. 戦略
S. 戦略
OG. 下位
組織目標
M. メトリクス
参考: Jens Heidrich, Adam Trendowicz, “測定を基にした、ソフトウェア戦略とビジネス目標の整合” IPA/SEC資料
M. メトリクス
11
事例: 新規事業の組織目標、根拠、戦略の整合
リクルート住まいカンパニーとの共同研究
落とし穴「未来が今の延長とは限らない」
12
コツ「不確実性を考慮した測定と予測」
13
• 経験に基づく仮定明示
M. 呼び出し先
モジュール数
G. 変更されやすい
箇所を特定できている
Q. モジュールの依存
関係はどの程度か?
M. 呼び出し元
モジュール数
A. あちこちと依存するモ
ジュールは変更されやすい
K. Honda, et al., Predicting Time Range Based on Generalized Software Reliability Model , APSEC’14
Monden, Basili, et al.: Customizing GQM Models for Software Project Monitoring, IEICE Trans., 2012.
Basili, V.R., et al. Linking Software Development and Business Strategy Through Measurement, IEEE Computer, 2010.
• 予測における幅と種別
0
10
20
30
40
50
60
70
80
90
0 5 10 15
事例: 不確実性を考慮した欠陥予測
予測欠陥数の変動欠陥数と予測モデル
不確実性
K. Honda, et al., Predicting Time Range Based on Generalized Software Reliability Model , APSEC’14
ヤフーとの共同研究
コツ「メトリクス・システムの改善」
15
N. Tsuda, et al. Iterative Process to Improve GQM Models with Metrics Thresholds to Detect High-risk Files, SANER'15 Doctoral
事例: 機械学習によるメトリクス・システム改善
16
10 25
300
150
M. 関数の数
M.実行行数
OK
NG
71
M. 関数の数
M.実行行数
OK
NG
△ OK, ○ NG
N. Tsuda, et al. Iterative Process to Improve GQM Models with Metrics Thresholds to Detect High-risk Files, SANER'15 Doctoral
コマツとの共同研究
まとめ
• 品質把握と改善にデータによる裏付けが不可欠
• ただし、メトリクスの「落とし穴」に注意
– GQM ゴール指向と横の広がり
– GQM+Strategies 縦の整合とアクションへの繋がり
– 不確実性を考慮した予測、経験に基づく仮定、改善
• 様々な活用事例: Yahoo、リクルート、コマツ
• これからのソフトウェア開発ビッグデータ時代へ
– プロジェクトデータの蓄積(特にオープンソースソフトウェア)
– 開発履歴、利用履歴、クラッシュ報告のリポジトリマイニング
IPA/SECセミナー 7月29日 http://sec.ipa.go.jp/seminar/
『ゴール指向経営』で的を射たIT投資、利益を生む組織に
「GQM+Strategies」の活用で組織内の整合性確保と定量的管理を実現
9月4日(予定)
「ソフトウェア品質とゴール指向測定・改善」セミナー(仮)

More Related Content

PDF
ヒンシツ大学セミナー ゴール指向の測定と品質保証活動 -メトリクス解説およびGqm法のワークショップ-
PDF
Qua s tom-メトリクスによるソフトウェアの品質把握と改善
PDF
鷲崎 メトリクスの基礎とGQM法によるゴール指向の測定 2014年12月18日 日本科学技術連名SQiP研究会 演習コースI ソフトウェア工学の基礎
PDF
早稲田・鷲崎-ゴール指向の測定によるソフトウェア 品質評価と改善の実践的取組み (三つのコツ、三つの事例)-2015年2月19日
PDF
メトリクスを用いたソフトウェア品質定量評価・改善 (GQM, Metrics, ET2013)
PDF
測定と予測を通じたソフトウェア品質評価と改善の実践的取り組み 公開用
PDF
鷲崎 メトリクスとGQMチュートリアル-公開版-20130912
PDF
「ソフトウェア品質データ分析を通じた組織的改善の促進」ソフトウエアジャパン2014「ITフォーラムセッション」IPA/SEC データの分析に基づくシステム...
ヒンシツ大学セミナー ゴール指向の測定と品質保証活動 -メトリクス解説およびGqm法のワークショップ-
Qua s tom-メトリクスによるソフトウェアの品質把握と改善
鷲崎 メトリクスの基礎とGQM法によるゴール指向の測定 2014年12月18日 日本科学技術連名SQiP研究会 演習コースI ソフトウェア工学の基礎
早稲田・鷲崎-ゴール指向の測定によるソフトウェア 品質評価と改善の実践的取組み (三つのコツ、三つの事例)-2015年2月19日
メトリクスを用いたソフトウェア品質定量評価・改善 (GQM, Metrics, ET2013)
測定と予測を通じたソフトウェア品質評価と改善の実践的取り組み 公開用
鷲崎 メトリクスとGQMチュートリアル-公開版-20130912
「ソフトウェア品質データ分析を通じた組織的改善の促進」ソフトウエアジャパン2014「ITフォーラムセッション」IPA/SEC データの分析に基づくシステム...

What's hot (18)

PDF
メトリクスによるソフトウェア品質把握と改善- 演習を交えた品質測定評価の落とし穴とコツの習得 -
PDF
【18-B-4】ソースコード品質、大丈夫ですか? ~静的検証のススメ~
PDF
SWEBOKにみるソフトウェアエンジニアリングの全体、および、 つながる時代のソフトウェアモデリング&品質
PDF
デザイン思考および周辺 - ユーザビリティ、UX、アジャイル開発を含めて-
PDF
メトリクスによるソフトウェア品質評価・改善および製品品質実態
PDF
品質基礎知識
PDF
超スマート社会時代のシステム&ソフトウェア品質知識体系 - SQuBOK 2020 における AI、IoT、クラウド、オープンソース、アジャイル、DevO...
PDF
正統なソフトウェア品質エンジニアであるためにSQiP研究会に入るべき7つの理由
PDF
IPA RISE委託研究 ソフトウェアのベンチマークとなる品質実態調査における品質評価枠組み
PDF
「事実にもとづく管理」によるソフトウェア品質の改善 ー ヒンシツ大学 Evening Talk #04
PDF
SQuBOK v3にみる不確実なDX時代の確実な品質技術に向けて- AI&機械学習、アジャイル&DevOps&オープンソース開発を中心に -
PDF
テスト観点に基づくテスト開発方法論 VSTePの概要
PDF
測定によるソフトウェア品質への挑戦 公開用
PDF
Tomorrow's software testing for embedded systems ~明日にでも訪れてしまう組込みシステムのテストの姿~
PDF
アジャイル品質パターン (Agile Quality, QA2AQ)
PDF
SQuaRE に基づくソフトウェア品質評価枠組みと品質実態調査
PDF
車載ソフトウェアの品質保証のこれから
PPTX
SQuBOK読破会活動紹介とSQuBOKにおける派生開発
メトリクスによるソフトウェア品質把握と改善- 演習を交えた品質測定評価の落とし穴とコツの習得 -
【18-B-4】ソースコード品質、大丈夫ですか? ~静的検証のススメ~
SWEBOKにみるソフトウェアエンジニアリングの全体、および、 つながる時代のソフトウェアモデリング&品質
デザイン思考および周辺 - ユーザビリティ、UX、アジャイル開発を含めて-
メトリクスによるソフトウェア品質評価・改善および製品品質実態
品質基礎知識
超スマート社会時代のシステム&ソフトウェア品質知識体系 - SQuBOK 2020 における AI、IoT、クラウド、オープンソース、アジャイル、DevO...
正統なソフトウェア品質エンジニアであるためにSQiP研究会に入るべき7つの理由
IPA RISE委託研究 ソフトウェアのベンチマークとなる品質実態調査における品質評価枠組み
「事実にもとづく管理」によるソフトウェア品質の改善 ー ヒンシツ大学 Evening Talk #04
SQuBOK v3にみる不確実なDX時代の確実な品質技術に向けて- AI&機械学習、アジャイル&DevOps&オープンソース開発を中心に -
テスト観点に基づくテスト開発方法論 VSTePの概要
測定によるソフトウェア品質への挑戦 公開用
Tomorrow's software testing for embedded systems ~明日にでも訪れてしまう組込みシステムのテストの姿~
アジャイル品質パターン (Agile Quality, QA2AQ)
SQuaRE に基づくソフトウェア品質評価枠組みと品質実態調査
車載ソフトウェアの品質保証のこれから
SQuBOK読破会活動紹介とSQuBOKにおける派生開発
Ad

Similar to ゴール指向の測定によるデータに裏付けられたソフトウェア品質評価と改善 公開用 (20)

PDF
JEITAソフトウェアエンジニアリング分科会: IPA RISE委託研究2015-16年度 測定評価と分析によるソフトウェア製品品 質の実態定量化および総...
PDF
IPA RISE委託研究 2015-16年度 測定評価と分析によるソフトウェア製品品質の実態定量化および総合的品質評価枠組みの確立(報告セミナー用)
PPT
Quality characteristics
PDF
DX 時代の新たなソフトウェア工学に向けて: SWEBOK と SE4BS の挑戦
PDF
ソフトウェア品質実態調査報告「測定評価と分析を通じたソフトウェア製品品質の実態定量化および総合的品質評価枠組みの確立」
PDF
日本における利用品質メトリクスの 過去、現在、そして未来(IoTへの対応)
PDF
Metrix team 20190524
PDF
1人オブジェクト指向勉強会 第1章 ソフトウェアの品質
PPTX
メトリクスによる「見える化」のススメ:No 見える化、No 改善
PDF
TISO/IEC JTC1におけるソフトウェア工学知識体系、技術者認証および品質の標準化と研究・教育他への活用
PDF
20150424 jasst新潟基調講演
PDF
みんなのメトリクス 公開用
PPTX
システムテスト自動化標準ガイド 読書会 第8章
PDF
アジャイル品質のパターンとメトリクス Agile Quality Patterns and Metrics (QA2AQ) 20240225
PDF
「効率・品質・統制」の共通課題に着目した現場主導によるITS導入の効果検証
PDF
SQuaREに基づくソフトウェア品質評価枠組みと品質実態調査
PDF
Software Engineering And Role of Agile
PDF
ソフトウェアテストの最新動向
PPTX
僕らのおれおれメトリクス / We Metrics Our Own Way!
PDF
ソフトウェア工学における問題提起と機械学習の新たなあり方
JEITAソフトウェアエンジニアリング分科会: IPA RISE委託研究2015-16年度 測定評価と分析によるソフトウェア製品品 質の実態定量化および総...
IPA RISE委託研究 2015-16年度 測定評価と分析によるソフトウェア製品品質の実態定量化および総合的品質評価枠組みの確立(報告セミナー用)
Quality characteristics
DX 時代の新たなソフトウェア工学に向けて: SWEBOK と SE4BS の挑戦
ソフトウェア品質実態調査報告「測定評価と分析を通じたソフトウェア製品品質の実態定量化および総合的品質評価枠組みの確立」
日本における利用品質メトリクスの 過去、現在、そして未来(IoTへの対応)
Metrix team 20190524
1人オブジェクト指向勉強会 第1章 ソフトウェアの品質
メトリクスによる「見える化」のススメ:No 見える化、No 改善
TISO/IEC JTC1におけるソフトウェア工学知識体系、技術者認証および品質の標準化と研究・教育他への活用
20150424 jasst新潟基調講演
みんなのメトリクス 公開用
システムテスト自動化標準ガイド 読書会 第8章
アジャイル品質のパターンとメトリクス Agile Quality Patterns and Metrics (QA2AQ) 20240225
「効率・品質・統制」の共通課題に着目した現場主導によるITS導入の効果検証
SQuaREに基づくソフトウェア品質評価枠組みと品質実態調査
Software Engineering And Role of Agile
ソフトウェアテストの最新動向
僕らのおれおれメトリクス / We Metrics Our Own Way!
ソフトウェア工学における問題提起と機械学習の新たなあり方
Ad

More from Hironori Washizaki (20)

PDF
IEEE-CS Tech Predictions, SWEBOK and Quantum Software: Towards Q-SWEBOK
PDF
鷲崎弘宜, "AI/LLM時代のソフトウェエンジニアリング", 情報学科・専攻協議会 総会・研究会, 早稲田大学, 2025年7月26日
PDF
AI Software Engineering based on Multi-view Modeling and Engineering Patterns
PDF
SWEBOK Guide and Software Services Engineering Education
PDF
Impact of IEEE Computer Society in Advancing Emerging Technologies including ...
PDF
Landscape of Requirements Engineering for/by AI through Literature Review
PDF
鷲崎弘宜, "高品質なAIシステムの開発・運用のための"フレームワーク", eAIシンポジウム 2025年1月16日
PDF
AI/IoTをベースにしたDX人材育成の産学連携育成, 愛媛県デジタル人材育成シンポジウム, 2024年12月20日
PDF
コンピューティングおよびソフトウェア工学の潮流: IEEE-CS技術予測&SWEBOK Guideに基づくAI・アジャイル・サステナビリティの展望
PDF
Impact of IEEE Computer Society in Advancing Software Engineering and Emergin...
PDF
鷲崎弘宜, "機械学習システムの多面的モデリング・パイプライン統合フレームワーク", 第6回 AI/IoTシステム安全性シンポジウム, 2024
PDF
IEEE Software Testing Technology Development Trend
PDF
Opening, 1st International Workshop on Patterns and Practices of Reliable AI ...
PDF
The Global Impact of IEEE Computer Society in Advancing Software Engineering ...
PDF
Overview of ISO/IEC/JTC1 SC7/WG20: Certification of software and systems engi...
PDF
IEEE Computer Society 2025 Vision and Future
PDF
次世代AI時代のトレンドと高信頼AIソフトウェアシステム開発に向けたフレームワーク&パターン
PDF
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
PDF
COMPSAC 2024 D&I Panel: Charting a Course for Equity: Strategies for Overcomi...
PDF
SWEBOK and Education at FUSE Okinawa 2024
IEEE-CS Tech Predictions, SWEBOK and Quantum Software: Towards Q-SWEBOK
鷲崎弘宜, "AI/LLM時代のソフトウェエンジニアリング", 情報学科・専攻協議会 総会・研究会, 早稲田大学, 2025年7月26日
AI Software Engineering based on Multi-view Modeling and Engineering Patterns
SWEBOK Guide and Software Services Engineering Education
Impact of IEEE Computer Society in Advancing Emerging Technologies including ...
Landscape of Requirements Engineering for/by AI through Literature Review
鷲崎弘宜, "高品質なAIシステムの開発・運用のための"フレームワーク", eAIシンポジウム 2025年1月16日
AI/IoTをベースにしたDX人材育成の産学連携育成, 愛媛県デジタル人材育成シンポジウム, 2024年12月20日
コンピューティングおよびソフトウェア工学の潮流: IEEE-CS技術予測&SWEBOK Guideに基づくAI・アジャイル・サステナビリティの展望
Impact of IEEE Computer Society in Advancing Software Engineering and Emergin...
鷲崎弘宜, "機械学習システムの多面的モデリング・パイプライン統合フレームワーク", 第6回 AI/IoTシステム安全性シンポジウム, 2024
IEEE Software Testing Technology Development Trend
Opening, 1st International Workshop on Patterns and Practices of Reliable AI ...
The Global Impact of IEEE Computer Society in Advancing Software Engineering ...
Overview of ISO/IEC/JTC1 SC7/WG20: Certification of software and systems engi...
IEEE Computer Society 2025 Vision and Future
次世代AI時代のトレンドと高信頼AIソフトウェアシステム開発に向けたフレームワーク&パターン
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
COMPSAC 2024 D&I Panel: Charting a Course for Equity: Strategies for Overcomi...
SWEBOK and Education at FUSE Okinawa 2024

ゴール指向の測定によるデータに裏付けられたソフトウェア品質評価と改善 公開用