トピックス

2024年9月6-7日に京都市にて、ASDoQサマーワークショップ2024を開催しました。昨年に引き続き生成AIがテーマでしたので、総勢17名と過去最大の参加者数となり、非常に高い関心が伺えました。

全体テーマは、2024年4月にリリースしたばかりの「システム開発文書品質モデルVer.2.0a」（以下、ASDoQ文書品質モデル）を生成AIを導入した開発プロセスにて活用することです。ワークショップでは、皆で手分けしながらさまざまなチャレンジをすることができ、参加者の皆さまは広く多くの気付きを得ることができたようです。 

参加者の皆さんは、9月6日(金) 12時半頃会場に集合し、お弁当を食べながら参加者間の交流を深めました。

13時より自己紹介。そして、運営委員の山本雅さんより、今回のサマーワークショップの実施概要を説明していただきました。

今回の参加者は多数のため、1人1人の関心は異なります。そこで、参加者から今回取り組みたいことを募り、最終的に以下の4テーマを選定し、グループに分かれて取り組むことになりました。

現在公開中のASDoQ文書品質モデルは、測定項目の例や違反例の記載が少なくわかりづらいという問題があります。そこで、ChatGPTを活用して測定項目の例や違反例を追加する取り組みを行いました。テーマ1は山本雅さん1人での取り組みでした。

ASDoQ文書品質モデルをChatGPTに理解させることが重要なため、モデルを読み込ませた上で、どんなことが書かれているかの解説をプロンプトで記述しました。また、空白のセルを埋めるように指示しました。

取り組みの結果、多くの測定項目の例や違反例を新規作成したり、説明文をより明確に作り直すことができ、ASDoQ文書品質モデルを改善することができました。この改善したモデルをChatGPTに知識として与えることで、活用時の水準が上がる期待が持てます。一方、モデルのファイルデータを自動で改善することは、プロンプトの試行錯誤叶わず、期待通りの動作になりませんでした。 

テーマ2のグループでは、任意の開発文書（要件定義書）を与え、ASDoQ文書品質モデルを用いた文書の添削を試みました。

指摘箇所と改善案といった形式で添削はしてくれますが、指摘根拠となる品質特性／品質副特性が誤って出力されます。どうやら、ChatGPTが品質モデルを正しく理解できていない様子です。この要因は、品質モデルをEXCELファイルの表形式で与えているためと分析しました。 

対策として、文章形式の「システム開発文書品質モデルの解説文書」を作成し、品質モデルの表はPDF形式にして、プロンプトを改善しました。これによって、指摘箇所と品質特性や測定項目との対応づけは、ある程度改善されました。 しかし、対象の開発文書から一部の結果しか出力されないといった課題が残りました。

テーマ3のグループでは、要求仕様書の点数付けに挑戦しました。

最初にブレーンストーミングを行い、要求品質として議論に挙がりやすい特性として、ASDoQ文書品質モデルの「理解容易性」「無矛盾性」「構造性」に焦点を当てることにしました。

「理解容易性」については、形式的には、点数付けによる評価結果だけでなく、評価根拠や改善案の提示まで成功しました。そこで、この結果が本当にASDoQ文書品質モデルを用いて適切に実施されているかの検証に挑戦しました。しかし、品質モデルがどのようにGPT内に取り込まれ判断されているかを明らかにすることはできず、正確性と信頼性に疑問を感じる結果となりました。

「無矛盾性」については、単一文書内の複数の要求間の矛盾を評価スコープとして取り組みました。最初は、曖昧性や実現性など、“矛盾点”以外の指摘がありました。そこで、ChatGPTに要求工学の基礎知識を付与してみたところ、“矛盾点”以外の指摘を減らすことができました。しかしながら、指摘の網羅性には課題がありそうです。

「構造性」については、IEEE 830の要求仕様書テンプレートと対象要求仕様書を比較し、構造的違いと各項目の説明内容不足について、ChatGPTに採点させることができました。 

その他、「揺らぎ」検出の指摘漏れの改善や、仕様書から専門用語を抽出して用語集を作成する、といった取り組みも行いました。

テーマ5のグループでは、Googleの生成AIであるGeminiを活用して、企画書の作成支援に挑戦しました。 

企画書作成に関する現場課題として、品質のばらつき、初心者の業務非効率さ、統一的なフォーマットが無い、などが挙げられます。そこで、まず企画書テンプレートフォーマットを検討しました。そして、企画したいテーマ（製品概要やペルソナなど）を与えることで、生成AIに製品企画書を自動生成してもらうことができました。 

今後は、生成AIと壁打ちしながら企画書をブラッシュアップするプロセスも必要とのことです。

【ワークショップ全体の様子】

 

【集合写真】

今回のサマーワークショップでは、「ASDoQ文書品質モデルの適用」や「開発プロセスへの活用」といった点で、昨年開催よりも制約の多さと実用を目指す点で難易度の高いものになりました。しかし、この1年間で多くの方が生成AIを使いこなし、豊富なノウハウを獲得されていたこともあり、参加者間でアドバイスし合いながら取り組むことができました。

2日間じっくり取り組んだ結果、文書品質を高めるためにASDoQ文書品質モデルを上手く活用する方法の立案、生成AIの新たな業務活用方法の発見、生成AIの活用スキルの向上、などが実現できたのではないかと思います。

今回のサマーワークショップの結果は、ASDoQ大会2024のチュートリアルやポスター発表でも報告する予定です（ASDoQ大会2024はこちら）。本報告だけでは伝わらないことが多いと思いますので、ASDoQ大会2024に是非参加していただき、サマーワークショップで活動したメンバーと直接意見交換してみてください。