こんにちは。C&I統括本部の石田です。
近年、多くの分野で「生成AI」が大きな注目を集めています。IT分野におきましても、様々なシステム開発のタスクにおいて、生産性向上や品質改善などで応用できると期待されています。弊社エンジニアも随所で活用していますが、本格的に開発現場に導入するには、生成AIの精度や、開発プロセスへの影響など、事前に評価・確認しておきたいという声も多く聞かれます。 そこで、複数名のSEやプログラマに生成AIを使って開発を行う検証を実施しましたので、その検証結果につきまして簡単にご紹介します。
1. 検証方法
ソースコードの生成について検証を行いました。参加者のスキルレベルは様々ですが、プログラミング経験があれば解くことが可能な難易度の課題として、以下のような課題を出題しました。
- テキスト文書に対して、指定した複数の英単語で検索を行い、そのヒット件数とヒットした全英文を取得する
本課題は、利用するアルゴリズムによっては、処理効率やパフォーマンスを大きく改善することが可能な課題となっており、作成したソースコードにバラツキが出るようにしています。これは、生成AIが非機能に対する考慮をどこまで行うかについても評価するためになります。その他に、実際の業務では処理対象のデータの入力方法や処理を行った結果の出力方法等が決められているケースが多くあるため、本観点も含めて課題の作成を行いました。
2. 検証結果の概要
生成AIを用いたプログラミングの検証結果から、以下のことが明らかになりました。
- 生成AIは、コーディング経験の少ないエンジニアでも、プロンプトを作ることが出来れば要件に沿ったソースコードの開発が可能です
- 処理効率に関しては、想定以上にバラツキがあり、処理結果に影響のある変更となる場合があります
- 生成AIを活用した開発では、従来のシステム開発とは異なる開発プロセスや、新しいスキルが求められます
2.1. 具体的な考察
- 処理効率の向上には、プロンプトで具体的なアルゴリズムや方法を指示する必要があります
- 生成AIの活用により、コーディング経験の少ないエンジニアでも開発が可能となるが、コンピューターサイエンスの知識がないと潜在バグの作り込みや技術負債の増加といったリスクに繋がります
- 生成AIをシームレスに活用できるよう、モダンな開発プロセスにブラッシュアップしていく必要があります
- 生成AIの出力を正しく評価・修正するためには、プログラム構造だけでなく、プログラムやシステム全体の振る舞いの正しさを中心にテストを行う必要があります
- 生成AIを活用した開発では、テスト自動化を基本としたシステム開発プロセスの構築が重要です
2.2. 今後の課題
- 生成AIの特徴を踏まえ、意図した結果を得るためのプロンプトスキルの向上
- 生成AIの出力を正しく評価・修正するための知識とスキルの向上
- システム全体の品質を保証するためのテスト環境の構築
2.3. 結論
生成AIは、システム開発の効率化と品質向上に大きく貢献する可能性を秘めています。しかし、生成AIを活用した開発では、従来のシステム開発とは異なる開発プロセスや、新しいスキルが求められるため、自社の強みを活かした開発プロセスを迅速に構築していく必要があります。
3. 検証結果の詳細
検証結果の詳細については、以下のPDFファイルをダウンロードしてご覧ください。なお、目次は以下の通りになります。
【日販テクシード株式会社】生成AIを利用したプログラミング検証結果について
- 目次
- はじめに
- 検証結果の概要(要約)
- 検証方法詳細
- 評価方法について
- 検証結果
- 検証結果からの考察
生成AIはシステム開発の効率化に大きく貢献できる可能性が大きいことが明確となりました。しかし、効果的な導入には、生成AIとシームレスな開発プロセス、各種ツールとの連携が重要になると考察しています。弊社の検証結果が、今後生成AIを導入する皆様によって、有益な情報になれば幸いです。