LLMによる製品アイデア評価の個別最適化手法を開発。ストックマークと産総研

発表内容のポイント

• 評価者の判断基準を平均化せず、個別に扱うパーソナライズ手法を開発
• 特許に基づく300の製品アイデアと約3,000件の評価データセットを構築
• 個人の視点をモデル化した評価LLMの設計が不可欠であることを実証

発表の背景

新規事業創出や製品開発におけるアイデア評価は、正解が定まらず評価者の間でも意見が分かれる領域です。従来のLLMによる自動評価は、複数人の評価スコアを単純に平均化した値を正解とみなすことが一般的でした。しかし、この方法では誰の意見とも一致しない実用性の低い評価が出力されてしまうため、有望なアイデアを選別する工程がボトルネックとなっていました。

何が発表されたのか

共同研究チームは、特許に基づく300の製品アイデアに対し、評価者が付与した約3,000件の評価を含むデータセット「PBIG-DATA」を構築しました。このデータを用いて、複数人の評価を単純集約したモデルと、特定の評価者の履歴に基づくパーソナライズモデルの精度を比較。その結果、特定の評価者の過去の採点履歴に基づきパーソナライズされた評価の方が、実際の評価者の判断と強く一致することが実証されました。これにより、評価者ごとの独自の視点や重視する観点をモデルに組み込む重要性が明らかになりました。

製造業・生産管理への見方

製造業における研究開発テーマの探索や、新規事業アイデアのスクリーニング、技術シーズの用途探索において、専門家の判断を補助するAIシステムへの応用が期待されます。本研究のノウハウは、同社の「事業立案支援AIエージェント（SAT）」に搭載されており、今後は使うほどにユーザーの基準に合わせて育つAIエージェントの実現を目指すとしています。技術的妥当性や革新性、競争優位性といった多角的な事業化判断を、自社の専門家の視点に合わせて効率化するDX手法として注目されます。

現場で確認したいポイント

• 自社の技術シーズや製品アイデアの評価基準が、評価者間でどのように異なるか
• 事業立案支援AIエージェント（SAT）の導入による、アイデア選別の効率化の可能性
• 公開されるベンチマークデータセットの、自社における活用方法の検討

確認しておきたい点

本手法は専門家による評価の判断を「補助」するシステムへの応用を目指すものであり、AIが完全に自動で事業化の最終決定を下すわけではない点に留意する必要があります。

関連リンク

• 発表企業サイト：ストックマーク株式会社の公式ウェブサイトです。
• 発表企業のPR TIMESページ：ストックマークのプレスリリース一覧です。

出典情報