【新潟医療福祉大学】医療AIの性能評価では「どれだけ高い性能か」だけでなく「どのデータで評価したか」が重要

― 乳がん臨床試験MRIデータを用いて、患者ごとの治療効果の違いを捉えるAIの評価方法を検証―

新潟医療福祉大学医療情報経営学部健康データサイエンス学科の中野永講師は、山口大学医学部附属病院放射線治療部の椎木健裕講師と共同で、公開された乳がん臨床試験のMRI画像データを用いて、患者ごとの治療効果の違いを捉えるAIの評価方法について検討しました。

特に、モデル作成に用いる患者データと性能評価に用いる患者データを分けることの重要性を検証し、今回調べた条件では、同じデータをモデル作成と評価の双方に用いた場合に、独立したデータで評価した場合よりも見かけの性能が高くなりました。
本研究成果は、Journal of Imaging Informatics in Medicineに2026年9月29日付で公開されました。　

■研究について

【研究背景】

近年、MRIやCTなどの医用画像をAIで解析し、「どの患者で治療効果がより大きいか」を予測する研究が進められています。しかし、AIの性能が高く見えていても、それが既存の臨床情報にはない情報を加えているのか、あるいは評価方法によって良く見えているだけなのかを区別する必要があります。

本研究では、公開されている乳がん臨床試験I-SPY2のMRIデータを含むMAMA-MIAデータセットを用いて、HER2陰性乳がん739例を解析しました。年齢などの臨床情報に加えて、MRIから計算した従来型の画像特徴と、多くの画像であらかじめ学習したAI（基盤モデル）から得られる特徴を用い、治療効果が相対的に大きい患者をどの程度見分けられるかを評価しました。

特に、739例をAIモデル作成用の370例と、完成したモデルを独立して評価する369例に分けて解析しました。

モデル作成に使わなかった患者データによる独立評価を行った結果、今回の主な直接比較では、MRI由来の情報を加えたモデルが、臨床情報のみの場合より明確に性能を向上させたとは統計学的に確認できませんでした。

一方、同じ患者データをモデル作成と性能評価の両方に使用すると、独立した患者で評価した場合に比べ、調べた12通りすべての比較で見かけの性能が高くなりました。
この結果は、医療AIの性能を見る際には、単に高い数値が報告されているかではなく、その数値が独立したデータで適切に評価されたものかを確認することが重要であることを示しています。

 

【主な結果1：医療AIの「性能が高い」と「新しい情報を加える」は別の問題】
AIが治療効果の相対的に大きい患者を見分けられるかという問題と、MRIから得られた情報が年齢などの臨床情報に対して新たな価値を加えるかという問題を分けて評価しました。

【主な結果2：MRI由来情報による追加的な性能向上は明確には確認されなかった】

HER2陰性乳がん739例を、モデル作成用370例と独立評価用369例に分けて解析しました。今回の主な直接比較では、MRI由来の情報を加えたモデルが、臨床情報のみの場合より明確に性能を向上させたとは統計学的に確認できませんでした。この結果は、治療効果に個人差がないことや、MRI画像に治療効果に関する情報がないことを意味するものではありません。

【主な結果3：同じ患者でモデル作成と評価をすると、性能が良く見えた】

モデル作成に使った患者をそのまま性能評価にも使った場合、独立した患者で評価した場合より、12通りすべての比較で見かけの性能が上昇しました。評価方法によって見かけの性能が変わり得ることを示す結果でした。

【主な結果4：再現性を高め、第三者が検証しやすいよう、解析方法とコードを公開】

研究の再現性を高めるため、解析コード、解析条件、結果、図を作成するためのデータなどを公開しました。

【研究者のコメント】

医療AIでは、高い性能を示すこと自体が注目されがちですが、その性能がどのような方法で測定されたのかも同じくらい重要です。

今回の研究では、AIモデルを作るために使った患者と、性能を評価する患者をきちんと分けた場合と、同じ患者を両方に使った場合とを比較しました。同じデータをモデル作成と評価に用いた条件では、独立評価よりも12通りすべてで見かけの性能が高くなりました。

 医療AIの研究結果を適切に評価・解釈するためには、「どれだけ高い性能が出たか」だけでなく、その結果が信頼できる方法で得られたものかを確認することが重要です。

本研究が、医療AIをより慎重かつ再現可能な方法で評価するための一助になればと考えています。

 

【原論文情報】

論文名：Separating Ranking Signal, Incremental Feature Value, and Evaluation-Induced Optimism in Breast MRI Treatment-Effect Analysis: Foundation Model and Radiomic Representations

著者：Hisashi Nakano, Takehiro Shiinoki

掲載誌：Journal of Imaging Informatics in Medicine
公開日：2026年9月29日

URL：https://link.springer.com/article/10.1007/s10278-026-02344-w

DOI：10.1007/s10278-026-02344-w

 【研究資金】

本研究は、日本学術振興会（JSPS）科学研究費助成事業（科研費：JP24K18790、JP25K10913）の支援を受けて実施しました。

 【研究者情報】

新潟医療福祉大学　健康データサイエンス学科

講師　中野　永

山口大学医学部附属病院　放射線治療部

講師　椎木　健裕