東京大学大学院農学生命科学研究科の加藤大貴 特任講師・中川貴之 教授の研究グループは、ChatGPTに搭載されている人工知能モデルGPTの日本獣医師国家試験における解答性能を検証し、GPTが合格最低点を大幅に上回る解答性能を有することを明らかにしました。
これまで、医師国家試験におけるGPTの解答性能の検証は日本を含め、様々な国で行われており、英語への翻訳を行うことで合格最低点を超えることが報告されていました。一方で、日本語で出題される日本獣医師国家試験における、GPTの回答性能は検証されておらず、獣医学という特殊な知識を必要とする分野におけるGPTの性能は不明でした。
本研究では日本獣医師国家試験を用いて、各GPTのモデル性能比較や入力プロンプト・言語翻訳による性能への影響を評価しました。最終的な検証にて、GPT o3モデルは日本語の試験問題原文の入力にて、全てのセクションで合格点(60〜70%)を大幅に上回り、全体合計で92.9%という高得点を示すことを明らかにしました。
本結果は、日本の獣医領域における人工知能モデルGPTの活用研究の原点となる成果と言えます。