株式会社Preferred Networks（代表取締役 最高経営責任者: 西川 徹、以下、PFN）、株式会社インターネットイニシアティブ（代表取締役 社長執行役員: 谷脇 康彦、以下、IIJ）、国立大学法人北陸先端科学技術大学院大学（学長: 寺野 稔、以下、JAIST）は、経済産業省、NEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）の公募「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発（委託）...

既存のLLM（大規模言語モデル）に追加学習や構造変更を一切行わずに、推論速度を大幅に向上させる新たなフレームワークSPECTRAを提案。SPECTRAは、SPECTRA-CORE と SPECTRA-RETRIEVAL という2つの革新的なモジュール（単位）で構成され、それぞれがSOTA（最先端手法）を上回る性能を発揮。両者の組み合わせにより、様々なタスクやアーキテクチャにおいて最大 4.08倍の推論速度向上を達成。複数のLLMファミリー、タスク、およびGPU（グラフィック処理装置）環境での大規模実験により、元のLLMと同等の生成品質を維持しながら損失なく高速化できるこ...

安全なAIの実現には、大規模言語モデル (LLM) が学習した有害知識を消去する「知識忘却」技術が求められています。RMUと呼ばれる従来の方法は高い忘却性能が確認されている一方、その動作原理や最適化方法には未解明の部分が多く、手探りによる最適化が必要でした。本研究では、RMUを理論的・経験的に詳細に分析し、従来とほぼ同等の忘却性能を維持しながら最適化を自動で調整できるようにし、適用コストを大幅に削減することに成功しました。...