既存のLLM（大規模言語モデル）に追加学習や構造変更を一切行わずに、推論速度を大幅に向上させる新たなフレームワークSPECTRAを提案。SPECTRAは、SPECTRA-CORE と SPECTRA-RETRIEVAL という2つの革新的なモジュール（単位）で構成され、それぞれがSOTA（最先端手法）を上回る性能を発揮。両者の組み合わせにより、様々なタスクやアーキテクチャにおいて最大 4.08倍の推論速度向上を達成。複数のLLMファミリー、タスク、およびGPU（グラフィック処理装置）環境での大規模実験により、元のLLMと同等の生成品質を維持しながら損失なく高速化できるこ...

安全なAIの実現には、大規模言語モデル (LLM) が学習した有害知識を消去する「知識忘却」技術が求められています。RMUと呼ばれる従来の方法は高い忘却性能が確認されている一方、その動作原理や最適化方法には未解明の部分が多く、手探りによる最適化が必要でした。本研究では、RMUを理論的・経験的に詳細に分析し、従来とほぼ同等の忘却性能を維持しながら最適化を自動で調整できるようにし、適用コストを大幅に削減することに成功しました。...