|
検索したキーワードがページ内でハイライトします。
| RESET |
研究キーワード:北陸先端科学技術大学院大学における「GPU」 に関係する研究一覧:1件
概要表示
折りたたむ
発表日:2025年8月7日
1
大規模言語モデルの推論速度を最大4倍に高速化する新フレームワーク「SPECTRA」を提案
既存のLLM(大規模言語モデル)に追加学習や構造変更を一切行わずに、推論速度を大幅に向上させる新たなフレームワークSPECTRAを提案。SPECTRAは、SPECTRA-CORE と SPECTRA-RETRIEVAL という2つの革新的なモジュール(単位)で構成され、それぞれがSOTA(最先端手法)を上回る性能を発揮。両者の組み合わせにより、様々なタスクやアーキテクチャにおいて最大 4.08倍の推論速度向上を達成。複数のLLMファミリー、タスク、およびGPU(グラフィック処理装置)環境での大規模実験により、元のLLMと同等の生成品質を維持しながら損失なく高速化できるこ...
キーワード:アーキテクチャ/コンピューティング/GPU/コーパス/コンテンツ/タスク/フレームワーク/言語モデル/最適化/自然言語/自然言語処理/人工知能(AI)/並列処理/言語処理/不確実性/オーストリア/マルチレベル/テキストデータ/SPECT/デコーディング
他の関係分野:情報学複合領域環境学工学
北陸先端科学技術大学院大学 研究シーズ