TRACER: トレースベースの適応的コスト効率的ルーティング（LLM分類向け）
TRACER: Trace-Based Adaptive Cost-Efficient Routing for LLM Classification
要約
本論文では、LLM分類エンドポイントの本番ログから得られる入出力ペアを活用し、軽量な代理モデル(surrogate)を訓練するシステムTRACERを提案します。代理モデルは将来のトラフィックの大部分を極めて低い推論コストで処理できます。提案手法は「パリティゲート」を用いて、代理モデルがLLMと一致する信頼度がユーザー指定の閾値αを超えた場合のみ展開します。解釈可能性アーティファクトにより、代理モデルが処理可能な入力領域や限界を可視化します。77クラスのインテント分類タスクではSonnet 4.6教師モデルに対し、83〜100%のカバレッジを達成し、150クラスではモデル完全置換も実現。自然言語推論タスクではパリティゲートが適切に展開を拒否しました。オープンソース化されています。