LLM Observability 導入支援サービス

アイレット株式会社が提供する「LLM Observability 導入支援サービス」は、大規模言語モデル（LLM）を搭載したアプリケーションの動作を可視化し、品質向上とコスト最適化を支援するサービスです。生成AI活用における「回答精度の不安定さ（ハルシネーション等）」や「不透明なコスト構造」をリアルタイムで監視・分析できる環境を構築します。RAG評価フレームワーク「Ragas」とDatadogの「LLM Observability」を連携させ、従来は膨大な時間を要していた手作業による評価プロセスを自動化しています。自社のクラウド活用総合支援サービス「cloudpack」での運用を通じて月間約2.6人日、年間31.2人日の大幅な工数削減を実証しています。「回答の妥当性」や「プロンプトごとのトークン消費量」など従来のシステム監視では捉えきれない指標を多角的に分析し、AIモデルのブラックボックス化を防ぎます。