観測し、確かめ、改善する - Grafana AssistantのAIエージェント開発での実践

AIエージェントの最も厄介な失敗は、明らかな誤りではなく、表面上はもっともらしく見える答えです。しかも、正確性・コスト・応答時間は、互いにトレードオフの関係にあります。そのため、エージェントの挙動を観測し、確かめ続ける必要があります。Grafana Labsは、性質の異なる複数のタスクを担うGrafana Assistantの開発で、2つの観測を組み合わせてきました。1つは、実際のタスクと成功の基準を「シナリオ」として事前に用意する、オフラインの観測です。社内フレームワーク「llmspec」のグレーダーに加え、解決済みの実際の障害を使うアリーナなど、タスクに合わせて評価方法を変えています。もう1つは、実環境での、オンラインの観測です。エージェントの会話や実行を記録して観測する仕組みは、Agent Observabilityという新しいサービスにもつながっています。AIエージェントを本番に載せたいSRE・プラットフォームエンジニアに向けて、Assistantの事例から、観測して改善する実践と学びを紹介します。