LLMアプリケーション評価駆動開発 継続的に改善し運用していくための実践知

「正解」がわからない出力を、どう評価するのか？
LLMアプリ特有の評価の基本から、継続的改善の運用方法まで徹底解説！

LLMアプリケーションを価値あるものにするためには、評価が欠かせません。
評価をすることではじめて、LLMアプリケーションの現在地を把握し、改善すべき方向性を見極めることができます。

しかし、LLMアプリケーションの評価は、
・出力が確率的かつ自由度が高いため単純に正答率を評価することができない
・なにをもって良い出力とするかの軸が定めにくい
といったことから、「どう評価すればいいのか分からない」という課題にぶつかることが多くあるのではないでしょうか。

本書は、そういった課題を解決すべく、評価の種類、どういった評価指標を作っていくかはもちろん、近年注目されているLLM-as-a-Judgeを使った実際の評価、リリース後の評価・改善といった、基本から実務で使える知識まで解説します。

■本書の特徴
・評価の基本を網羅的に解説：評価の全体像から評価軸の考え方まで丁寧に解説していきます
・幅広い評価のアプローチの解説：最新の評価手法であるLLM-as-a-Judgeなども取り上げ、幅広い評価のアプローチを習得することで、あらゆる場面で最適な評価手法を選択・活用できる力を身につけられます
・実践力を身につけられる：実際にLangSmithを使ってLLMアプリケーションを評価し、運用・改善していく方法を紹介します。プロンプトのバージョンを管理し、LLMアプリケーションのモニタリングやトレースを行うことで、継続的にアプリケーションを改善するコツをしることができ、実践力を身につけられます

■こんな方におすすめ
・これからLLMを活用したアプリケーション開発をしようとしている方
・LLMを用いたサービスのリリースを検討しているが、評価に不安を感じている方
・すでにLLMを活用したアプリケーションを開発・運用しており、継続的に改善していきたいと考えている方

【目次】
第1章 なぜLLM アプリケーションを評価する必要があるの

第2章 LLMアプリケーション評価設計の全体像

第3章 LLMアプリケーション評価の実行プロセスと運用設計

第4章 評価指標の設定の考え方

第5章 LLM-as-a-Judge

第6章 LLMOpsによる継続的な改善

第7章 テーマ設定とサンプルアプリケーションの準備

第8章 評価の初期設計とデータセットの作成

第9章 リリース前の評価とチューニング

第10章 リリース後の評価と継続的な改善

付録 LLMそのものの評価

本の帯に関して

帯つきでの出荷はお約束しておりません。
商品ページに、帯のみに付与される特典物等の表記がある場合でも、確実に帯つきでの出荷はお約束しておりません。
また、帯は商品の一部ではなく「広告扱い」のため、帯の有無・破損による交換や返品は承っておりません。

発売日について

商品によっては、セブンネットショッピングの倉庫に搬入される日を発売予定日と表記させていただく場合がございますので、出版社やメーカーが公表している発売日とは異なる場合がございます。

版・表紙について

版・表紙（カバー）のご指定は承っておりません。ご注文いただくタイミングによっては、お届けする商品の版や表紙が商品ページ上のものとは異なる場合がございます。
また、初版にのみにお付けしている特典（初回特典、初回仕様特典）がある商品は、商品ページに特典の表記がされている場合でも、無くなり次第終了となります。