強化学習アルゴリズム

【読者対象】
本書は、強化学習について網羅的に勉強してみたいと考える方に向けて書かれています。具体的には、大学学部後半（3・4年生）で強化学習をこれから勉強したいと考える学部生や、強化学習を自分の研究や開発に使ってみたいと考えている大学院生、社会人の方々に向けて書かれています。強化学習の勉強を独学してみたけれど、自力で最近の論文を理解するには至っていない、という方におすすめです。

【書籍の特徴】
本書の特徴は、最新の強化学習に関する論文を理解するために必要な前提知識を幅広く網羅している点にあります。基礎的な内容もカバーしつつ、発展的な内容も解説しています。本書を読んだ後、強化学習に関する最新の論文を読んだ時「この部分はあの本に書いてあったな…」と思ってもらえることを目指して書いてあります。

【各章について】
1章では、強化学習アルゴリズムを理解するために必要な数学的な知識を簡単にまとめています。
続けて２章では、マルコフ決定過程をはじめとする、強化学習の定式化について述べています。また、強化学習アルゴリズムの分類なども紹介します。３章では、強化学習において重要な役割を果たす、価値関数の学習について解説します。４章では、REINFORCEアルゴリズムなどの古典的なアルゴリズムから始めて、PPOなどの最近でもよく使われているものまで、オンポリシー型のアルゴリズムについて述べています。５章では、オンポリシー型よりも高い学習効率をしばしば発揮するオフポリシー型のアルゴリズムについて説明します。６章では、事前に収集されたデータを活用するアルゴリズムである、オフライン強化学習アルゴリズムについて説明しています。７章では、状態遷移モデルを活用したアプローチである、モデルベース強化学習について述べています。最後の８章では、内発的報酬による強化学習や、目標条件付き強化学習、生成モデルをつかったアプローチなどに関する発展的な内容に触れています。

【著者からのメッセージ】
強化学習は大規模言語モデルなどにも用いられて注目を集めていますが、強化学習に関する研究開発を行える人材は、日本ではまだまだ足りていません。本書が、強化学習をこれから自分の研究に役立てていきたい、という志を持っている方のお役に立てれば幸いです。

【キーワード】
強化学習、機械学習、ロボット学習、意思決定、深層学習、方策勾配、マルコフ決定過程、Q学習、ロボティクス、生成モデル

目次

☆発行前情報のため，一部変更となる場合がございます

1．数学的な準備
1.1　確率　
　1.1.1　多変数の確率　
　1.1.2　期待値　
　1.1.3　最尤法と最小二乗法の関係　
　1.1.4　最尤法と交差エントロピー損失　
　1.1.5　偏差と分散　
1.2　強化学習でよく使われる情報量　
　1.2.1　エントロピー　
　1.2.2　カルバック・ライブラー情報量　
　1.2.3　forward KL 情報量とreverse KL 情報量　
　1.2.4　f-ダイバージェンス　
　1.2.5　Wasserstein距離　
　1.2.6　相互情報量　
　1.2.7　エントロピー正則化とボルツマン分布　
1.3　ブラックボックス最適化アルゴリズム　
　1.3.1　reward-weighted regression　
　1.3.2　クロスエントロピー法　

2．強化学習の定式化
2.1　強化学習とはどんなものか　
2.2　マルコフ決定過程　
　2.2.1　マルコフ性とマルコフ決定過程　
　2.2.2　強化学習とバンディット問題　
　2.2.3　マルコフ決定過程における軌道の分布　
　2.2.4　リターン，状態価値関数，行動価値関数　
　2.2.5　強化学習における行動の探索と方策の評価の基本　
2.3　強化学習の種類　
　2.3.1　オンポリシー型とオフポリシー型　
　2.3.2　価値関数ベースと方策ベース　
　2.3.3　オンライン強化学習とオフライン強化学習　
　2.3.4　モデルフリー強化学習とモデルベース強化学習　
　2.3.5　エピソードベースとステップベース　
　2.3.6　強化学習と模倣学習　

3．価値関数の学習
3.1　ベルマン方程式　
　3.1.1　状態価値関数が満たすベルマン方程式　
　3.1.2　行動価値関数が満たすベルマン方程式　
　3.1.3　ベルマン最適方程式　
3.2　価値関数の推定とベルマン作用素の収束性　
ほか

本の帯に関して

帯つきでの出荷はお約束しておりません。
商品ページに、帯のみに付与される特典物等の表記がある場合でも、確実に帯つきでの出荷はお約束しておりません。
また、帯は商品の一部ではなく「広告扱い」のため、帯の有無・破損による交換や返品は承っておりません。

版・表紙について

版・表紙（カバー）のご指定は承っておりません。ご注文いただくタイミングによっては、お届けする商品の版や表紙が商品ページ上のものとは異なる場合がございます。
また、初版にのみにお付けしている特典（初回特典、初回仕様特典）がある商品は、商品ページに特典の表記がされている場合でも、無くなり次第終了となります。