機械学習スタートアップシリーズ　Ｐｙｔｈｏｎで学ぶ強化学習　［改訂第２版］　入門から実践まで

「Ｐｙｔｈｏｎで強化学習が実装できる！」と好評を得た入門書の改訂版。読者からの要望・指摘を反映させた。主に、Ｐｏｌｉｃｙ ＧｒａｄｉｅｎｔとＡ２Ｃの記述・実装を見直した。・Pythonプログラミングとともに、ゼロからていねいに解説。・コードが公開されているから、すぐ実践できる。・実用でのネックとなる強化学習の弱点と、その克服方法まで紹介。【おもな内容】Day1　強化学習の位置づけを知る　強化学習とさまざまなキーワードの関係　強化学習のメリット・デメリット　強化学習における問題設定：Markov Decision Process　Day2　強化学習の解法(1): 環境から計画を立てる　価値の定義と算出: Bellman Equation　動的計画法による状態評価の学習: Value Iteration　動的計画法による戦略の学習: Policy Iteration　モデルベースとモデルフリーとの違いDay3　強化学習の解法(2): 経験から計画を立てる　経験の蓄積と活用のバランス: Epsilon-Greedy法　計画の修正を実績から行うか、予測で行うか: Monte Carlo vs Temporal Difference　経験を価値評価、戦略どちらの更新に利用するか：Valueベース vs PolicyベースDay4　強化学習に対するニューラルネットワークの適用　強化学習にニューラルネットワークを適用する　価値評価を、パラメーターを持った関数で実装する：Value Function Approximation　価値評価に深層学習を適用する：Deep Q-Network 　戦略を、パラメーターを持った関数で実装する：Policy Gradient　戦略に深層学習を適用する：Advantage Actor Critic (A2C)　価値評価か、戦略かDay5　強化学習の弱点　サンプル効率が悪い　局所最適な行動に陥る、過学習をすることが多い　再現性が低い　弱点を前提とした対応策Day6　強化学習の弱点を克服するための手法　サンプル効率の悪さへの対応: モデルベースとの併用/表現学習　再現性の低さへの対応: 進化戦略　局所最適な行動/過学習への対応: 模倣学習/逆強化学習Day7　強化学習の活用領域　行動の最適化　学習の最適化