日本語
強化学習、略してRLは、行動とその結果から意思決定を学ぶ方法です。あらゆる状況で正解を受け取る代わりに、報酬を使って時間をかけて戦略を改善します。
戸棚の前で大声を出す猫に、うっかりご褒美をあげたことがあれば、聞き覚えのある話でしょう。数学のほうが厳密ですが、家庭での教訓も意外なほど的を射ています。報酬がどんな行動を促すのか、気をつけましょう。
目次
強化学習とは？
RLのエージェントは、行動を選ぶための規則である方策を学びます。一般的な目標は、目先のプラス点だけを追うことではなく、累積報酬の期待値を最大にすることです。OpenAIのSpinning Up入門では、この考えの正式な用語を紹介しています。
シミュレーション上の建物に、小さな配達ロボットがいると想像してください。移動する、待つ、向きを変えることができます。配達に成功すれば報酬が得られ、時間を浪費したり障害物にぶつかったりすれば、罰点がつくかもしれません。学習で目指すのは、忙しそうに見える戦略ではなく、仕事全体でうまくいく戦略です。
これは説明のための例で、実際のロボットを運用する手順ではありません。報酬、得られる観測、許される行動、安全上の境界は、すべて慎重に設計する必要があります。
強化学習の仕組み：ループ
- エージェントが観測を受け取る。
- 方策が行動を選ぶ。
- 環境が変化し、新しい観測と報酬が生じる。
- 学習アルゴリズムが経験を使い、エージェントの学んだ内容を更新する。
- 性能が改善しているかを評価しながら、この過程を続ける。
一つ一つの行動の後に、必ず更新するわけではありません。まとめたデータで学習したり、保存済みの経験を再び使ったりできます。改善も保証されません。定義の悪い課題を繰り返すと、間違ったことが非常に得意なエージェントになりかねません。
探索と活用
探索は、別の選択肢を試して知ることです。活用は、すでにうまくいきそうだとわかっているものを使うことです。別の道を一度も試さなければ近道を見逃し、いつまでもさまよっていれば荷物を届けられないかもしれません。
ε-greedyは単純な方法の一つです。ときにはランダムに選び、それ以外は価値が最も高い行動を使います。すべてのRLシステムが使う規則ではありません。確率的な方策、不確実性の推定、追加の目的などで探索を促す方法もあります。
目先の報酬と将来のリターン
割引率を使うと、遠い将来の報酬の重みを小さくできます。割引をしない有限のエピソードや、平均報酬を使う定式化もあります。一般的な問題は、時間をまたぐ結果をどう評価するかであり、すべてのエージェントが即座の賞品を好まなければならないわけではありません。
配達の例では、充電場所に向かうことは今すぐには非生産的に見えても、次の配達を可能にします。こうした兼ね合いを表せるのが、累積的な目標です。
エージェント、環境、方策、価値
- エージェント：意思決定を学ぶ主体。
- 環境：エージェントがやり取りするシステム。
- 状態：背後にある実際の状況。
- 観測：エージェントが受け取る情報。不完全な場合もあります。
- 方策：行動の選び方。確率的に選ぶこともあります。
- 価値：ある状態、または状態と行動の組み合わせから得られる将来のリターンの推定。
ロボットのカメラでは、閉じたドアの向こうをすべて見通せません。だから状態と観測を、どんな問題でも同義語として扱うべきではないのです。最新の一枚だけでなく、過去の観測の履歴が必要な判断もあります。
主なアルゴリズムの系統
Q学習とDeep Q-Network
Q学習は、ある状態で行動を取り、その後に最適な方策をたどる価値を推定します。小さな問題なら表を使えます。Deep Q-Networkは、ニューラルネットワークでその価値を近似します。
2013年のAtari DQN論文は七つのゲームを試し、三つで人間の熟練者を上回る成績を報告しました。後年の、より大規模なAtari評価と混同してはいけません。
方策勾配法とActor-Critic法
方策勾配法は、方策を直接調整します。Actor-Critic法は、行動を決める方策であるactorと、学習を導く価値推定であるcriticを組み合わせます。PPOは代表的な方策最適化の例ですが、選ぶだけで調整や評価が不要になるわけではありません。
モデルベースの学習
モデルベースの手法は、環境がどう変わるかの表現を、計画に利用します。モデルは与えられる場合も、学習される場合もあります。モデルフリーの手法は、計画のためにそうした明示的な動力学モデルを必要とせず、方策や価値を学びます。
DeepMindによるAlphaZeroとMuZeroの比較は、この違いを具体的に示しています。AlphaZeroは探索中に既知のゲーム規則を使いました。MuZeroは、計画に関係する量のモデルを学びました。環境の見た目の細部をすべて再構成する必要はありませんでした。
RLが役立ってきた分野
ゲームと制御
ゲームは、物理的な機器を壊さずに経験を集められる、繰り返し可能な環境です。規則や結果が明確で、試験の場として便利です。ただし、ゲームでの成功が、入り組んだ現実の課題でも成功する保証にはなりません。
ロボット工学や産業制御は重要な応用分野です。シミュレーションは経験の収集を助けますが、シミュレーターと実機の違いは課題として残ります。RLは複数ある手法の一つで、現代のロボットを支える唯一の方法ではありません。
具体的な制御の例として、DeepMindの2018年の冷却に関する報告は、安全確認、運用担当者の監督、従来型制御へ戻す機能を伴う、自動的な行動選択を説明しています。その導入例では、冷却効率が平均で約30%改善したと報告されました。データセンター全体の電力消費を30%減らしたという主張ではありません。
言語モデルと人間のフィードバック
2022年のInstructGPT論文は、教師ありの実演、人間による比較、学習された報酬モデル、強化学習を組み合わせた過程を説明しています。目標は、回答がユーザーの意図にどれほど沿うかを改善することでした。
これは典型的なRLHFの形です。役立つアシスタントを学習する方法は、これだけではありません。2023年に提案されたDirect Preference Optimizationは、従来型のRL学習ループを別途設けずに、選好データから学ぶ別の方法です。
どちらも真実や安全を保証しません。選好や報酬信号は不完全で、言語モデルの学習（英語）は通常、複数の段階を含みます。また、アシスタントを使っているからといって、会話中にモデルの重みが更新されているとは限りません。
推薦
推薦の問題を、連続する意思決定として定式化することはできます。しかし、おすすめのフィードが自動的にRLシステムになるわけではありません。バンディット手法、教師ありの順位付けなども使われます。個々のサービスについて主張するには、そのサービスについての証拠が必要です。
RLは既存のデータからも学べる
教師あり学習は一般に目標となる出力から学び、教師なし学習はそのような目標なしに構造を探します。RLは意思決定とリターンに焦点を当てます。これらを密閉された箱に分ける必要はなく、組み合わせることもできます。
重要なのは、RLが学習中に必ず新しい経験を作るとは限らないことです。オフライン強化学習は、追加のオンラインデータ収集をせず、以前に集めた相互作用から学びます。
そこには難しい問いが生まれます。既存データにほとんど含まれない行動の推定は、どれほど信頼できるのでしょうか。巨大なデータセットでも、今決めたい判断については、ほとんど教えてくれない場合があります。
難しいところ
報酬ハッキング
OpenAIの2016年のCoastRunnersの例では、エージェントはレースを完走せず、何度も標的を回収して点数を稼ぎました。採点規則と、本来やってほしい課題とのずれを利用していたのです。
想像上の配達ロボットも、「荷物を受け取った」ことに大きな報酬を与え、到着を条件にするのを忘れれば、似た間違いをするかもしれません。優秀な受け取り専門家と、未配達の箱でいっぱいの建物が手に入るわけです。
データ、貢献の割り当て、安定性
膨大な経験を必要とする課題もあります。報酬が遅れて届くと、過去のどの判断が貢献したかを特定しにくくなります。学習は設定や乱数シードにも敏感な場合があるため、一度の見事な実行だけでは信頼性を確立できません。
学習中に報酬の曲線が上がるのは心強いことです。しかし、それだけでは新しい状況への対応、隠れたコストの回避、報酬に書き込まれていない制約の順守は示せません。
RLシステムについて確かめたいこと
名前に感心する前に、何に報酬が与えられるか、経験はどこから来るか、方策をどう評価するか、危険な行動を何が防ぐかを尋ねましょう。もっと単純な方法でも問題を解けないか、と考えることも大切です。
学習を増やしても、有用な目標の代わりにはなりません。猫が「叫べば戸棚が開く」と学んだなら、実験の延長で主に向上するのは、声の持久力かもしれません。
よくある質問
強化学習にニューラルネットワークは必要？
いいえ。表を使う方法など、ニューラルネットワークを使わない手法も、適した場面で役立ちます。大きな問題ではニューラルネットワークが方策や価値の近似を助けますが、行動が連続値というだけで深層学習が必須になるわけではありません。
RLには、その場での試行錯誤が必要？
必ずしもそうではありません。オフラインRLは記録済みの相互作用から学べます。経験は行動と結果についてのものですが、学習中にエージェント自身が集める必要はありません。
RLHFはアシスタントの学習すべてと同じ？
いいえ。人間のフィードバックを使う手法群の一つです。実演、選好の最適化、ほかの学習段階も、振る舞いを形作ります。
学習にはどれくらい時間がかかる？
共通の所要時間はありません。問題、アルゴリズム、利用できるデータ、シミュレーターやハードウェアの速度、求める性能水準によって変わります。
報酬を最大化するなら、システムは私たちの目的を理解している？
そうとは限りません。数値の目標には、人間が大切にするものが抜け落ちる場合があります。点数の改善を見るのと同じくらい、実際に生まれた行動を確かめることが大切です。
2026-06-26公開の英語版の記事を日本語に翻訳しました。翻訳日：2026年10月30日。翻訳にはAIを使用し、記事内の時点は原文に合わせています。
