博弈智能中的
诡变（Deception）
和
欺诈强化学习（Fraudulent Reinforcement Learning）
与一般的强化学习（Reinforcement Learning, RL）有一些关键区别，主要体现在博弈环境中需要考虑对手的策略、博弈中的不完全信息、以及策略背后的意图等因素。下面是一些核心差异：
1.
目标和环境设置
-
一般的强化学习（RL）
：在传统的强化学习中，智能体（Agent）通常在一个相对确定或部分观察的环境中进行决策，并通过奖励信号进行学习。智能体的目标是最大化其长期累积的奖励，通常这个奖励是由环境的状态和智能体的动作共同决定的。智能体的决策是基于当前环境状态进行优化的。
-
诡变与欺诈强化学习
：这类强化学习是应用于博弈环境中的，博弈环境通常包含多个智能体，且这些智能体之间有互动。诡变和欺诈强化学习尤其关注如何通过不正当手段（例如欺骗、隐瞒信息、误导对手）来获取优势。这种环境下，智能体不仅要优化自己的奖励，还要考虑如何在博弈中通过诡变或者欺诈策略来影响其他智能体的行为和决策。
2.
智能体的行为
-
一般强化学习
：智能体在标准的RL环境中会根据策略进行学习，目标通常是通过探索和利用来最大化奖励。智能体的行为是直接和环境互动的，遵循某些策略来找到最优的动作。
-
诡变与欺诈强化学习
：在这些博弈环境中，智能体不仅要考虑如何优化自身的奖励，还需要设计一些具有误导性、隐蔽性的策略，以便影响对手的决策。可能会故意给对手传递错误的信息，或采用误导性行为来实现利益最大化。例如，智能体可能通过虚假承诺或制造虚假的奖励信号来诱使对手做出不利决策。
3.
信息的完备性
-
一般强化学习
：环境往往是相对“完备”的，智能体可以观察到足够的信息来做出决策，或者通过探索逐渐获取有关环境的更多信息。在某些情况下，强化学习也可以在部分观察的环境下运行（部分可观察马尔可夫决策过程 POMDP）。
-
诡变与欺诈强化学习
：这些博弈环境通常是“不完全信息”的。智能体不一定知道其他对手的完整信息，而是依赖推理和假设对手的行为。诡变和欺诈强化学习尤其注重在不完全信息的情况下如何通过欺骗和误导使对方做出有利于自己的决策。例如，智能体可能会隐藏其真实意图，通过假动作或虚假信息让对手误解其策略，从而产生有利的博弈结果。
4.
策略的复杂性
5.
合作与竞争
-
一般强化学习
：通常是在一个单一目标环境中进行的，智能体通过最大化奖励达到优化目标。不存在明确的合作与竞争，除了某些情境下（如多智能体强化学习）会涉及到合作问题。
-
诡变与欺诈强化学习
：这类学习通常是在
竞争性环境
下进行的，智能体之间的行为具有竞争性，且经常出现博弈。智能体之间的互动不仅影响它们的回报，还可能通过策略和行为的互动改变整个系统的状态。在这种环境下，可能会涉及到不同的博弈论策略（如纳什均衡），以及如何通过欺诈或诡变破坏对方的策略。
6.
学习方法和技术
-
一般强化学习
：强化学习的常见技术包括Q学习、深度Q网络（DQN）、策略梯度方法、演员-评论家方法等，目标是通过与环境的互动来不断改进策略。
-
诡变与欺诈强化学习
：在这类强化学习中，智能体可能会利用对手的学习过程来调整自己的策略。例如，通过
对抗性学习
或
对抗性生成
（adversarial learning）方法，智能体不仅优化自己的策略，还会通过设计欺骗性的行为干扰对方的学习过程。这可能涉及模仿学习、逆向强化学习、或对抗性强化学习等方法。
诡变与欺诈强化学习主要区别在于它考虑了博弈中的对抗性和策略复杂性，智能体不仅仅在自己的环境中进行学习和优化，还需要面对其他智能体，并在博弈中通过操控、欺骗或隐瞒信息来获得更好的决策结果。相比之下，一般强化学习关注的是优化单一目标（如最大化奖励），并且通常假定环境是相对“清晰”或“完备”的。
