刘家成 ¹ , 张向文 ^1,2

1. 桂林电子科技大学电子工程与自动化学院

2. 广西自动检测技术与仪器重点实验室

【摘 要】 将蓄电池与超级电容组成复合电源系统并结合有效的能量管理策略，能显著提高能量利用率，延长储能系统的使用寿命。为了实现复合电源系统能耗损失的最小化，设计了一种基于双延迟深度确定性策略梯度（TD3）算法的能量管理策略。与深度确定性策略梯度（DDPG）算法相比，该算法解决了Q值过高估计问题，能耗损失更小。利用电动汽车行驶方程式和复合电源系统等效电路模型，搭建了基于TD3算法的MATLAB/Simulink仿真模型，并进行测试。仿真结果显示，所提出的能量管理策略能降低大电流对蓄电池的冲击，与DDPG算法相比，能量利用率提高了1.36%，蓄电池峰值电流输出降低了14.68%，蓄电池温升降低了3.52%，系统总能耗降低了2.17%。

【关键词】 电动汽车 ; 复合电源系统 ; 能量管理 ; 深度强化学习

【引用格式】

刘家成, 张向文. 基于TD3的电动汽车复合电源能量管理策略研究[J]. 智能科学与技术学报, 2022, 4(2): 277-287.

LIU J C, ZHANG X W. TD3-based energy management strategy for hybrid energy storage system of electric vehicle[J]. Chinese Journal of Intelligent Science and Technology, 2022, 4(2): 277-287.

0 引言

图1   复合电源系统结构

1.2 整车纵向动力学模型

车辆行驶状态下，沿行驶方向作用于车辆的各种外力的平衡关系式就是车辆行驶方程式。外力可分为驱动力F _t 和行驶阻力∑F两大类，其中行驶阻力∑F包括滚动阻力F _f 、空气阻力F _w 、坡度阻力F _i 和加速阻力F _j 。对车辆进行受力分析，可以得到车辆行驶方程式为：

其中，m为质量（kg），g为重力加速度（m/s ² ）， f 为滚动阻力系数，α为道路坡度（rad），C _D 为空气阻力系数，A为迎风面积（m ² ），v为速度（km/h）， δ为旋转质量换算系数，a为加速度（m/s ² ）。

在给定速度v下，由车辆行驶方程即可计算出车辆需求功率：

其中， P _req 为整车需求功率（kW），η T 为传动系统效率。

1.3 蓄电池模型

鉴于单体模型在后期串联中使用，计算量大，以二阶电阻-电容（resistance-capacitance，RC）模型为蓄电池模型，该模型具有两个RC并联回路环节，如图2所示，其中，U _oc 为开路电压，R ₀ 为欧姆内阻， R ₁ 与C ₁ 分别为电化学极化内阻与电容，R ₂ 与C ₂ 分别为浓差极化内阻与电容，I _b 为电流，U _b 为端电压。

图2   蓄电池等效电路模型

由基尔霍夫电压定律，端电压为：

则蓄电池的输出功率为：

蓄电池的输出电流为：

蓄电池SOC为：

其中，SOC ₀ 为蓄电池的初始SOC，η _b 为蓄电池充放电效率，Q _t 为蓄电池的总容量（Ah）。

1.4 超级电容模型

本文选用的超级电容等效电路模型如图3 所示。图3中，V _oc 为开路电压，C _sc 为理想电容，R _sc 为等效串联内阻，I _sc 为电流，U _sc 为负载电压。

图3   超级电容等效电路模型

根据基尔霍夫电压定律，超级电容的负载电压与开路电压的关系为：

其中，开路电压的计算式为：

其中，Q _sc 为超级电容存储的能量，其计算式为：

则超级电容输出功率为：

由式（10）可得超级电容输出电流为：

超级电容的SOC定义为：

其中，Q _remain 为超级电容剩余电量，Q _total 为超级电容存储的总电量，U _max 、U _min 分别为超级电容允许的最大、最小工作电压。

1.5 DC/DC变换器模型

DC/DC变换器结构复杂，构建其电路模型有一定的难度，同时计算量大，仿真难以实现。而本文关注的是复合电源的能量和功率特性，因此选用DC/DC变换器的效率模型，其效率如图4所示。效率表达式如下：

其中， 是蓄电池与超级电容电压比和输出功率的查表函数。

图4   蓄电池与超级电容不同电压比值下的DC/DC变换器效率

2.3 DDPG算法

DDPG算法创建了策略网络Actor和评价网络Critic双网络结构，并结合了深度Q学习的经验重放，可用于解决连续状态和动作控制问题。Critic网络损失函数L被定义为：

其中，θ _Q 为Critic当前网络的参数，M为从经验重放缓冲区中选择的学习样本个数，y _i 为Critic目标网络的Q值，Q为Critic当前网络。

y _i 的计算如下：

其中，r _i 为即时奖励值，γ为折扣因子。Q′与 分别为 Critic 目标网络及其参数，μ′与 分别为Actor目标网络及其参数。

通过动作值函数将当前状态映射到指定的动作，并通过梯度反向传播算法更新Actor网络参数。其损失梯度为：

其中，∇为梯度， θ _u 为Actor当前网络的参数。μ为Actor当前网络。

最后，Critic和Actor目标网络参数 和 可以通过指数平滑的方法来更新，即：

其中，τ为软更新因子，由于参数τ≪1，目标网络变化平稳且缓慢，从而提高学习的稳定性。

由于 DDPG 算法遵循与深度 Q 网络相同的更新Q值的方法，即按 更新，容易给某些行动带来Q值过高的问题，导致偏差增大和寻找到次优策略。此外，DDPG对超参数的设置非常敏感，这会直接影响其收敛稳定性。

2.4 TD3算法

针对上述缺陷，本文采用最新的TD3算法，构建了电动汽车复合电源能量管理策略。

首先，TD3模仿了双Q学习的思想，建立了两个独立的Critic网络来计算目标值，即：

其中，y ₁ 、y ₂ 分别为Critic目标网络1和Critic目标网络2的目标值， 和 分别为Critic目标网络1及其参数， 和 分别为Critic目标网络2及其参数， 为加了正态分布噪声的动作。

选取两个目标值中较小的值为目标Q值，从而可以避免Q值估计过高的问题，并将其代入贝尔曼方程，计算损失函数，即：

其中， Q _k 和 分别为Critic当前网络及其参数。

其次，目标网络为学习过程提供一个稳定的目标，有助于提高收敛性能。然而，当Critic网络误差较大时，可能会导致策略出现离散状况。因此，为了防止算法出现不收敛的情况，Actor 网络参数更新速度比Critic网络慢，从而导致值函数的更新方差越小，得到的策略越好。

最后，为了避免过拟合，必须对Q值的计算进行平滑处理，因此，在每个动作中加入服从截断正态分布的噪声，对目标更新修改如下：

其中，ε为服从截断正态分布的噪声，σ为方差， c为裁剪幅度。

2.5 基于TD3算法的能量管理策略

由于智能体需要从状态中获取环境知识，状态的选择对于TD3能量管理策略的成功至关重要。在本文中，选取蓄电池和超级电容的SOC为状态值。此外，还将整车的总需求功率和车速作为另外两种状态来表示车辆的动力学特性。基于TD3的能量管理策略的整个状态空间可以表示为：

其中，SOC _b 、SOC _sc 分别是蓄电池和超级电容的SOC。

由于能量管理策略的主要任务是在满足需求功率前提下，充分发挥蓄电池与超级电容二者各自的优势，因此将蓄电池提供的功率占总需求功率的比值作为控制动作，即A={P _b /P _req } 。

基于 TD3 的能量管理策略的目标是在系统能量损失最小的情况下，获得一系列最优策略。为了总奖励累计的最大化，本文将即时奖励定义为：

其中，T为典型循环工况长度，瞬时损耗包括蓄电池能量损耗L _b (k)、超级电容能量损耗L _sc (k)和 DC/DC变换器损耗L _dcdc (k)。各部分损耗可通过下式计算：

其中，η _dcdc (k)为 DC/DC 变换器的效率；P _sc (k)为超级电容输出功率；z为逻辑值，充电时设为 1，放电时设为0。

最后，设计基于TD3算法的能量管理策略流程如图5所示，TD3算法的伪代码如算法1所示。

图5   基于TD3算法的能量管理策略流程

算法1 TD3算法的伪代码

for episode = 1:N do

初始化参数 、θ _μ ，目标网络参数 ，经验池B，样本学习个数M，时间变量t，Actor 网络更新频率d，循环工况长度 T，循环次数 N，获取初始状态s ₁ :Preq ₁ ，v ₁ ，SOC _b1 ，SOC _sc1 。

for t = 1:T do

根据当前状态 s _t ，选择动作：

执行动作 a _t ，得到奖励 r _t 和新状态 s _t+1 。

将四元组 (s _t ,a _t ,r _t ,s _t+1 ) 存至经验池 B 并

从中采样 M 个样本数据 (s _i ,a _i ,r _i ,s _i+1 ) ，

i=1,2,3, … ,M 。

计算动作的期望回报：

更新Critic网络参数：

if t%d == 0 then

更新Actor网络参数：

更新目标网络参数：

end if

end for

end

3 仿真结果和讨论

为了验证所提基于 TD3 算法的能量管理策略（以下简称 TD3 控制策略）的有效性，搭建MATLAB/Simulink模型进行仿真分析，并将其与单一电源、基于DDPG算法的能量管理策略（以下简称DDPG控制策略）和基于PPO算法的能量管理策略（以下简称PPO控制策略）做对比。TD3算法主要超参数见表1。仿真所用循环工况选用比较常用的UDDS，UDDS是美国国家环境保护局为轻型汽车设计的城市循环工况。一个完整的UDDS的循环时间为1 370 s，行驶里程为11.99 km，车辆行驶最高车速为91.25 km/h，平均车速为31.51 km/h。UDDS 时间与车速的关系如图6 所示，对应的UDDS下功率需求曲线如图7所示。

图6   UDDS时间与车速的关系

图7   UDDS下功率需求曲线

仿真得到蓄电池SOC变化曲线如图8所示。从图8可以看出，与单一电源相比，复合电源中蓄电池SOC曲线下降速率明显降低，整个循环工况结束后，复合电源系统中蓄电池SOC在DDPG控制策略、PPO控制策略和 TD3 控制策略下分别提高了 3.59%、4.29%和5.00%。相比于DDPG控制策略和PPO控制策略，蓄电池 SOC 在 TD3 控制策略下分别提高了1.36%和 0.68%。这说明超级电容的利用率提高，蓄电池的放电状态得到改善，蓄电池的能量消耗降低，从而可以延长蓄电池的使用寿命。

图8   蓄电池SOC变化曲线

蓄电池功率对比曲线如图9所示。从图9可以看出，蓄电池作为单一电源时，其充放电功率有很大一部分超过了15 kW，甚至在某些时刻放电功率达到了35 kW左右，此时，蓄电池的放电功率远远超出其放电范围，会对蓄电池造成一定程度的损害，而复合电源系统中的蓄电池的放电功率大部分都在 15 kW 以内。相比于DDPG控制策略和PPO控制策略，基于TD3控制策略的蓄电池输出功率较小，使得蓄电池功率在较小范围内波动，从而可以更好地保护蓄电池。当需求功率较大的时候，大功率由超级电容提供，而剩余的较低功率则由蓄电池提供，从而降低对蓄电池的损害。当汽车制动时，由于超级电容比能量较低，回收的大部分能量优先由超级电容吸收，从而提高能源的使用效率。

图9   蓄电池功率对比曲线

图10   单一电源和复合电源蓄电池电流对比曲线

图11   超级电容输出功率曲线

蓄电池温度对比曲线如图12所示，可以看到，蓄电池为单一电源时，温度上升速度最快，而复合电源在控制策略下温度上升速度都有所下降，相比于DDPG控制策略和PPO控制策略，蓄电池温升在TD3控制策略下分别降低了3.52%和2.04%。由此可见，加入超级电容作为辅助电源并加以有效的能量管理策略，可以延长蓄电池的使用寿命。

图12   蓄电池温度对比曲线

超级电容SOC变化曲线如 图13 所示。从 图13 可以看出，相比于DDPG控制策略和PPO控制策略，基于TD3控制策略的电容SOC曲线下降速率更快。在仿真结束后，DDPG控制策略的电容SOC剩余量为0.6606，PPO控制策略的电容SOC剩余量为0.6361，而TD3控制策略的电容SOC剩余量为0.5418，说明TD3控制策略下的超级电容为蓄电池承担了更多的功率分配，充分发挥了其“削峰填谷”作用。

图13   超级电容SOC变化曲线

系统总能耗仿真结果如 图14 所示。从 图14 可以看出，相比于单一电源，复合电源的系统总能耗在DDPG控制策略、PPO控制策略和TD3控制策略下分别降低了12.71%、13.57%和14.60%。相比于DDPG控制策略和PPO控制策略，TD3控制策略下系统能耗分别降低了2.17%和1.19%。

图14   系统总能耗仿真结果

计算整个循环工况结束后不同控制策略的结果，具体见 表2 。

从表2可以看出，相比于单一电源，复合电源的蓄电池各项性能指标和系统总能耗在 DDPG控制策略、PPO控制策略和TD3控制策略下都有不同程度的改善。与单一电源相比，蓄电池SOC剩余量在DDPG控制策略和PPO控制策略下分别提高了3.59%和4.29%，峰值电流分别降低了31.02%和36.09%，温升分别降低了13.48%和14.78%，系统总能耗分别降低了12.71%和13.57%。而相比于DDPG控制策略和PPO控制策略，TD3控制策略的蓄电池SOC分别提高了1.36%和0.68%，峰值电流分别降低了14.68%和7.91%，温升分别降低了3.52%和2.04%，超级电容SOC剩余量分别降低了 17.98%和 14.82%，系统总能耗分别降低了2.17%和 1.19%。这说明 TD3 控制策略可以更充分地发挥超级电容功率密度高、充放电效率高的优势，从而更好地保护蓄电池，降低电动汽车的行驶成本。

4 结束语

张向文（1976−），男，博士，桂林电子科技大学电子工程与自动化学院研究员，主要研究方向为电动汽车能量管理、动力电池管理系统、电动汽车再生制动控制 。

① 办公
PPT模板
商务	星空	青春风
职场	HR	年会
商务	精美	创意图表
矢量图标	思维导图	7000+份
Excel干货
教程	模板HR	VBA
电脑安装
Win7
Office软件
project2019	office 2010	office 手机应用
PDF转换	viso2019	Power BI
思维导图

② 运营
运营管理
新媒体运营	运营排版	运营管理
500强管理	企业管理	管理制度
内训游戏	产品经理	公文模板
项目管理
营销
营销案例	销售话术	销售培训
广告策划

④ 设计
软件
Adobe 全家桶	AE 2020	ME 2 020
Maya 2019	S tar ccm	SolidWorks
Sketch up
教程
PS	造型设计	素描
Adobe XD	插画教程
素材
必备素材	插画1	插画2
插画田野喜孝	插件素材	插件人像修复
图片字体	海报模板	UI界面
原研哉作品	博朋克风格	莫奈作品
高清图	投影插件	光影笔刷
金箔笔刷	国潮风	样机包装
中国风	手绘	顶级灵感
赛博朋克	免费字体	效果炸裂
面试作品集	SAI资源	英文字体
教程插画	笔刷PS

⑤汽车
软件数模
AutoCAD安装	AutoCAD2016	3dmax
CATIA资料1	CATIA资料2	CATIA资料3‍
ANSYS	Altium designer	UG
Vericut	Cruise	ANSYS 2
宝马数模	大众数模	丰田数模
特斯拉数模	smart数模	奥迪A6数模
奥迪A4数模	法拉利对标	凯迪拉克数模
别克GL8数模	皮卡数模	吉利GS
斯柯达数据	吉利博瑞数据	魏vv5数据
福特皮卡数据
标准
三电	汽车动力	整车
车身	制动转向	悬架轮胎
电子电器空调	内外饰	橡胶
标准件	机械绘图	NVH资料
特斯拉专利