本报告观点和信息仅供符合证监会适当性管理规定的期货交易者参考。因本平台暂时无法设置访问限制，若您并非符合规定的交易者，为控制交易风险，请勿点击查看或使用本报告任何信息。对由此给您造成的不便表示诚挚歉意，感谢您的理解与配合！
本文作者 | 姜慧丽 中信建投期货金融工程量化分析师
本报告完成时间 | 2024年6月26日
本文主要介绍了神经网络的基础概念，如构成神经网络最基本的单元神经元、在神经网络中决定了其计算效率和学习性能的重要的组成部分激活函数、常用的激活函数类型以及其各自的优缺点、神经网络常见的网络结构类型。
激活函数我们主要介绍了sigmoid型、ReLU函数和Softplus函数。Sigmoid型函数可以将实数映射到概率空间，但可能会面临梯度消失的问题；ReLU函数稀疏性较好，但可能会有‘死亡ReLU’的问题；Softplus不具有稀疏性，但是是连续可微可导的。
在网络结构中我们按照大类介绍了前馈网络、记忆网络和图网络。
本篇文章没有涉及复杂的数学推导，而是从基本概念上对神经网络的概况进行了介绍。后续我们将利用期货市场的一些数据来实际应用神经网络，以探索其不同结构下的预测能力。
风险提示
：
本研究主要基于历史数据统计，存策略失效风险、模型误设风险、历史统计规律失效等风险。
神经网络是一种大规模的并行分布式处理器，天然具有存储并使用经验知识的能力。它从两个方面上模拟大脑：（1）网络获取的知识是通过学习来获取的；（2）内部神经元的连接强度，即突触权重，用于储存获取的知识。
——西蒙·赫金（Simon Haykin）
神经网络是一类受神经科学和生物学启发的数学模型。通过对人脑神经元进行抽象，按照一定结构建立神经元之间的连接，来模拟生物的神经网络。
从模型来看，一般情况下神经网络可以看做非线性模型。其基本组成单位为神经元，大量神经元之间的连接权重是需要学习的参数。
神经元是构成神经网络的最基本单元，主要模拟生物神经元结构，接收输入并产生输出。
下图是一个典型的神经元结构。
其中向量x表示输入，z表示一个神经元所获得的输入信息x的加权和，叫做净输入，w是权重向量。净输入z经过激活函数f后，得到神经元的活性值a。
2.2 激活函数
激活函数是神经元中非常重要的部分，通常为了增强模型表达能力和学习能力，激活函数需要具备连续可导、简洁、导数值大小合适等性质。常用的激活函数有sigmoid型函数、ReLU函数等。
2.2.1 sigmoid型函数
Sigmoid型函数是两端饱和型的类S型曲线函数。常见的有logistic函数和tanh函数。
Logistic函数定义为σ(x) = 1 / (1 + e^(-x))；tanh函数定义为tanh(x) = (e^(x) - e^(-x)) / (e^(x) + e^(-x))。
2.2.2 ReLU函数
ReLU函数定义式为ReLU(x) = max(0, x)。与sigmoid类型的函数不同，ReLU函数是左端饱和的函数，在这一点上被认为具有生物学上的合理性。在输入小于0时，其输出为0，有助于模型的稀疏性表示。在输入大于0时，其输出为1，有助于在训练过程中保持梯度的传播稳定性，缓解梯度消失的问题。
其缺点在于，如果神经元的输入持续小于0，则输出为0，在后续训练中该神经元可能不再被激活。
2.2.3 Softplus函数
Softplus函数定义为 softplus(x) = log(1 + e^x)。softplus函数是ReLU函数的平滑版本，其函数值总是非负的，函数连续且任一点都可微。Softplus函数的导数是logistic函数，具有单侧抑制和宽兴奋边界的特性，但是由于其函数值一直非负，所以不具有稀疏性。
为了克服当前激活函数的一些缺点，有一些改进的激活函数，本文并未进行详细介绍。
多个神经元通过一定的方式进行连接并传递信息，就构成一个神经网络。通常用到的神经网络结构有前馈网络、记忆网络、图网络等。
前馈神经网络中每一个神经层接收前一层神经元的信息输出，并将信息输出到下一层神经元。整个网络中的信息是单向传播的，没有反向的信息传播。前馈网络包括全连接前馈网络和卷积神经网络。
前馈神经网络是简单非线性函数的多次复合，结构简单，实现起来比较容易。
3.2 记忆网络
记忆网络也称为反向传播网络。记忆网络中的神经元不仅可以接收其他神经元的信息，也可以接收其自身的历史信息，因此叫做记忆网络。与前馈网络相比，记忆网络中的信息可以双向传递。我们常说的循环神经网络就是记忆网络的一种。
前馈神经网络和记忆网络的输入是向量或者向量序列，无法处理实际应用中的图结构数据，比如知识图谱和社交图谱等。
图网络是定义在图结构数据上的神经网络。其节点之间可以接收来自相邻节点或自身节点的信息。
本文主要介绍了神经网络的基础概念，如构成神经网络最基本的单元神经元、在神经网络中决定了其计算效率和学习性能的重要的组成部分激活函数、常用的激活函数类型以及其各自的优缺点、神经网络常见的网络结构类型。
本篇文章没有涉及复杂的数学推导，而是从基本概念上对神经网络的概况进行了介绍。后续我们将利用期货市场的一些数据来实际应用神经网络，以探索其不同结构下预测能力的不同。
本报告观点和信息仅供符合证监会适当性管理规定的期货交易者参考，据此操作、责任自负。中信建投期货有限公司（下称“中信建投”）不因任何订阅或接收本报告的行为而将订阅人视为中信建投的客户。
本报告发布内容如涉及或属于系列解读，则交易者若使用所载资料，有可能会因缺乏对完整内容的了解而对其中假设依据、研究依据、结论等内容产生误解。提请交易者参阅中信建投已发布的完整系列报告，仔细阅读其所附各项声明、数据来源及风险提示，关注相关的分析、预测能够成立的关键假设条件，关注研究依据和研究结论的目标价格及时间周期，并准确理解研究逻辑。
中信建投对本报告所载资料的准确性、可靠性、时效性及完整性不作任何明示或暗示的保证。本报告中的资料、意见等仅代表报告发布之时的判断，相关研究观点可能依据中信建投后续发布的报告在不发布通知的情形下作出更改。
中信建投的销售人员、交易人员以及其他专业人士可能会依据不同假设和标准、采用不同的分析方法而口头或书面发表与本报告意见不一致的市场评论和/或观点。本报告发布内容并非交易决策服务，在任何情形下都不构成对接收本报告内容交易者的任何交易建议，交易者应充分了解各类交易风险并谨慎考虑本报告发布内容是否符合自身特定状况，自主做出交易决策并自行承担交易风险。交易者根据本报告内容做出的任何决策与中信建投或相关作者无关。
