专栏名称: 数据派THU

本订阅号是“THU数据派”的姊妹账号，致力于传播大数据价值、培养数据思维。

概率分布深度解析：PMF、PDF和CDF的技术指南

数据派THU · 公众号 · 大数据 · 2024-09-24 17:00

正文

来源：DeepHub IMBA
本文约2200字，建议阅读10分钟




    
本文本文将深入探讨概率分布，详细阐述概率质量函数（PMF）、概率密度函数（PDF）和累积分布函数（CDF）这些核心概念，并通过实际示例进行说明。

在深入探讨PMF、PDF和CDF之前，有必要先简要介绍两种常用的概率分布：正态分布和均匀分布。

正态分布：也称为高斯分布或钟形曲线，正态分布以其均值为中心对称。它广泛应用于描述自然界中的许多现象。诸如人口身高、标准化考试成绩、测量误差等多种实际数据集都呈现正态分布特征。

均匀分布：在均匀分布中，给定范围内的每个结果具有相等的概率。这是最基本的概率分布形式，常用于描述每个结果等可能出现的情况，如公平骰子的投掷结果或0到1之间随机数的选取。

图1左侧展示了正态分布，呈现典型的钟形曲线，以平均值（此处为0）为中心。可以观察到，大多数数值集中在中心区域。右侧图表表示均匀分布，在0到1之间呈现均匀分布，表明每个值具有相等的出现概率。

在数据科学和统计学研究中，理解概率分布方式是核心任务。概率分布函数在这方面发挥着关键作用。本文将详细讨论概率密度函数（PDF）、概率质量函数（PMF）和累积分布函数（CDF）的概念。我们还将探讨如何从PMF或PDF推导CDF，并为每种情况提供具体示例。

概率质量函数（PMF）专用于描述离散随机变量。它定义了离散随机变量取特定值的概率。PMF为表示不同离散结果的概率提供了一种方法。

例如，在硬币翻转实验中，可能的结果只有正面和反面两种。公平硬币翻转的PMF可以表示为：

P(正面) = 0.5P(反面) = 0.5

另一个典型示例是投掷六面骰子。PMF表明每个结果（1,2,3,4,5,6）的概率均为0.167（约等于1/6）。

概率密度函数（PDF）用于描述连续随机变量。与为离散值分配概率的PMF不同，PDF描述了随机变量落在特定范围内的可能性。在连续分布中，任一具体点的概率为零，但我们可以通过对PDF在某个区间上进行积分来计算变量落在该区间内的概率。

正态分布（也称为高斯分布）是最常用的连续概率分布之一。其PDF可以表示为：

PDF给出了连续随机变量不同值的相对可能性。

下图直观地展示了PDF和PMF。左图显示了PDF的钟形曲线，曲线下的面积代表连续变量的概率。曲线的峰值位于均值处，其展开程度由标准差决定。右图展示了PMF（以六面骰子投掷为例），表示离散结果，每个可能的结果具有相等的概率。PMF为每个可能的结果分配了具体的概率值。

图3：概率密度函数（左）和概率质量函数（右）的图形表示。

累积分布函数（CDF）是一个函数，它定义了随机变量 X 小于或等于特定值 x 的概率。在数学上CDF 定义为：

F(x) = P(X ≤ x)

CDF 可以理解为概率的"累积和"。它从 0 开始，随着随机变量值的增加而增加，最终达到 1（表示总概率）。

为了更好地理解这些概念，我们将通过两个实例来说明，这些实例与前面解释 PDF 和 PMF 时使用的例子相对应：

考虑投掷一个标准六面骰子的情况。可能的结果是 {1,2,3,4,5,6}，每个结果的概率均为 0.167（约等于 1/6）。

我们可以通过累加每个结果的概率来构建 CDF：

当 x = 1 时：P(X ≤ 1) 是结果小于或等于 1 的概率。F(1) = P(X = 1) = 0.167

当 x = 2 时：P(X ≤ 2) 是结果小于或等于 2 的概率。F(2) = P(X ≤ 2) = P(X = 1) + P(X = 2) = 0.167 + 0.167 = 0.333

依此类推，当 x = 6 时，CDF 包括了所有可能的结果（因为骰子不可能产生大于 6 的结果），因此总概率为 1。F(6) = P(X ≤ 6) = P(X = 1) + P(X = 2) + ... + P(X = 6) = 1

由此可见CDF 是逐步增加的，累积了每个结果的概率。如果我们绘制这个函数，会得到一个阶梯状的图形，这是离散变量 CDF 的典型特征。

现在让我们考虑一个连续变量的情况。假设 X 遵循 0 到 1 之间的均匀分布。均匀分布的 PDF 在区间 [0,1] 内为常数 1，在其他区间为 0。

我们可以通过对 PDF 进行积分来计算 CDF。

对于 x = 0.2，CDF 就是从 0 到 0.2 的 PDF 下的面积。我们对 PDF 在区间 [0, 0.2] 上积分，得到结果 0.2。

对于 x = 1，我们对 PDF 在区间 [0, 1] 上积分，CDF 的值为 1。

由于这是均匀分布，CDF 从 0 线性增加到 1。如果我们绘制这个函数，如下图所示会得到一条从点 (0, 0) 到点 (1, 1) 的直线，反映了 0 和 1 之间所有值具有相等概率的特性。

图4：左图显示了离散随机变量（骰子投掷）的 CDF，展示了骰子投掷结果概率的阶梯式累积。右图是连续随机变量（均匀分布）的 CDF，显示了从 0 到 1 的连续均匀分布概率的平滑线性增加。

累积分布函数（CDF）是理解离散和连续设置中概率分布的强大工具。它使我们能够直观地看到任何给定点之前的累积概率，特别适用于计算区间概率。这些概念在数据分析、统计推断和机器学习算法中有广泛的应用。对于那些正在学习数据科学和统计学的读者，深入理解这些基本概念将为更高级的主题奠定坚实的基础。

编辑：王菁

关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。

新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU