mba统计学笔记(1):从6σ管理到放之四海皆准的标准差分布
上了一天统计学,尝试借助这篇文章梳理下学到的概念。
从6σ管理开始
管理学上有个概念叫六西格玛管理法,大意是通过各种手段,将废品率控制在六个西格玛,也就是6个标准差以内,大约是百万分之一的水平,所以,问题来了
- 什么叫标准差,看这名字,有不标准的差?
- 为什么控制误差要用标准差作为衡量单位
- 我们知道标准差是和正态分布相关的概念,但现实不可能完全服从正态分布。如果数据分布不是正态分布,是否还有类似效果?
一条一条来
什么叫标准差: 从偏差到标准差
概念来源:偏差
数据中的每个点与平均值(μ)之间都有差距,这个差距被称为偏差。为了衡量数据离线程度,我们需要将偏差中和起来,但偏差有正有负,直接相加会因正负抵消而失效,所以数学上采用先平方、再求平均,最后开根号的方式计算波动大小。
工程处理:标准
经过这轮运算,这个波动大小被执行了标准化,因此能够直接代表数据波动尺度,被称之为标准差
单个元素点的通用标尺:Z分数
用于统计的数据都携带有原始尺度信息(例如180cm、26℃、36s),但为了方便观测数据,可将原始值先减去均值,再除以标准差,得到的即是均值为0,标准差为1的标准正态分布,处理后的每一项即为 Z分数,公式为 $Z = \frac{X - \mu}{\sigma}$。 经过Z分数处理,任意场景的数据转化为无单位数据(无量纲数据),彼此之间即获得了可比性。
数据整体的衡量标尺:变异系数
如果是用标准差除以平均数,得到的称之为变异系数,可以比较一组数据的离散程度(z分数则是具体数据点/某个值,偏离数据本身的程度)
$$CV = \frac{s}{\bar{x}} \times 100%$$
标准差(Standard Deviation)的概念则是由近代统计学之父卡尔·皮尔逊(Karl Pearson)于 1894 年正式引入,用与取代之前混乱的平均误差或均方根误差的提法
为什么控制误差要用标准差作为衡量单位

在正态分布中,可以看到数据距离平均值(μ)越远,出现概率越低。因此可以用x个标准差作为误差的衡量单位。一般来说
- $1\sigma$(1个标准差内):可覆盖 68.27% 的数据
- $2\sigma$(2个标准差内):可覆盖 95.45% 的数据
- $3\sigma$(3个标准差内):可覆盖 99.73% 的数据
数学原因则是正态分布的概率密度函数包含一个指数衰减项
$$f(x) = \frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$
当数据距离均值 $\mu$ 达到 $3\sigma$ 时,指数部分变成了 $-\frac{(3\sigma)^2}{2\sigma^2} = -4.5$。由于底数 $e$ 的指数衰减速度极其迅速($e^{-4.5} \approx 0.011$),随着偏离距离的增加,概率密度以指数级趋近于零。因此,极端值出现的概率会呈断崖式下跌。
如果数据不服从正态分布,所谓 $3\sigma$ 概念是否还有效
依然有效。现实世界中,完全服从正态分布的数据其实非常少,但存在一个对世界上任何分布都绝对成立的法则: 切比雪夫不等式
对于任意形状的概率分布,只要能计算出明确的平均数和方差,落在距离均值k个标准差之内的数据占比,一定满足以下公式
$$\text{比例} \ge 1 - \frac{1}{k^2}$$
- 当 $k = 2$ 时,$1 - \frac{1}{2^2} = 75%$。即:无论数据怎么分布,至少有 75% 的数据会落在 2 个标准差之内(正态分布里是 95.45%)
- 当 $k = 3$ 时,$1 - \frac{1}{3^2} = 1 - \frac{1}{9} \approx 88.9%$。即:无论数据怎么分布,至少有 88.9% 的数据会落在 3 个标准差之内(正态分布里是 99.73%)
- 当 $k = 6$ 时,$1 - \frac{1}{6^2} = 1 - \frac{1}{9} \approx 97.2%$。即:无论数据怎么分布,至少有 97.2% 的数据会落在 6 个标准差之内(正态分布里是 99.99966%)
利用这个公式,哪怕分布再奇葩,3个标准差下最多也只有11.1%的极端值场景----对日常生活完全够用。
怎么可能对所有(能算出平均数和方差的)分布都成立
原理是在这类分布中,平均数像一个不可逾越的总预算天花板,死死压住了极端值出现的概率。举个例子,假如公司平均年薪10万元,那么年薪达到或超过50万元的人,总有一个上限。
举个例子,在10万年薪的平均值下,为保证尽可能多的人年薪50万,最多只能有 $\frac{10}{50} = \frac{1}{5}$ 也就是20%的人拿50万或以上。如果这一比例超过20%,会导致平均薪资超过10万
这个观察被称之为马尔科夫不等式: 只要所有变量大于0,则对于任意X,其大于a的次数必然有
$$P(X \ge a) \le \frac{E[X]}{a}$$
- $P(X \ge a)$:变量 $X$ 大于或等于某个值 $a$ 的概率
- $E[X]$:变量 $X$ 的期望值(均值)
由于:
- 所有变量先减去均值,再求平方,其结果必然大于等于0 。
- 例如对于平均数 $\mu$,方差为 $\sigma^2$的 $Y$,可以构造 $U = (Y - \mu)^2$,此时$U$必然大于0
- 将$U$ 代入马尔科夫不等式的公式,并将门槛常数 $c$ 设为平方数 $k^2$,则有
- $$P\left((Y - \mu)^2 \ge k^2\right) \le \frac{E\left[(Y - \mu)^2\right]}{k^2}$$
- 进行简单化简
- $(Y - \mu)^2 \ge k^2$两边都是平方,因此等价于$\vert{}Y - \mu\vert{} \ge k$
- 而$E\left[(Y - \mu)^2\right]$,$(Y - \mu)^2$就是方差的定义,因此期望值显然就是 $\sigma^2$
- 两边代入,马尔科夫不等式即成为切比雪夫不等式(异常偏离概率版)
- $$P(\vert{}Y - \mu\vert{} \ge k) \le \frac{\sigma^2}{k^2}$$
- 令偏离距离 $k$ 为标准差 $\sigma$ 倍数形式( $k = k \cdot \sigma$),则有
- $$P(\vert{}Y - \mu\vert{} \ge k\sigma) \le \frac{\sigma^2}{(k\sigma)^2} = \frac{\sigma^2}{k^2 \sigma^2} = \frac{1}{k^2}$$
- 那么对立面:正常(偏离在 $k个\sigma$ 范围之内)的概率,即为右侧被1减去原值
$$P(\vert{}Y - \mu\vert{} < k\sigma) \ge 1 - \frac{1}{k^2}$$
限定了数据分布需要能算出平均数和方差,还有算不出来的?
是的,有。正常事物的分布都是随着值变极端概率越来越低,从而形成正态分布----至少有平均数和方差。但确实也有场景
- 算不出平均值或者方差:比如无穷多个随机样本
- 物理场景: 柯西分布,或者说受迫共振的微分方程解
- 值变极端后出现概率不会降低:比如股价波动情况、美国次贷危机
典型案例也就是金融风控中所说的 「千万不要假设市场服从正态分布,因为尾巴里藏着吞噬一切的巨兽」。其他国家不一定了解,但A股股民对这句话可是太熟悉了hiahiahia
ok,从标准差荡开的思想漫游到此结束,接下来正式开始管理学笔记。