Skip to content

機率密度函數 (Probability Density Function, PDF)

Last Updated on 2024-08-05 by Clay

機率密度函數（Probability Density Function, PDF）是機率論與統計學中的一個基本概念，描述了隨機變數在各個取值範圍內的機率分佈。

定義

對於一個連續隨機變數 X ，其機率密度函數 f(x) 滿足以下條件：

  1. 非負性：機率值不為負數，對於所有的 x ， f(x) \ge 0
  2. 歸一性：整個定義域上的積分為 1（機率加總為 1），即：

\int_{-\infty}^{\infty}f(x)dx=1

  1. 區間機率：對於隨機變數 X 位於區間 [a, b] 內的機率，同樣可通過積分求得：

P(a \le X \le b) = \int_{a}^{b}f(x)dx

特性應用

1. 計算隨機變數的期望值（Expected Value）

隨機變量的期望值為隨機變量取值的加權平均值，其中權重是每個值取值的概率。 之所以不說是平均值而是加權平均值，是因為其隨機變量並非在每個區間中的取值機率一致。

若今天我們假設一公平的六面骰，骰子的六面骰出的機率相等，此時，我們便可說期望值為隨機變量取值的平均值。具體計算如下：

\displaystyle E(X) = \sum_{i=1}^{6} i \cdot P(X=i) \newline = \sum_{i=1}^{6} i \cdot \frac{1}{6} \newline = \frac{1}{6}(1+2+3+4+5+6) \newline = \frac{1}{6} \cdot 21 \newline = 3.5

然而，今天若是假設有一個充滿魚的池塘，並計算我們於池中釣上一條鯉魚的期望值 —— 此時，受限於魚種與棲息習性的不同，釣上每種魚類的機率取值有自己的權重，可能鯉魚多些、可能金魚多些…… 所以才說釣上的期望值為『加權平均值』而非平均值。 假設池塘中的各魚類數量與價值為

  • 鯉魚的數量為 n_1=30 、價值為 v_1 = 100 元
  • 金魚的數量為 n_2=50 、價值為 v_2 = 20 元
  • 其他魚類的數量為 n_3=20 、價值為 v_3 = 10 元

總魚量自然為 n_1 + n_2 + n_3 = N ，也即是 100 條魚，並且我們可以求得釣上各魚類的機率：

  • 釣上鯉魚的機率為 P(Carp) = \frac{n_1}{N} = \frac{30}{100} = 0.3
  • 釣上金魚的機率為 P(Goldfish) = \frac{n_2}{N} = \frac{50}{100} = 0.5
  • 釣上其他魚類的機率為 P(Others)=\frac{n_3}{N}=\frac{20}{100}=0.2

期望值 E(X)=v_1\cdot P(Carp) + v_2 \cdot P(Goldfish) + v_3\cdot P(Others)

= 100 \times 0.3 + 20 \times 0.5 + 10 \times 0.2

= 30 + 10 + 2 = 42

此時，我們釣上一條魚的期望值是 42 元。



2. 計算隨機變數 X 的方差 Var(X)

方差的核心思想是衡量均值周圍實際資料的離散程度，如果單純把資料位置減去均值，可能會導致累積誤差的正負互相底鄉；而取絕對值會在積分和微分時較不方便、單純地計算為平方反而更好，也能放大離散值對方差的影響。

E(X)=\int_{-\infty}^{\infty}xf(x)dx

\displaystyle Var(X) = E\left [ (X-E(X))^2 \right ] \newline = \int_{-\infty}^{\infty}(x-E(X))^2 \cdot f(x) \, dx

References

Read More

[Machine Learning] LayerNorm 層歸一化筆記

Tags:

Leave a Reply