機率密度函數 (Probability Density Function, PDF)

Last Updated on 2024-08-05 by Clay

機率密度函數（Probability Density Function, PDF）是機率論與統計學中的一個基本概念，描述了隨機變數在各個取值範圍內的機率分佈。

---

定義

對於一個連續隨機變數 ，其機率密度函數 滿足以下條件：

1. 非負性：機率值不為負數，對於所有的 ，
2. 歸一性：整個定義域上的積分為 1（機率加總為 1），即：

3. 區間機率：對於隨機變數 位於區間 內的機率，同樣可通過積分求得：

---

特性應用

1. 計算隨機變數的期望值（Expected Value）

隨機變量的期望值為隨機變量取值的加權平均值，其中權重是每個值取值的概率。 之所以不說是平均值而是加權平均值，是因為其隨機變量並非在每個區間中的取值機率一致。

若今天我們假設一公平的六面骰，骰子的六面骰出的機率相等，此時，我們便可說期望值為隨機變量取值的平均值。具體計算如下：

然而，今天若是假設有一個充滿魚的池塘，並計算我們於池中釣上一條鯉魚的期望值 —— 此時，受限於魚種與棲息習性的不同，釣上每種魚類的機率取值有自己的權重，可能鯉魚多些、可能金魚多些…… 所以才說釣上的期望值為『加權平均值』而非平均值。 假設池塘中的各魚類數量與價值為

• 鯉魚的數量為 、價值為 元
• 金魚的數量為 、價值為 元
• 其他魚類的數量為 、價值為 元

總魚量自然為 ，也即是 100 條魚，並且我們可以求得釣上各魚類的機率：

• 釣上鯉魚的機率為
• 釣上金魚的機率為
• 釣上其他魚類的機率為

期望值

此時，我們釣上一條魚的期望值是 42 元。

2. 計算隨機變數 X 的方差 Var(X)

方差的核心思想是衡量均值周圍實際資料的離散程度，如果單純把資料位置減去均值，可能會導致累積誤差的正負互相底鄉；而取絕對值會在積分和微分時較不方便、單純地計算為平方反而更好，也能放大離散值對方差的影響。

---

References

• Probability density function
• Probability Density Function (PDF) - Definition, Formula ...

---

Read More

[Machine Learning] LayerNorm 層歸一化筆記

See more