Phần này trình bày cho các bạn các phân phối xác suất phổ biến thường được sử dụng: phân phối Bernoulli, phân phối Gaussian, phân phối chuẩn và phân phối mũ. Nếu các bạn đã quen thuộc với các phân phối trên, có thể skip bài này.
Biến ngẫu nhiên [random variable] là một biến có thể nhận vào giá trị ngẫu nhiên khác nhau.
Ví dụ: biến \[a\] đại diện cho số người có mặt trong nhà bạn vào một thời điểm cụ thể [ví dụ 4 người]. Thì lúc này số người đó là cố định, giá trị của \[a=4\] không thể thay đổi trừ khi thực hiện một phép toán nào với nó. Lúc này, \[a\] không phải là biến ngẫu nhiên.
Ví dụ khác: biến \[x\] đại diện cho giá trị xúc xắc mà bạn đổ được. Con xúc xắc có 6 giá trị \[{1, 2, 3, 4, 5, 6}\], vì thế biến \[x\] có thể nhận vào 1 trong 6 giá trị kia tuỳ vào bạn đổ ra mặt nào. Lúc này \[x\] là biến ngẫu nhiên.
Nói cách khác, xác suất \[a = 4\] trong ví dụ 1 là 100%. Nhưng xác suất của \[x = 1\] hay \[x = 2\] trong sự kiện tung xúc xắc không thể là 100%, vì dĩ nhiên bạn đâu thể chắc chắn rằng mình sẽ đổ ra mặt nào. Thay vào đó, xác suất này sẽ nhỏ hơn 1, cụ thể là rơi đâu đó vào tầm \[\frac{1}{6}\].
Nghĩa là, với một biến ngẫu nhiên, xác suất nhận vào một giá trị của biến đó sẽ luôn nhỏ hơn 1.
Biến ngẫu nhiên có thể mang các giá trị rời rạc hoặc liên tục. Như trường hợp đổ xúc xắc là giá trị rời rạc, còn liên tục có thể kể đến các số thực.
Phân phối xác suất, hàm khối xác suất và hàm mật độ xác suất
Một biến ngẫu nhiên thường sẽ tuân theo một phân phối xác suất [probability distribution] nào đó.
Hàm phân phối xác suất dùng để mô tả khoảng giá trị mà một biến ngẫu nhiên hoặc một tập các biến ngẫu nhiên có thể nhận, và khả năng nhận từng giá trị trong khoảng đó của mỗi biến.
Tuỳ vào kiểu giá trị của biến ngẫu nhiên là rời rạc hay liên tục mà ta sẽ có các cách mô tả hàm phân phối xác suất của chúng. Nếu là biến ngẫu nhiên rời rạc, hàm phân phối xác suất được mô tả thông qua hàm khối xác suất [probability mass function - PMF]. Ngược lại, hàm phân phối xác suất được mô tả thông qua hàm mật độ xác suất [probability density function - PDF].
Biễn ngẫu nhiên rời rạc và hàm khối xác suất
Hàm khối xác suất của một biến ngẫu nhiên được ký hiệu bằng chữ \[P\].
Hàm khối xác suất ánh xạ một giá trị mà biến ngẫu nhiên \[x\] có thể nhận với xác suất mà biến \[x\] nhận giá trị đó. Tức là, \[P[X]\] biểu diễn xác suất của \[x = X\]. Nếu xác suất này là 1, hiển nhiên \[x = X\] luôn xảy ra. Ngược lại khi xác suất là 0, \[x = X\] không thể xảy ra. Đôi khi để tránh nhầm lẫn, chúng ta có thể ghi hẳn tên của biến ngẫu nhiên \[P[x=X]\].
Đôi khi các bạn sẽ thấy sách hay mình viết theo kiểu \[x \sim P[X]\], là viết biến ngẫu nhiên trước và dùng dấu \[\sim\] trước phân phối theo sau đó.
PMF còn có thể dùng đồng thời trên nhiều biến ngẫu nhiên [xác suất đồng thời]. \[P[x=X, y=Y]\] nghĩa là xác suất đồng thời xảy ra \[x = X\] và \[y = Y\]. Có thể viết một cách ngắn gọn lại thành \[P[X, Y]\].
Nếu hàm \[P\] là một PMF của biến ngẫu nhiên \[x\], thì \[P\] phải thoả mãn các tính chất sau:
- Miền giá trị của \[P\] phải bao gồm tất cả các giá trị mà \[x\] có thể nhận vào
- \[\forall x \in X, 0 \leq P[x] \leq 1\]
- \[\sum_{x∈X} P[x]=1\]
Tính chất 2 có là bởi \[x\] là một biến ngẫu nhiên, xác suất nhận vào bất kỳ một giá trị nào của nó phải nhỏ hơn 1, vì nếu là 1 thì nó không còn là biến ngẫu nhiên nữa.
Biễn ngẫu nhiên liên tục và hàm mật độ xác suất
Khác với PMF, PDF được ký hiệu bằng \[p\].
Một hàm \[p\] của một biến ngẫu nhiên \[x\] phải có các tính chất sau:
- Miền giá trị của $p$ phải bao gồm tất cả các giá trị mà \[x\] có thể nhận vào
- \[\forall x \in X, p[x] \ge 0\] [ở đây ta không cần ràng buộc \[p[x] \leq 1\]]
- \[\int p[x]dx = 1\]
Hàm PDF của \[x p[x]\] không thể cho ta biết xác suất nhận vào một giá trị cụ thể của \[x\]. Thay vào đó, PDF cho ta xác suất mà \[x\] nhận vào giá trị trong một vùng nhỏ.
Nghĩa là ta không bao giờ tìm được xác suất để \[x\] nhận vào một giá trị cụ thể bằng PDF. Ta chỉ có thể tìm được xác suất \[x\] rơi vào khoảng \[[a, b]\] bằng cách lấy tích phân của hàm \[p[x]\] theo khoảng tích phân của \[x\] \[\int_a^b p[x]dx\]. Nếu lấn nhẹ sang giải tích, ta thấy \[\int_a^b p[x]dx\] chính là diện tích phần dưới của đồ thị \[p[x]\] với \[x\] chạy từ \[a\] đến \[b\].
Một vài phân phối thường gặp
Phân phối Bernoulli
Phân phối Bernoulli còn được gọi là phân phối nhị phân [binary distribution], đơn giản vì phân phối này biểu diễn xác suất của các sự kiện có 2 kết quả đầu ra. Ví dụ: khi tung đồng xu, ta chỉ có 2 kết quả là mặt sấp hoặc ngửa. Hoặc khi rút một lá bài bất kỳ từ bộ bài 52 lá, sự kiện “bốc trúng lá Át cơ” có 2 kết quả là bốc trúng hoặc không trúng. Những sự kiện trên đều có thể được biểu diễn bằng phân phối Bernoulli. Vì lẽ đó, phân phối Bernoulli chỉ dùng trong các trường hợp mà các sự kiện là các biến rời rạc.
Một cách tổng quát, hàm xác suất của phân phối Bernoulli được viết như sau:
\[\begin{align*} f[x] = \begin{cases} \phi^x[1-\phi]^{1-x} &\text{if x = 0,1}\\ 0 \ &\text{otherwise} \end{cases} \end{align*}\]Vì sao hàm này lại đúng? Ta hãy giả sử \[x = 1\] là trường hợp sự việc đó sẽ xảy ra, còn \[x = 0\] ứng với khi sự kiện đó không xảy ra. Vậy thì, xác suất để \[x = 1\] và \[x = 0\] lần lượt tương ứng là:
\[\begin{align*} f[x=1] &= \phi \\ f[x=0] &= 1-\phi \\ \end{align*}\]Hợp lý right? Vì bạn chỉ có 2 khả năng xảy ra thôi, nên nếu không phải cái này thì sẽ là cái kia, nên ta thấy xác suất của khả năng này bằng 1 trừ đi xác suất xảy ra của khả năng còn lại.
Một phân phối thì không thể thiếu kỳ vọng [expectation] và phương sai [variance]. Nhắc lại kỳ vọng và phương sai của một biến rời rạc được tính bằng công thức:
\[\begin{align*} E[x] &= \sum_x x * f[x]\\ Var[x] &= E[x] - E^2[x] \end{align*}\]Nên ta dễ dàng tìm được kỳ vọng và phương sai của một biến tuân theo phân phối Bernoulli:
\[\begin{align*} \begin{cases} E[x] &= \sum_{x=0}^1 x * \phi^x[1-\phi]^{1-x}\\ Var[x] &= E[x] - E^2[x]\\ \end{cases}\\ \\ \Leftrightarrow \begin{cases} E[x] &= \phi\\ Var[x] &= \phi - \phi^2 = \phi{[1-\phi]} \end{cases}\\ \end{align*}\]Phân phối Gaussian
Phân phối Gaussian hay còn được gọi là phân phối chuẩn [normal distribution], là một phân phối có lẽ là được sử dụng nhiều nhất.
\[N[x;\mu,\sigma^2] = \sqrt{\frac{1}{2\pi\sigma^2}}exp\left [ -\frac{1}{2\sigma^2}[x -\mu]^2 \right ]\]Hàm xác suất của phân phối chuẩn như trên có 2 biến là \[\mu\] và \[\sigma^2\]. Đây là 2 biến kiểm soát toàn bộ phân phối chuẩn, với các ràng buộc là \[\mu \in \mathbf{R}\] và \[\sigma \in [0, \infty]\].
Với một biến \[x\] tuân theo phân phối chuẩn, ta có \[E[x] = \mu\] và \[Var[x] = \sigma^2\].
Fig. 1. Phân phối Gaussian
Trong phân phối chuẩn, ta thấy tại toạ độ \[\mu\] [trục Ox] thì luôn cho likelihood [khả năng xảy ra] cao nhất, tương ứng với hàm mật độ xác suất tại đó lớn nhất [trục Oy]. Phần bề ngang được quy định bởi tham số \[\sigma\].
Phân phối mũ
Trong các lĩnh vực như học sâu [deep learning], phân phối mũ được dùng để thể hiện phân phối có xác suất cao nhất tại thời điểm \[x=0\].
Công thức biểu diễn của phân phối mũ như sau:
\[p[x;\lambda]=\lambda1_{x\geq 0}exp[-\lambda{x}]\]với \[\lambda\] là tham số của phân phối, được gọi là tỉ lệ [rate].
Phần \[1_{x\geq 0}\] dùng để gán xác suất 0 cho tất cả \[x\] âm.
Fig. 2. Phân phối mũ
Để rõ ràng hơn, hãy xem hàm PDF của phân phối mũ. Vì phân phối này là phân phối liên tục nên ta dùng PDF.
\[\begin{aligned} f[x; \lambda] \begin{cases} \lambda \exp[-\lambda{x}] &\text{if } x \geq 0\\ 0 &\text{if } x < 0 \end{cases} \end{aligned}\]Như Fig. 2, ta có thể thấy giá trị của hàm mật độ xác suất của phân phối mũ luôn lớn nhất tại thời điểm \[x=0\]. Trong cuộc sống, có rất nhiều sự kiện tuân theo phân phối mũ. Giả sử có thể kể đến chất lượng của một chiếc máy tính. Khi mới mua về [tức \[x=0\]], chất lượng của chúng luôn rất tốt. Nhưng theo thời gian [\[x\] tăng] thì chất lượng của máy dần càng giảm sút.
Mean và Variance của phân phối mũ lần lượt là:
\[\begin{aligned} E[X] = \frac{1}{\lambda}\\ Var[X] = \frac{1}{\lambda^2} \end{aligned}\]Suy ra độ lệch chuẩn [standard deviation] của phân phối mũ chính bằng Mean của nó.
Phân phối Laplace
Phân phối Laplace có mối liên quan rất gần với phân phối mũ.
Phân phối này cho phép ta đặt giá trị xác suất lớn nhất tại bất cứ thời điểm \[\mu\] nào theo trục \[Ox\].
\[Laplace[x;\mu;\gamma]=\frac{1}{2\gamma}exp\left[-\frac{|x-\mu|}{\gamma}\right]\]trong đó \[\mu\] chính là điểm ta muốn có xác suất cao nhất.
Fig. 3. Phân phối Laplace
Mean và variance của phân phối Laplace là:
\[\begin{aligned} E[X] = \mu \\ Var[X] = 2\mu^2 \end{aligned}\]Phân phối Uniform
Phân phối Uniform là phân phối trong đó các sự kiện có xác suất xảy ra như nhau.
Quay lại ví dụ đổ xúc xắc ban đầu, bạn có 6 mặt xúc xắc và xác xuất đổ ra mặt nào cũng như nhau. Đây chính là một ví dụ của phân phối Uniform.
Phân phối Uniform có 2 dạng là phân phối rời rạc và phân phối liên tục. Ví dụ về đổ xúc xắc thuộc về phân phối Uniform rời rạc:
\[U\{x;a, b\}=\frac{1}{b-a+1}\]Vì ta đang xét phân phối rời rạc, hãy xem qua PMF của nó:
\[\begin{align*} f[x; a, b] = \begin{cases} \frac{1}{b-a+1} &\text{if } a \leq x \leq b\\ 0 &\text{otherwise } \end{cases} \end{align*}\]Mean và variance của phân phối Uniform rời rạc như sau:
\[\begin{aligned} E[X] = \frac{a+b}{2}\\ Var[X] = 2\mu^2 \end{aligned}\]Phân phối Uniform liên tục có dạng như sau:
\[U[x;a, b]=\frac{1}{b-a}\]Các bạn hãy chú ý chỗ ký hiệu. Đối với xác suất liên tục thì thường sẽ dùng cặp dấu ngoặc \[[]\], còn với xác suất rời rạc thì sẽ dùng cặp \[\{\}\].
Hàm PDF của phân phối Uniform liên tục có dạng:
\[\begin{align*} f[x; a, b] = \begin{cases} \frac{1}{b-a+1} &\text{if } a \leq x \leq b\\ 0 &\text{otherwise } \end{cases} \end{align*}\]Fig. 4. Phân phối Uniform liên tục
Mean và variance của phân phối Uniform liên tục như sau:
\[\begin{aligned} E[X] = \frac{a+b}{2}\\ Var[X] = \frac{[b-a]^2}{12} \end{aligned}\]