()
作为机器学习的实践者,你需要了解与概率分布相关的知识。这里有一个最常见的基本概率分布教程,大部分都与使用python库进行深度学习有关。
概率分布概述
共轭意味着它具有共轭分布的关系。
在贝叶斯概率论中,如果后验概率分布p(x)和先验概率分布p()在同一个概率分布族中,那么先验和后验称为共轭分布,先验称为似然函数的共轭先验。共轭维基百科在这里。
多分类意味着随机方差大于2。
第n次意味着我们还要考虑先验概率p(x)。
要了解更多关于概率的知识,我建议阅读[模式识别和机器学习,Bishop 2006]。
分布概率和特征
1.均匀分布(连续)
代码:https://github.com/gray kode/distribution-is-all-your-need/blob/master/uniform . py
[a,b]上的均匀分布具有相同的概率值,这是一个简单的概率分布。
2.伯努利分布(离散)
代码:https://github.com/gray kode/distribution-is-all-your-demand/blob/master/Bernoulli . py。
先验概率p(x)不考虑伯努利分布。因此,如果我们优化最大似然,那么我们很容易被过度拟合。
二元交叉熵用于二项式分类。其形式与伯努利分布的负对数相同。
3.二项式分布(离散)
代码:https://github.com/gray kode/distribution-is-all-your-need/blob/master/binary . py。
参数为n和p的二项分布是一系列n个独立实验中成功次数的离散概率分布。
二项式分布是指通过预先指定要挑选的数量来考虑先验概率的分布。
4.drdxlb分布,分类分布(离散)
代码:https://github.com/gray kode/distribution-is-all-you-need/blob/master/classic . py。
Drdxlb被称为分类分布。
交叉熵和负对数的drdxlb分布具有相同的形式。
5.多项式分布(离散)
代码:https://github.com/gray kode/distribution-is-all-your-need/blob/master/multiconal . py。
多项式分布与分类分布的关系与犹豫眼分布与二项式分布的关系相同。
6.分布(连续)
代码:https://github.com/gray kode/distribution-is-all-you-need/blob/master/beta . py。
分布与二项式分布和伯努利分布共轭。
通过使用共轭,可以通过使用已知的先验分布更容易地获得后验分布。
当分布满足特殊条件(=1,=1)时,均匀分布是一样的。
7.狄利克雷分布(连续)
代码:https://github.com/gray kode/distribution-is-all-your-need/blob/master/Dirichlet . py
狄利克雷分布和多项式分布是共轭的。
如果k=2,则为分布。
8.伽马分布(连续)
代码:https://github.com/gray kode/distribution-is-all-your-need/blob/master/gamma . py。
如果(a,1)/(a,1)(b,1)与(a,b)相同,那么分布就是分布。
指数分布和卡方分布是伽玛分布的特例。
9.指数分布(连续)
代码:https://github.com/gray kode/distribution-is-all-your-need/blob/master/export . py。
当为1时,指数分布是分布的特例。
10.高斯分布(连续)
代码:https://github.com/gray kode/distribution-is-all-your-need/blob/master/Gaussian . py。
高斯分布是一种非常常见的连续概率分布。
1.正态分布(连续)
代码:https://github.com/gray kode/distribution-is-all-your-need/blob/master/normal . py
正态分布是标准高斯分布,平均值为0,标准差为1。
12.卡方分布(连续)
代码:https://github.com/gray kode/distribution-is-all-your-need/blob/master/chi-squared . py
K个自由度的卡方分布是K个独立标准正态随机变量平方和的分布。
卡方分布是分布的特例。
13.t分布(连续)
代码:https://github.com/gray kode/distribution-is-all-your-need/blob/master/student-t . py
t分布是对称的钟形分布,类似正态分布,但尾部较重,意味着更容易产生远低于平均值的值。
途经:https://github.com/graykode/distribution-is-all-you-need
雷锋网雷锋网雷锋网