GMM in python and EM
第一部分1234%matplotlib inlineimport matplotlib.pyplot as pltimport seaborn as sns; sns.set()import numpy as np
12345678910from sklearn.datasets.samples_g
...
基于ubuntu dialogue corpus构建大型非结构化、多轮对话系统语料
论文：The Ubuntu Dialogue Corpus: A Large Dataset for Research in Unstructured Multi-Turn Dialogue Systems
本论文基于ubuntu 对话语料库，该语料库包含大约100万条多轮对话。在该论文中，会构建一
...
The-Annotated-Transformer-Harvard
1234567891011import numpy as npimport torchimport torch.nn as nnimport torch.nn.functional as Fimport math, copy, timefrom torch.autograd import Varia
...
MLE和MAP的关系之L1与L2正则化项
L1和L2可以从两个角度进行推导：
带约束条件的优化分解(拉格朗日乘子法)
贝叶斯学派：最大后验概率
基于约束条件的最优化令目标函数为：
\min_w \mathcal{J}(w;X,y)\tag{1-1}为了降低模型的复杂度，即减少模型的参数个数，我们可以通过为目标函数增加约束条件，得：
...
Airbnb实时搜索排序中的Embedding技巧
论文：Real-time Personalization using Embeddings for Search Ranking at Airbnb。
在这篇论文中提出了如何对listing(短租房源)和User(用户)的信息进行embedding的技术。该embedding模型可以捕获用户的短期和
...
潜在狄利克雷分布LDA
潜在狄利克雷分布(latent Dirichlet allocation,LDA)，作为基于贝叶斯学习的话题模型，是潜在语义分析、概率潜在语义分析的扩展。
LDA模型是文本集合的生成概率模型。假设每个文本由话题的一个多项分布表示，每个话题由单词的一个多项分布表示，特别假设文本的话题分布的先验分布是狄
...
马尔可夫链蒙特卡罗法
蒙特卡罗法(Monte Carlo method)，也称为统计模拟方法，是通过从概率模型的随机抽样进行近似数值计算的方法。
马尔可夫链蒙特卡罗法(MCMC)，则是以马尔可夫链为概率模型的蒙特卡罗法。
马尔可夫链蒙特卡罗法构建一个马尔可夫链，首先基于该马尔可夫链进行随机游走，产生样本的序列，然后使用该
...