语言模型 编辑
统计式的语言模型是一个几率分布，给定一个长度为



m


{\displaystyle m}

的字词所组成的字串




w

1


,

w

2


,
.
.
.
,

w

m




{\displaystyle w_{1},w_{2},...,w_{m}}

，派几率给字串：



P



{\displaystyle P}

。
4
图片 0 图片
评论 0 评论
匿名用户 · [[ show_time(comment.timestamp) ]]
[[ nltobr(comment.content) ]]
相关
词嵌入是自然语言处理中语言模型与表征学习技术的统称。概念上而言，它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组被映射为实数数域上的向量。
n元语法指文本中连续出现的n个语词。n元语法模型是基于阶马尔可夫链的一种概率语言模型，通过n个语词出现的概率来推断语句的结构。这一模型被广泛应用于概率论、通信理论、计算语言学、计算生物学、数据压缩等领域。
对话程式语言模型是Google所开发的一系列对话神经语言模型。
生成型已训练变换模型 3 是一个自回归语言模型，目的是为了使用深度学习分类或产生人类可以理解的自然语言。GPT-3是由在旧金山的人工智能公司OpenAI训练与开发，模型设计基于谷歌开发的变换语言模型。GPT-3的神经网络包含1750亿个神经，为全世界参数最多的神经网络模型。OpenAI于2020年5月发表GPT-3的论文，在次月为少量公司与开发人团释出应用程序界面的测试版。微软在2020年9月22日宣布取得了GPT-3的独家授权。