你对他们感兴趣吗 OFFERED? 使用我们的优惠券节省 WHATSAPP o 电报!

语言人工智能如何进化以及我们如何到达 ChatGPT

情报 人造 今天它挂在每个人的嘴边。 现在我们知道如何使用它了:只需访问互联网并使用 ChatGPT、Dall-E 和 Synthesia 等平台。 在这方面,我们正在准备一篇有趣的文章,介绍 10 个使用人工智能来做截然不同的事情的网站。 不过话虽如此,我们还是以使用最广泛的 AI 为例。 它是如何诞生的? 我们如何得出今天大家都可以使用的版本 自由?

今天,我们中的许多人都在使用 ChatGPT,但并不是每个人都知道它背后的原理以及我们是如何走到这一步的。 这是从 80 年代到今天的时间表

让我们从 80 年代开始:递归神经网络

ChatGPT 是 GPT-3 的一个版本,GPT-XNUMX 是 OpenAI 开发的一种非常大的语言模型。 语言模型是一种 神经网络 谁接受过很多文本的培训。 神经网络是受人脑神经元相互交流方式启发的软件。 由于任何文本都是由不同长度的字母和单词序列组成的,因此语言模型需要一种能够理解此类数据的神经网络。 递归神经网络(递归神经网络) 发明于 80 年代,可以处理单词序列,但训练速度慢,并且会忘记序列中以前学过的单词。 LSTM 可以处理数百个单词的文本字符串,但它们的语言能力有限。 是什么? “的缩写”长短期记忆“ 要么 ”长期记忆”是应用于人工智能领域的人工神经网络 

chatgpt ai bot 人工智能

另见: 谷歌确认 Chatbot 和 AI 生成的内容的兼容性

2017年:变形金刚人工智能突破之年

当谷歌的一组研究人员发明了 变形金刚,一种神经网络,可以跟踪每个单词或短语在序列中出现的位置。 你自己就会明白,LSTM 最大的问题已经克服了。 但是他们是怎么做到的呢? 应用语言学的概念进入技术领域。 一个词的含义通常取决于它之前或之后的其他词的含义。 跟踪这些 上下文信息, Transformers 可以处理更长的文本字符串并更准确地捕捉单词的含义。 例如,“hot dog”在句子“比起热狗我更喜欢汉堡包“”热狗最好和芥末一起吃“。 从本质上讲,人类掌握而机器无法掌握的上下文信息使改变成为可能。

2018-2019:GPT发展的岁月

OpenAI 的前两个主要语言模型相隔数月问世。 该公司希望开发多用途和通用人工智能,并相信大型语言模型是实现这一目标的关键一步。 通过这种方式,该软件能够 自己发现数据中的模式,而不会被告知他们正在观看或阅读的内容。 机器学习之前的许多成功都依赖于监督学习和注释数据,但手动数据标记是一项缓慢的工作,限制了可用于训练的数据集的大小。 这是 GPT-2 创造最大的轰动. 事实上,OpenAI 表示非常担心人们可能会使用 GPT-2”产生欺骗性的、歪曲的或辱骂性的语言”,这不会发布完整的模型。 但这还不是全部。

如果 GPT-2 令人印象深刻,那么 OpenAI 的续集 GPT-3 确实带来了革命。 它的能力 生成类人文本 代表了一个巨大的飞跃。 GPT-3 可以回答问题、总结文档、生成不同风格的故事、在英语、法语、西班牙语和日语之间进行翻译等等。 但是,它仍然不能代替人,因为它缺乏人性的根本特征。 我们深入讨论过 这篇文章.

来源| 麻省理工学院简介

标签:

Gianluca Cobucci
Gianluca Cobucci

对代码、语言和语言、人机界面充满热情。 我对所有技术进化都很感兴趣。 我尝试以最清晰的方式表达我的热情,依靠可靠的来源,而不是“一开始”。

Sottoscrivi
通知
客人

0 评论
内联反馈
查看所有评论
XiaomiToday.it
商标