深耕 IC 现货市场 多年,我们是您值得信赖的伙伴。
我们提供 无最低订购量 的灵活选择,最快可实现 当天发货。欢迎联系我们获取 IC 报价!
Google推出了具有1.6万亿个参数的人工智能语言模型,打破了GPT-3记录

Google推出了具有1.6万亿个参数的人工智能语言模型,打破了GPT-3记录

古老的谚语说:“如果您读了300首唐诗,您会唱歌,如果您不知道怎么写诗。”这句话也非常适用于当前的人工智能语言模型。
以前,OpenAI研究人员开发了“ GPT-3”,它是一种由1,750亿个参数组成的AI语言模型。它可以称为有史以来最大的语言模型。
它可以执行原始类比,生成配方,甚至完成基本的代码编写。今天,这个记录已被打破。
最近,Google研究人员开发了一种新的语言模型,其中包含超过1.6万亿个参数。这是迄今为止最大的人工智能语言模型。
它比Google以前开发的语言模型T5-XXL大4。时间。
参数是机器学习算法的关键。它们是从历史训练数据中学到的模型的一部分。
一般来说,参数数量与语言领域的复杂度之间的相关性非常好。这类似于GPU中的晶体管数量。
在相同的制造过程中,晶体管越多,计算能力越强,语言模型包含的参数越多,它与人类自然语言的距离就越近。正如研究人员在论文中指出的那样,大规模训练是建立强大模型的有效方法。
在大数据集和参数计数的支持下,简单的体系结构远远超过了更复杂的算法。但是,有效的大规模培训需要大量的计算。
这就是为什么研究人员热衷于他们所谓的“开关变压器”,即“稀疏激活”。仅使用模型权重的子集或在模型中转换输入数据的参数的技术。
“开关变压器”指的是“开关变压器”。是最早在1990年代初提出的人工智能模型的一个例子。
基本上,这意味着将多个专门处理不同任务的专家或模型放置在较大的模型中,并且存在“门控制网络”。 “选择要咨询任何给定数据的专家。
在一项实验中,研究人员使用了32个TPU内核来对数个不同的“开关变压器”进行预训练。楷模。
这些TPU内核位于从Reddit,Wikipedia和其他Internet来源收集的750GB文本数据的语料库中。在其中,任务是使这些模型预测丢失的单词(其中涵盖了该段落中15%的单词)以及其他挑战,例如检索文本以回答一系列日益棘手的问题。
根据研究人员,包含1.6万亿个参数和2048名专家的Switch-C模型显示“完全没有训练不稳定性”。但是,在Sanford问答数据集的基准测试中,Switch-C的得分实际上低于Switch-XXL的得分,后者仅包含3950亿个参数和64位专家。
研究人员认为,这是因为进行了微调。由于质量,计算要求和参数数量之间的不透明关系。
在这种情况下,“开关变压器”被称为“开关变压器”。为下游任务带来了一些好处。
例如,研究人员声称,使用相同数量的计算资源,它可以将训练前的加速度提高7倍以上。他们还证明了“稀疏激活”的存在。
该技术可用于创建更小,更密集的模型,这些模型可以微调任务,质量提高了较大模型的30%。在这方面,他们说:尽管这项工作主要集中在超大型模型上,但我们还发现只有两个专家模型可以提高性能并轻松适应通用GPU或TPU的内存限制。
另外,通过将稀疏模型提取为密集模型,可以实现10到100倍的压缩率,同时可以获得专家模型大约30%的质量增益。在另一项测试中,“开关变压器”被用作开关。
该模型经过训练可以在100多种不同的语言之间进行翻译。研究人员观察到了“总体改善”。
在101种语言中,有91%的语言受益于比基准模型速度快4倍以上。将来,研究人员还计划将“开关变压器”应用于电动汽车。
到新字段,例如图像和文本。他们认为,模型稀疏性可以在各种不同的媒体和多模式模型中赋予优势。
美中不足的是研究人员。这项工作没有考虑这些语言模型在现实世界中的影响。
例如,模型通常会放大某些公共数据中的偏差。在这方面,OpenAI指出,这可能导致将“顽皮”放置在游戏中。
接近女性代词;放置“伊斯兰”接近“恐怖主义”之类的词;等等。根据Middl
NEW
  • 压敏电阻的工作原理及应用领域

    压敏电阻是一种对电压敏感的电子元件,主要作用是保护电路免受过电压的影响。当电路中的电压超过其阈值时,压敏电阻的电阻会急剧下降,从而允许...

  • 负温度系数热敏电阻工作原理及应用

    负温度系数热敏电阻(NTC)是一种电子元件,其电阻值会随着温度的升高而降低。这种特性使得NTC热敏电阻在众多领域中有着广泛的应用,如温度测量、...

  • 温度传感器工作原理及应用领域

    温度传感器是现代工业与日常生活中不可或缺的一部分,它们广泛应用于各种设备和系统中,用于测量和监控温度变化。了解温度传感器的工作原理及其...

  • 积层压敏电阻的应用与特性详解

    积层压敏电阻(Multilayer Varistor,MLV)是一种小型化、高性能的压敏电阻,广泛应用于电子设备中以保护电路免受过电压的损害。这类元件具有体积小、响...

  • 静电保护器的作用与安装方法

    静电保护器在电子设备和敏感组件的保护中扮演着重要角色,尤其是在高湿度或干燥环境中,静电可能会对电子元件造成损害。静电保护器可以有效地防...

  • 电子浆料的应用与发展趋势

    在现代科技快速发展的背景下,电子浆料作为一种关键材料,在微电子、光电子、太阳能电池等领域发挥着不可替代的作用。电子浆料是一种具有导电性...

  • JVR标准系列详解:功能、应用与优势全面解析

    在现代工业自动化领域,JVR标准系列因其卓越的功能性和广泛的适用性而备受关注。本文将从多个角度对JVR标准系列进行全面解析,帮助您更好地理解其...

  • JVR高浪涌系列的应用与优势详解

    在电力系统和电子设备中,浪涌保护器是保障设备安全运行的重要装置。JVR高浪涌系列作为一款高性能的浪涌保护器,在众多领域得到了广泛应用。它具...

  • JVR超高浪涌系列 产品特性与应用范围详解

    在现代电气系统中,浪涌保护器是确保设备安全运行的关键组件之一。JVR超高浪涌系列作为一款高性能的浪涌保护解决方案,其设计旨在为各种应用场景...

  • JVZ标准系列详解:功能、应用与优势全面解析

    在当今快速发展的工业自动化领域,JVZ标准系列因其卓越的功能和广泛的应用而备受关注。JVZ标准系列是针对特定行业需求设计的一系列设备或系统,旨...

  • JVZ高浪涌系列使用方法及优势全面解析

    在面对电力系统中的瞬时电压波动和浪涌问题时,选择合适的保护设备至关重要。JVZ高浪涌系列作为市场上的一款高性能产品,凭借其卓越的设计理念与...

  • JVZ超高浪涌系列 产品特点及应用领域

    在现代电力系统中,由于雷击、开关操作等引起的瞬态电压浪涌问题日益突出,对电力设备的安全稳定运行构成了严重威胁。JVZ超高浪涌系列作为专为解...

  • JVT标准系列详解:应用、特点及优势

    在当今的工业自动化领域,JVT标准系列因其卓越的性能和广泛的应用而备受关注。JVT标准系列涵盖了从控制系统到网络通信等多个方面,旨在为用户提供...

  • JVT高浪涌系列的应用与优势

    在现代电子设备中,电源和信号线面临着各种瞬态电压冲击的风险,这可能对设备造成严重的损害。JVT高浪涌系列作为专业的保护解决方案,在众多应用...

  • JVT超高浪涌系列详解:特点、应用与优势

    在当今电子技术快速发展的背景下,保护电子设备免受电压浪涌的影响变得尤为重要。JVT超高浪涌系列正是针对这一需求而设计的产品,旨在为各类敏感...

  • MOVS系列功能与应用详解

    在现代科技领域,MOVS系列因其卓越的功能和广泛的应用而备受关注。MOVS系列是一种高性能的系统或设备,具体应用可能涵盖工业自动化、信息技术、通...

  • JNR热敏电阻工作原理及应用领域

    热敏电阻是一种对温度变化非常敏感的电子元件,其中JNR热敏电阻(假设为特定类型或品牌)因其卓越性能在众多领域得到广泛应用。了解其工作原理和...

  • JCR03热敏电阻参数及应用详解

    JCR03热敏电阻是一种广泛应用在各种电子设备中的温度传感器,它能够根据周围环境的温度变化改变自身的电阻值。这种特性使得JCR03热敏电阻成为监测和...

  • JCR05热敏电阻参数及应用领域详解

    JCR05热敏电阻是一种广泛应用于各种电子设备中的温度传感器。它具有高灵敏度、稳定性和可靠性等优点,因此在许多领域都有着重要的应用。接下来,...

  • JSR热敏电阻的工作原理和应用领域

    JSR热敏电阻,即Junction Signal Regulation(结点信号调节)热敏电阻,但更有可能您指的是NTC热敏电阻(Negative Temperature Coefficient Thermistor,负温度系数热敏电...