• 简体版 | 繁體版
  • 联系我们
  • 加入我们
  • 关于我们
  •  
  • 首页
  • 快讯
  • 价值号
  • 视频
  • 专题
  • 滚动
  • 入驻价值号
  • 碳链APP
    微信公众号

    扫码下载App

  • 登录
  • 微信公众号

    微信公众号

导航
  • 首页
  • 快讯
  • 区块链+
  • 价值号
  • 视频
  • 专题
  • DeFi优选
碳链价值APP
专注服务于金融科技和区块链
立即打开

ChatGPT 自己会选模型了!微软亚研院+浙大爆火新论文,HuggingGPT 项目已开源

AI之势 •  2023-04-02
「贾维斯」已来!

编辑:桃子 Britta

来源:新智元

ChatGPT引爆的AI热潮也「烧到了」金融圈。

近来,彭博社的研究人员也开发了一个金融领域的GPT——Bloomberg GPT,有500亿参数。

GPT-4的横空出世,让许多人浅尝到了大型语言模型的强大能力。

然而,OpenAI不open。业界许多人纷纷开始做GPT的克隆,而且许多ChatGPT平替的模型都是基于已经开源的模型上构建,尤其是Meta开源的LLMa模型。

比如,斯坦福的草泥马(Alpaca)、斯坦福联手CMU、UC伯克利骆马(Vicuna),初创公司Databricks的Dolly等等。

针对不同任务和应用构建的各种类ChatGPT的大型语言模型,在整个领域呈现出百家争鸣之势。

那么问题来了,研究者如何选择合适的模型,甚至是多个模型,去完成一项复杂的任务呢?

近日,微软亚洲研究院联手浙江大学的研究团队,发布了一个大模型协作系统HuggingGPT。

论文地址:https://arxiv.org/pdf/2303.17580.pdf

HuggingGPT利用ChatGPT作为控制器,连接HuggingFace社区中的各种AI模型,来完成多模态复杂任务。

这意味着,你将拥有一种超魔法,通过HuggingGPT,便可拥有多模态能力,文生图、文生视频、语音全能拿捏了。

HuggingGPT搭桥

研究者指出解决大型语言模型(LLMs)当前的问题,可能是迈向AGI的第一步,也是关键的一步。

因为当前大型语言模型的技术仍然存在着一些缺陷,因此在构建 AGI 系统的道路上面临着一些紧迫的挑战。

- 受限于文本生成的输入和输出形式,当前LLMs缺乏处理复杂信息(如视觉和语音)的能力;

- 在实际应用场景中,一些复杂任务通常由多个子任务组成,因此需要多个模型的调度和协作,这也超出了语言模型的能力范围;

- 对于一些具有挑战性的任务,LLMs在零样本或少样本设置下表现出优异的结果,但它们仍然比一些专家弱(如微调模型)。

为了处理复杂的人工智能任务,LLMs应该能够与外部模型协调,以利用它们的能力。因此,关键点在于如何选择合适的中间件来桥接LLMs和AI模型。

研究者发现,每个AI模型都可以通过总结其模型功能表示为一种语言形式。

由此,便引入了一个概念,「语言是LLMs,即ChatGPT,连接人工智能模型的通用接口」。

通过将AI模型描述纳入提示中,ChatGPT可以被视为管理人工智能模型的大脑。因此,这一方法可以让ChatGPT能够调用外部模型,来解决实际任务。

简单来讲,HuggingGPT是一个协作系统,并非是大模型。

它的作用就是连接ChatGPT和HuggingFace,进而处理不同模态的输入,并解决众多复杂的人工智能任务。

所以,HuggingFace社区中的每个AI模型,在HuggingGPT库中都有相应的模型描述,并将其融合到提示中以建立与ChatGPT的连接。

随后,HuggingGPT将ChatGPT作为大脑来确定问题的答案。

到目前为止,HuggingGPT已经围绕ChatGPT在HuggingFace上集成了数百个模型,涵盖了文本分类、目标检测、语义分割、图像生成、问答、文本到语音、文本到视频等24个任务。

实验结果证明,HuggingGPT拥有处理多模态信息和复杂人工智能任务的能力。

四步工作流程

HuggingGPT整个工作流程可以分为如下四个阶段:

- 任务规划:ChatGPT解析用户请求,将其分解为多个任务,并根据其知识规划任务顺序和依赖关系

- 模型选择:LLM根据HuggingFace中的模型描述将解析后的任务分配给专家模型

- 任务执行:专家模型在推理端点上执行分配的任务,并将执行信息和推理结果记录到LLM中

- 响应生成:LLM总结执行过程日志和推理结果,并将摘要返回给用户

多模态能力,有了

实验设置

实验中,研究者采用了gpt-3.5-turbo和text-davinci-003这两种GPT模型的变体作为大型语言模型(LLMs),这些模型可以通过OpenAI API公开访问。

为了使LLM的输出更加稳定,我们将解码温度设置为0。

同时,为了调整LLM的输出以使其符合预期格式,我们在格式约束上设置了logit_bias为0.1。

研究人员在如下表格中提供了为任务规划、模型选择和反应生成阶段而设计的详细提示,其中{{variable}}表示在提示被输入LLM之前,需要用相应的文本填充域值。

研究人员在广泛的多模态任务上测试了HuggingGPT。

在ChatGP和专家模型的配合下,HuggingGPT可以解决语言、图像、音频和视频等多种模式的任务,包含了检测、生成、分类和问题回答等多种形式的任务。

虽然这些任务看起来很简单,但掌握HuggingGPT的基本能力是解决复杂任务的前提条件。

比如,视觉问答任务:

文本生成:

文生图:

HuggingGPT可以整合多个输入的内容来进行简单的推理。可以发现,即使有多个任务资源,HuggingGPT也能将主要任务分解成多个基本任务,最后整合多个模型的推理结果,得到正确答案。

此外,研究人员通过测试评估了HuggingGPT在复杂任务情况下的有效性。

就HuggingGPT处理多项复杂任务的能力进行了展示。

当处理多个请求的时候,可能包含多个隐含任务或者需要等多方面的信息,这时依靠一个专家模型来解决是不够的。

而HuggingGPT可以通过任务规划组织多个模型的协作。

一个用户请求中可能明确包含多个任务:

下图展示了HuggingGPT在多轮对话场景下应对复杂任务的能力。

用户将一个复杂的请求分成几个步骤,通过多轮请求达到最终目标。结果发现,HuggingGPT可以通过任务规划阶段的对话情境管理来跟踪用户请求的情境状态,并且可以很好地解决用户提到的请求资源以及任务规划。

「贾维斯」开源

目前,这一项目已经在GitHub上开源,但是代码并没有完全公布。

有趣的是,研究者给这个项目命名为《钢铁侠》中的贾维斯,无敌AI这就来了。

JARVIS:一个连接LLMs和ML社区的系统

顺便提一句,HuggingGPT需要有了OpenAI的API才可以使用。

网友:研究的未来

JARVIS / HuggingGPT就像此前Meta提出的Toolformer一样,都在充当着连接器的作用。

甚至,包括ChatGPT plugins也是如此。

网友称,「我强烈怀疑第一个人工通用智能(AGI)的出现将比预期更早。它将依靠「胶水」人工智能,能够智能地将一系列狭义人工智能和实用工具粘合在一起。

我获得了访问ChatGPT的Wolfram插件的权限,这使它一夜之间从数学菜鸡变成了数学天才。当然,这只是一个小步骤,但却预示着未来的发展趋势。

我预测,在接下来的一年左右,我们将看到一种人工智能助手,它与数十个大型语言模型(LLMs)及类似工具相连,而终端用户只需向其助手发出指令,让其为他们完成任务。这个科幻般的时刻即将到来。

还有网友称,这就是未来的研究方法。

GPT在一大堆工具面前,知道如何使用它们了。

参考资料:

https://twitter.com/johnjnay/status/1641609645713129473

https://news.ycombinator.com/item?id=35390153

展开全文
打开碳链价值APP  查看更多精彩资讯
声明:本文内容为作者独立观点,不代表碳链价值立场,且不构成任何投资理财建议。
0 0
AIGCChatGPTHuggingGPT

扫一扫,分享到微信

相关推荐

3000多人参赛,5000+幅作品,AIGC +文旅凭什么如此火爆?丨案例报告 滚动

3000多人参赛,5000+幅作品,AIGC +文旅凭什么如此火爆?丨案例报告

邱祥宇 2023-09-26 滚动
AIGC
AIGC 赋能文旅文创市场。
巴比特 | 元宇宙每日必读:OpenAI 放大招,发布语音和图像功能;vivo 官方短视频软件上线 AIGC 写真功能 滚动

巴比特 | 元宇宙每日必读:OpenAI 放大招,发布语音和图像功能;vivo 官方短视频软件上线 AIGC 写真功能

Kyle 2023-09-26 滚动
AIAIGC大模型
OpenAI 又放大招了。
280 亿!亚马逊投了 OpenAI 最大敌人 滚动

280 亿!亚马逊投了 OpenAI 最大敌人

AI之势 2023-09-26 滚动
AIGCAnthropic
大模型时代,亚马逊稳住云计算市场第一宝座的核心竞争力在于,AI 芯片。

碳链快讯更多 ›

2023-09-25

香港证监会将公布4份虚拟资产名单和1份专门针对可疑虚拟资产交易平台的名单

2023-09-25

香港证监会将于今日 11:00 就虚拟资产交易平台事宜会见传媒

2023-09-25

南华早报:JPEX 暴雷可能成为香港历史上最大的金融欺诈案

2023-09-24

天桥资本创始人:比特币ETF将成为华尔街标配产品

2023-09-22

比特大陆已与全球客户达成超过1GW的水冷矿场合作

2023-09-22

比特大陆发布蚂蚁矿机 S21系列 最高算力达335T

2023-09-22

比特大陆同意向Core Scientific投资5390万美元以扩大合作关系

2023-09-22

Tim Draper推出新加密风投工作室Draper Goren Blockchain

2023-09-22

彭博社:Silver Point、 Attestor Capital 等基金公司已购入价值逾 2.5 亿美元的 FTX 债务

2023-09-22

香港特首:JPEX 事件证明虚拟资产发牌制度是正确的

2023-09-22

彭博社:币安9月比特币交易量下降或与零手续费促销停止活动有关

2023-09-21

新加坡银行加强对持有「投资相关」护照的中国客户的检查

2023-09-21

Tether 购买价值 4.2 亿美元的 Nvidia 芯片并计划出租给 AI 初创公司

2023-09-21

MakerDAO 再次增加 1.91 亿美元 RWA 资产,RWA 总资产超 29 亿美元

2023-09-21

黄立成以 1100 万枚 APE 购买 Yuga 资产并发行代币 DAM提案获投票通过

2023-09-21

美国众议院金融服务委员会批准禁止发行 CBDC 的法案

2023-09-21

PayPal 旗下 Venmo 钱包将上线 PYUSD

2023-09-20

新加坡最大洗钱案涉案金额扩大至 24 亿新元,价值近 0.4 亿新元的加密货币被扣押

2023-09-20

香港证监会:JPEX从未就可能作出的牌照申请与我们接洽

2023-09-20

梁瀚璟:基于 RWA、STO 进行融资可能会是 Web3 杀手级产品

2023-09-20

香港投委会:区块链不记名交易很难追回

2023-09-20

斯坦福大学承诺退还 FTX 债务人 550 万美元捐款

2023-09-20

菲律宾 SEC 与美 SEC 合作打击加密货币欺诈

2023-09-20

香港警方披露 JPEX 运作模式和推广手法,公布五大涉嫌诈骗元素

2023-09-20

CoinEx 攻击事件已造成超 7000 万美元损失,将全额赔偿受损用户

2023-09-20

灰度向 SEC 提交新的以太坊期货 ETF

2023-09-20

a16z crypto 开放加密创业学校 2024 年春季申请,将向每家参与公司投资 50 万美元以换取 7% 的股权

2023-09-19

Chainalysis :印度在全球加密货币交易量中排名第二

2023-09-19

香港警方:考虑将涉 JPEX 案逾 6000 万港元财产充公,会在必要时刻将涉案离港艺人引渡回港

2023-09-19

上海:加快布局区块链等事关未来的关键基础设施

2023-09-19

区块链技术公司 Jiritsu 完成 1020 万美元融资,并推出资产代币化平台 Tomei RWA

2023-09-19

肯尼亚官员:美国当局阻止肯尼亚拘留 Worldcoin 的几位高管

2023-09-19

区块链医疗数据交换平台 Briya 完成 1150 万美元 A 轮融资,Team8 领投

2023-09-19

时尚领域元宇宙数据分析商 Geeiq 完成 820 万美元 A 轮融资,YFM Equity Partners 领投

2023-09-19

Circle:USDC 已上线 Polkadot 主网

2023-09-19

香港特首:JPEX事件反映出监管的重要性

2023-09-19

邱达根阐述「三箭三圆」:香港政府正考虑推动土地代币化、加快推出零售数码港元等

2023-09-18

蚂蚁集团计划退出对A&T Capital的投资

2023-09-18

香港警方拘捕 JPEX 推广网红林作,或因涉嫌 JPEX 案件

2023-09-18

美国众议院金融服务委员会将批准两项法案,干涉数字美元的发行

2023-09-15

香港金管局:虚拟资产机构使用「银行」陈述或涉嫌犯罪

2023-09-15

日本政府允许初创企业用虚拟货币筹集资金

2023-09-15

香港加密交易所Meex与ZA银行签署战略合作协议

2023-09-15

MakerDAO 再次增加1亿美元 RWA 资产,RWA 总资产达 27.13 亿美元

2023-09-15

港媒:香港警方正调查 JPEX 是否涉及刑事成分

2023-09-15

迪拜与香港将加强金融合作,涵盖金融科技和虚拟资产等领域

2023-09-15

香港议员回应Vitalik:香港政策和法律不会朝令夕改

2023-09-15

加密市场8月份资金流出达550亿美元,重大事件造成的影响正在上升

2023-09-14

Vitalik Buterin:寻求在香港发展的项目方应考虑当地的政策持续性

2023-09-14

彭博社:如果获批,美国现货比特币ETF可能发展成1000亿美元的市场

推荐文章

  • Copy to China难以复现,中国的大模型机会在何处?

    2023-03-30

  • 人类精英呼吁暂停 AI 实验 ChatGPT:合理但谨慎考虑

    2023-03-30

  • 一文解读香港虚拟资产监管政策的变迁

    2023-03-30

  • 简析Arbitrum、Optimism等L2生态用户获取和留存策略

    2023-03-30

  • 传统与数字金融行业如何共存?

    2023-03-28

价值号更多 ›

达瓴智库
达瓴智库
文章: 155
  • 如何通过MVRV判断加密牛市还是熊市?
  • ETH在上海升级期间表现如何?
  • 熊末牛初:Ordinals是福是祸?
区块链骑士
区块链骑士
文章: 1302
  • Web3时代游戏会如何演变?
  • 继美国后,澳洲也有大动作?澳洲参议员提案将优化数字资产监管
  • SEC主席正在成为数字资产“教父”?高强度监管是否矫枉过正?
TinTinLand
TinTinLand
文章: 36
  • 去中心化存储,值得关注的问题与成功用例
  • 一家银行倒闭后,加密市场发生了什么?
  • 打破科研困境的 DeSci 是什么?
换一批

热门标签

新基建 比特币 以太坊 DeFi 共识对话 区块链+ 美联储 央行数字货币 加密衍生品 AI 云计算 大数据 5G 政策 交易所 稳定币 电子支付 Libra 算力产业 联盟链 公链 区块链 加密货币 Nervos Cosmos EOS BCH STO 数字货币 去中心化

邮件订阅

及时、全面、专业、准确的资讯与数据,致力于为区块链爱好者以及数字货币投资者提供最好的服务。

App内打开

邮件订阅

及时、全面、专业、准确的资讯与数据,致力于为区块链爱好者以及数字货币投资者提供最好的服务。

Moshou

碳链价值是集资讯、行情、数据于一身的区块链信息服务平台,我们追求及时、全面、专业、精确的资讯与数据,致力于为区块链创新者和数字货币投资者提供优质的服务。

关于我们 加入我们 联系我们 隐私条款
微信公众号

扫一扫关注微信公众号

Copyright © 2018-2020 碳链价值 京ICP备18046423号
下载碳链App

下载碳链App

微信公众号

微信公众号

微信公众号

微信公众号

打赏文章作者

支付宝打赏二维码 支付宝扫一扫打赏
微信打赏二维码 微信扫一扫打赏

# 热门搜索 #

CBDC 比特币 DeFi 以太坊 区块链