• 简体版 | 繁體版
  • 联系我们
  • 加入我们
  • 关于我们
  •  
  • 首页
  • 快讯
  • 价值号
  • 视频
  • 专题
  • 深度
  • 入驻价值号
  • 碳链APP
    微信公众号

    扫码下载App

  • 登录
  • 微信公众号

    微信公众号

导航
  • 首页
  • 快讯
  • 区块链+
  • 价值号
  • 视频
  • 专题
  • DeFi优选
碳链价值APP
专注服务于金融科技和区块链
立即打开

国内大模型迎来中场战事

全天候科技全天候科技  •  2023-05-26
如果说通用大模型是大模型发展的初期阶段,那么垂直场景应用则可以视作其“中场战事”。

作者:于惠如,编辑:罗丽娟

由互联网和科技界掀起的大模型浪潮,迎来了新战事。

自今年3月以来,国内已有超过20家企业入局大模型赛道。从百度“文心一言”、阿里“通义千问”的发布,到360“红孩儿”、商汤“日日新”、网易“玉言”、科大讯飞“星火”、昆仑万维“天工”等的推出,再到腾讯“混元”、京东“ChatJ”、华为“盘古”等的预告。互联网巨头、科技公司纷纷秀出“肌肉”,谁也不想在这场大模型混战中掉队。

而在这场狂奔中,大模型的发展阶段已经从“通用”迈入“垂类”。

算力、大规模数据、高成本人才成为大部分企业入局通用大模型的拦路虎。但深度定制、广阔的场景应用等诉求,催生了国内垂直领域大模型的开发。

近两个月来,不少医疗、金融、教育、绘画等行业内拥有用户数据积累的中小型企业,已开始基于国内外大模型“底座”,训练适配自身的垂类模型。同时,已发布通用大模型的公司,也推出了针对特有行业的模型。

如果说通用大模型是大模型发展的初期阶段,那么垂直场景应用则可以视作其“中场战事”,在该阶段,应用与场景先行,倒逼垂直领域的大模型飞跃发展,并率先在不同产业中实现了落地价值。

01 路线分化

短短两个月,分化已经出现。

在5月23日举办的文心大模型技术交流会上,百度智能云AI与大数据平台总经理忻舟介绍:“文心千帆大模型平台,是百度提供给客户的企业级大模型生产平台,不但提供包括文心一言在内的大模型服务及第三方大模型服务,还提供大模型开发和应用的整套工具链。”

即文心千帆可以文心一言为核心,提供大模型服务,帮助客户改造产品和生产流程;企业也可以在文心千帆上基于任何开源或闭源的大模型,开发自己的专属大模型。

多位与全天候科技接触的业内人士认为,当前国内大模型赛道主要包括三类:一类对标GPT的通用大模型,聚焦基础层的公司;一类是在开源大模型基础之上训练垂类大模型,聚焦垂直行业的企业;另一类则是专注具体应用的纯应用公司。

“刚开始大家是一窝蜂扎进通用大模型,现在分化已经出现,不管是分化到具体行业的,还是不做研发直接调用接口做产品运营的,这个趋势是越来越清晰了。”前金山软件副总裁兼人工智能事业部负责人、现AI领域创业者李长亮告诉全天候科技。

通用大模型面临算力需求大、训练和推理成本高、数据质量不佳等挑战。一个成功的且可对外商业化输出的通用大模型大模型,要求厂商拥有全栈大模型训练与研发能力、业务场景落地经验、AI安全治理举措、以及生态开放性等核心优势。

在百度智能云副总裁朱勇看来,基础模型(通用大模型)的公司可能“只有那么几家”,但是上面会长出很多专业领域的大模型。

“训练一个基础模型,成本是非常高的,做一个千亿级的大模型,需要单机群万卡以上的算力。”朱勇说,从国内外来看,真正做通用模型的公司并没有那么多。相反,训练领域(垂类)模型所需要的代价和资源远远小于从零开始做通用模型。

因而,从商业逻辑的角度来看,大部分公司不具备做通用大模型的能力,巨头更适合做通用大模型,拥有丰富场景数据积累的公司更适合做垂域模型。

垂类大模型以深度解决行业需求为主,即企业在自己擅长的领域训练适合自己的“产业版GPT”。这类大模型生成的内容更符合特定垂类场景的需求,质量更高。

当前,已经可以看到不少垂类模型应用在金融、医疗、交易等场景中。比如,彭博社根据自身丰富的金融数据资源,基于GPT-3框架再训练,开发出了金融专属大模型BloombergGPT。

除了上述两种常见的模式,目前国内大模型创业赛道上还有一种专做应用的公司,它们没有研发团队,从现有大模型调用接口,做产品和运营。

02 通用VS 垂域

布局通用大模型的巨头,需要的是生态。所以百度、阿里都希望成为“大模型的底座”去赋能行业与企业。但并不是所有企业都有这样的能力。

“现有大模型的算力和能耗挑战会促使很多工作向领域专用化、轻量化的大模型方向发展,特别是金融、教育、医疗、交通等领域,大量的工作在试图降低大模型的成本。”在日前举行的第六届数字中国建设峰会上,中国科学院自动化研究所副所长曾大军表示。

相比通用大模型需要高昂的开发训练成本,基于开源模型进行垂类模型开发可兼顾开发成本和数据安全。

事实上,挑战之外,实际的场景需求也加快了大模型垂类化的过程。

“中国擅长商业模式、应用上的创新。”一位AI领域创业者说,与此同时,国内不乏AI模型的落地场景、丰富的数据,以及追风口的热情。因而,短短两个月时间,大模型领域化的发展飞速。

以百度文心千帆这个“AI大模型底座”为例,当前正在共同测试研发的企业通常来自信息化和技术普及率较高的行业,如金融行业、能源行业、泛互联网行业等。

“垂类模型是在通用大模型基础上训练的,撇开通用大模型的话,是不存在垂类模型的。”忻舟说,垂类模型强调领域的know-how,对于特定领域来说,需要针对该领域的任务做指令学习。

行业不同,场景不同,指令学习的区别也极大。比如,泛互联网行业更关注营销、推荐的效果,金融更领域更关注风控、可信、以及营销的效果。

在李长亮看来,垂类大模型与通用大模型最大的区别在于:垂类大模型在资源投入、成本投入等方面的要求下降了,但额外要求是行业known-how,即对这个行业的knowledge要求提高了。

表现在数据方面,在特定的垂直领域,企业拥有私有数据,这是别的企业花钱也买不到的核心竞争力和天然优势。

表现在算力上,通过通用大模型微调实现的垂类大模型相较通用大模型是“几何级别的下降”。

根据国金证券的测算,在模型微调阶段,由于训练量级较小,仅为万级,相关的算力成本相比之下可忽略不计。

以斯坦福大学于2023年3月发布Alpaca为例,这是一个基于LLaMA-7B基座,应用5.2万指令对模型微调训练而来的对话类语言模型。该模型基于8块A100微调,微调时长3小时,算力成本不超过300元。

当然,并不是所有企业都可以在通用大模型的基础上做微调。

以百度文心千帆为例,要在该平台上通过微调做自己的大模型需具备两个条件:企业有没有高质量的数据存下来;能否将自身业务根据对生成式AI的理解变成高质量的数据,变成指定数据做指定微调。

换言之,落地在企业端,那些有海量行业数据、懂行业know-how的企业,做成垂类模型的机会更大。

“因为有专业的数据、有行业know-how,结合不同类型的领域模型,这些领域模型将来会非常繁荣,支撑上层非常繁荣的领域应用。”朱勇说。

03 “两条腿”走路

“GPT+行业专家系统”的模式产生了新的垂直领域大模型。

大模型最大的价值在于革新商业模式,改造商业组织的每一个环节,进而起到降本增效的效果。这也是企业纷纷入局大模型的原因所在。

而Meta旗下LLaMA模型等大模型的开源为垂类模型的发展装上了加速器。

公开信息显示,LLaMA基于通用领域的开源数据集进行训练,训练数据涵盖40种语言,包含约1.4万亿Tokens。LLaMA模型一经发布就对外完全开源,吸引了广大AI开发者。

作为完全开源的领先模型,LLaMA具备高度的灵活性、可配置性和泛化能力,可以作为垂类AI模型的通用基座。

尽管LLaMA模型参数量较小,但性能丝毫不逊色于PaLM、GPT-3等大语言模型。并且较小的参数规模显著降低了LLaMA模型的落地部署和二次开发难度。

“基于LLaMA这种开源模型,我们喂自己的数据,慢慢调试,就能调试出我想要的效果来。”一位AIGC领域的创业者告诉全天候科技。

全天候科技了解到,当下不少企业采用的是“两条腿走路”的策略,即:一边接入大模型API,一边在开源模型上炼模型,两者构成反馈链,加速各自能力的提升,打造创新闭环。

“调用API接口也是一个获取数据资源的有效手段。”李长亮说,这部分数据将来可能在企业训练模型的时候起作用。

在不少业内人士看来,对于各行各业来说,垂直大模型是一种全新的生产力,各个行业的垂直领域大模型对所在行业可能产生重大甚至是颠覆性的影响。

值得一提的是,在一级市场上,专注于垂类大模型的创业公司也是投资机构眼中的“宝藏”。

在不久前召开的2023中国投资年会上,天堂硅谷高级合伙人王伟将“垂直领域大模型,掌握行业数据、懂行业Know-how的项目”列为其重点投资布局的领域之一。

展开全文
打开碳链价值APP  查看更多精彩资讯
声明:本文内容为作者独立观点,不代表碳链价值立场,且不构成任何投资理财建议。
0 0
大模型

扫一扫,分享到微信

相关推荐

巴比特 | 元宇宙每日必读:扎克伯格称Meta将致力于创建人工智能模型,新的生成式AI程序可以帮助人们构建新的虚拟世界项目和体验 滚动

巴比特 | 元宇宙每日必读:扎克伯格称Meta将致力于创建人工智能模型,新的生成式AI程序可以帮助人们构建新的虚拟世界项目和体验

云锦 2023-06-09 滚动
AI元宇宙大模型
扎克伯格宣布Meta的AI路线图。
深度学习三巨头之一 Yann LeCun:大语言模型带不来 AGI 深度

深度学习三巨头之一 Yann LeCun:大语言模型带不来 AGI

极客公园 2023-06-09 深度
大模型
如何让 AI 能够像人类一样能真正规划?
扎克伯格称苹果MR头显“不是我想要的”,宣布Meta的AI路线图 滚动

扎克伯格称苹果MR头显“不是我想要的”,宣布Meta的AI路线图

AI之势 2023-06-09 滚动
AImeta大模型
扎克伯格表示,Meta将致力于创建人工智能模型,与竞争对手相比,这些模型可供更多人使用,并最终符合他的元宇宙计划。

碳链快讯更多 ›

2023-06-10

灰度向美 SEC 提出撤回 Filecoin 信托产品申请的请求

2023-06-10

Circle 将采取措施寻求尽快上市

2023-06-10

数据:美 SEC 执法行动已导致 40 亿美元从币安、Coinbase 和 Binance US 流出

2023-06-09

Vitalik:以太坊需要改进的不仅是协议的功能,需要对应用程序和钱包进行深度改变

2023-06-09

余伟文:推进数字人民币在港的跨境使用研究

2023-06-09

Bitrace:BKEX 热钱包与超过 5.7 亿枚风险 USDT 存在关联,风险资金主要来自网赌平台

2023-06-09

香港财政司司长陈茂波:确有经营不规范的情况,但区块链肯定会一直发展下去

2023-06-09

慢雾:Nacos 出现远程代码执行漏洞攻击案例,请相关方及时升级

2023-06-09

穆迪下调 Coinbase 前景展望至「负面」

2023-06-09

美 SEC 主席:绝大多数加密代币符合投资合同测试,大多数加密中介机构也须遵守证券法

2023-06-09

Paradigm:美 SEC 对交易所的重新定义超出 SEC 法定管辖范围,并且违反《行政程序法》

2023-06-09

SEC主席:加密平台仍冒着执法风险开展业务

2023-06-09

以太坊开发人员就「Dencun」升级的范围达成一致,将包括五个EIP提案

2023-06-08

Lens Protocol完成1500万美元融资, IDEO CoLab Ventures领投

2023-06-08

SEC将SAND归类为证券,Animoca Brands将关注美国以外的市场

2023-06-08

Web3 游戏启动平台 HyperPlay 完成 1200 万美元 A 轮融资

2023-06-08

欧洲消费者组织 BEUC 投诉 Instagram、YouTube 等社交平台的加密广告

2023-06-08

CoinShares研究主管:未来全球加密领域将出现「二分天下」的局面

2023-06-08

观点:G7和G20对待稳定币的态度不同,后者呼吁实施更严格的限制措施

2023-06-08

Galaxy Digital CEO:在美国机构对加密市场参与度已降低,Galaxy正在将更多业务转移到海外

2023-06-08

阿里巴巴全球速卖通将于 6 月 25 日发行 NFT,限量 5555 枚

2023-06-08

Coinbase 首席法务官:相信我们的业务是合法的,尚未决定下架任何资产

2023-06-08

数据:美 SEC 执法行动后,Cumberland 累计从币安和 Coinbase 提取超 3.7 万枚 ETH

2023-06-08

Coinbase CEO:Coinbase 照常运行,不存在客户挤兑风险,不会放弃质押业务

2023-06-08

美国华盛顿特区地方法院向赵长鹏发出传票

2023-06-08

美 SEC 主席:币安与 FTX 在处理客户资产方面存在「相似之处」

2023-06-07

去中心化挖矿初创公司 WOW EARN 完成 3000 万美元 A 轮融资

2023-06-07

纳斯达克CEO:纳斯达克正与FINRA和SEC合作对Coinbase提起诉讼

2023-06-07

彭博社:英国资管巨头施罗德正在寻找加密货币托管提供商

2023-06-07

外媒:美SEC冻结Binance.US相关资产申请获得法院批准

2023-06-07

Robinhood 或将下架 SOL、MATIC 等被美 SEC 命名为未注册证券的代币

2023-06-07

美SEC向币安附属公司BAM以及赵长鹏发出临时限制令

2023-06-07

美国 SEC 请求法院冻结 Binance US 资产

2023-06-07

Coinbase CEO:SEC 和 CFTC 发表了相互矛盾的声明

2023-06-06

DCG创始人:SEC的「证券」清单中没有任何PoW代币,我相信BTC

2023-06-06

美SEC起诉加密货币交易所Coinbase

2023-06-06

红杉资本将拆分为三家公司,红杉中国重新命名为「Hongshan」

2023-06-06

数据:币安过去 24 小时资金流出量达 7.19 亿美元,目前稳定币余额约 80 亿美元

2023-06-06

Arthur Hayes:当前市场处于紧张状态,下半年会因货币超发而有所好转

2023-06-06

SEC:做市商 Sigma Chain 实际控制人为赵长鹏

2023-06-06

数据:美 SEC 起诉币安后,币安已流出约 1 万枚比特币

2023-06-06

MakerDAO 已将 5 亿美元转入 Coinbase 托管服务

2023-06-06

SEC将SOL、ADA、MATIC、FIL、ATOM、SAND等列为证券

2023-06-06

美SEC:对币安赵长鹏提出 13 项指控

2023-06-05

彭博社:美国SEC起诉Binance与CZ违反美国证券规则

2023-06-05

路透社:一名币安高管曾在 2019 年到 2020 年期间控制 Binance.US 银行账户

2023-06-05

萨尔瓦多计划建设 241MW 的可再生能源发电园区进行比特币挖矿

2023-06-05

梁凤仪:香港证监会聚焦虚拟资产等范畴,Web3 和生成式 AI 等是重大机遇

2023-06-05

许正宇:香港金管局正拟订「稳定币」规管框架

2023-06-05

知情人士:若赵长鹏因监管困境离职,Richard Teng 将接任币安 CEO

推荐文章

  • AI 教父 Geoffrey Hinton:智能进化的下一个阶段

    2023-05-25

  • 香港《虚拟资产咨询总结》解读,内地散户能入场吗?

    2023-05-24

  • 白宫公布一系列AI领域新举措:调整国家人工智能研发战略

    2023-05-24

  • Vitalik 力推的 zk-SNARK 到底是什么?解决什么问题?

    2023-05-22

  • 专访 Arbitrum 创始人:3 人、9 年、20 亿市值

    2023-05-22

价值号更多 ›

深潮TechFlow
深潮TechFlow
文章: 301
  • 删除官网加密货币表述,进军 AI,Paradigm 范式转移为哪般?
  • 解读 a16z:6 亿美元游戏基金募资 Deck,为什么选择下注游戏?
  • Flashbots、MEV 和激励重构:构建去中心化金融系统的追求
区块链骑士
区块链骑士
文章: 1340
  • DCG关闭TradeBlock:一个时代的终结?
  • NIKE为进军Web3的企业带来哪些经验?
  • Coinbase向SEC提交强制执行令请愿书
TinTinLand
TinTinLand
文章: 49
  • 以太坊扩容之选, Polygon 为何获得众多开发者的青睐?
  • 生态建设范式:探究公链的原子性和差异化
  • TinTin 快讯:Web3 不止金融,在医疗、环保和民生方面均有最新突破
换一批

热门标签

新基建 比特币 以太坊 DeFi 共识对话 区块链+ 美联储 央行数字货币 加密衍生品 AI 云计算 大数据 5G 政策 交易所 稳定币 电子支付 Libra 算力产业 联盟链 公链 区块链 加密货币 Nervos Cosmos EOS BCH STO 数字货币 去中心化

邮件订阅

及时、全面、专业、准确的资讯与数据,致力于为区块链爱好者以及数字货币投资者提供最好的服务。

App内打开

邮件订阅

及时、全面、专业、准确的资讯与数据,致力于为区块链爱好者以及数字货币投资者提供最好的服务。

Moshou

碳链价值是集资讯、行情、数据于一身的区块链信息服务平台,我们追求及时、全面、专业、精确的资讯与数据,致力于为区块链创新者和数字货币投资者提供优质的服务。

关于我们 加入我们 联系我们 隐私条款
微信公众号

扫一扫关注微信公众号

Copyright © 2018-2020 碳链价值 京ICP备18046423号
下载碳链App

下载碳链App

微信公众号

微信公众号

微信公众号

微信公众号

打赏文章作者

支付宝打赏二维码 支付宝扫一扫打赏
微信打赏二维码 微信扫一扫打赏

# 热门搜索 #

CBDC 比特币 DeFi 以太坊 区块链