• 高层决策
    • 地方动态
    • 食品安全
    • 地方频道
    • 中港环保
    • 中港查询
    • 人员查询
    查询
    010-57279123
  • 网站首页
  • 精选
  • 动态
  • 市县
  • 三农
  • 人物
  • 法治
  • 文化
  • 科技
  • 头条

    精选

  • 2025-06-19 “618”扫完货然后呢?收货避坑指南必看
  • 2025-06-18 “我想做与中国合作的桥梁”
  • 2025-06-18 香港全球竞争力重返三甲
  • 2025-06-18 跟着“苏超”游江苏成毕业旅行热门主题,上周末江苏省旅游订单量全国第一
  • 2025-06-17 能不能长寿,先看心率?医生:60岁后,心率保持这个范围刚刚好

    动态

  • 救护车跨省转运收费2.8万,官方通报!
  • 百姓的论坛,交流的盛会——第十七届海峡论坛综述
  • 餐饮业创新供给添动能
  • 约1800名中外嘉宾参会,天津夏季达沃斯论坛拟聚焦五大方向
  • 就任后首次出访,李在明今将赴加拿大出席G7峰会
  • 特朗普:愿意接受普京担任伊以冲突的调解人
  • 江苏足球联赛:激情与梦想的绿茵盛宴
  • 献血传递希望!用爱点亮“生命之光”
  • 2024届本科毕业生月均收入6199元,前十大高薪专业均为工科
  • 阿森纳球星打破沉默,谈论合同谈判及西甲兴趣

    市县

  • 延续烟火气、推进数字化、转型年轻化……老菜场逛出新花样

    三农

  • 湖北随州:“绿能”涌动助力城市转型发展

  • 农田进了“托管班”、一地双收赚翻了……各地夏粮丰收有“粮”方

  • 天天跑艾西曼”的绿色守望者

  • 从田间到车间的丰收“接力”——山东夏季农业生产见闻

  • 一颗桃子的两岸融合之路

  • “小空间”培育生态富民“大产业”

    法治

  • 小学生也能被“严重警告”处分吗?
  • 对学术不端须“零容忍”
  • 党建引领聚合力 检校共建促发展
  • 韩国将对尹锡悦夫妇展开独立调查
  • “美国出了什么问题”——在洛杉矶看橡皮子弹与催泪弹齐飞
  • 追问公平:十年维权路的沉重叩问?
  • 常州一女子山姆鲜肉月饼吃出牙齿!回应来了
  • 中国足球协会战略规划部原部长戚军受贿案一审开庭
  • 北京丰台法务区成立
  • 上海警方查处网络谣言1000余起 关停违法账号3.5万余个
科技聚焦 互联网 大数据 健康中国 公益慈善

大模型一体机是在“卖盒子”吗?

发布时间: 2024-05-17   浏览量: 34259
分享到微信
二维码

如果要找一个海内外大模型商业化探索的差异点,“一体机”应该榜上有名。

微软、谷歌、OpenAI等,主要通过基于云的AI服务和API接口来实现商业化。当然也有硬件,比如英伟达推出的Jetson,就是面向边缘计算和AI应用的一款设备,可以用来在边缘场景中运行复杂的AI模型,但更多的是作为一个通用的AI计算平台,而不是集成了特定大模型的一体机。

与之相比,“大模型一体机”在中国市场的热度更高。主流AI大模型厂商、ICT服务商及ISV服务商,几乎全部下场了。

AI大模型厂商,如百度的千帆大模型一体机、科大讯飞的星火一体机、智谱AI的智谱GLM昇腾大模型一体机。ICT厂商和ISV服务商也都在积极推出各种场景化一体机,比如新华三面向政企客户的AIGC灵犀一体机,达观数据面向企业市场的“曹植”大模型一体机,商汤科技的金融大模型检索问答一体机,中软国际面向政府市场的JointPilot“四问(问数、问视、问策、问服)”系列大模型一体机等。

大模型一体机,是一个非常有意思的赛道。

有人说,大模型一体机更符合国情,类似于“卖盒子”,也就是软硬结合,将软件带硬件盒子一起卖给客户,这在ToB/ToG市场很好用,因为更符合“拍板领导”的认知范围,不认可软件的价值,只愿意为看得见摸得着的硬资产付费。

大模型一体机,通过将计算硬件和AI大模型及相关支持软件,紧耦合封装在一起,方便客户使用大模型来实现AI应用,可以看作是AI版的“卖盒子”,是一种好的商业模式吗?

一体机里,除了大模型还有什么?

首先有必要搞清楚,大模型一体机究竟在卖什么?市面上的大模型一体机,主要由几个部分构成:

  1. 硬件。大模型的训练和推理,需要大量的算力资源,涉及高性能AI硬件。大模型一体机搭载AI硬件,并针对模型进行优化调校。尤其是国产芯片,有数据显示,通过优化,可以将国产芯片性能提升20%-30%,吞吐量提升6-7倍,因此大模型一体机可以提供更高的算效。

2.大模型。满足客户使用大模型、开发AI应用的需求,大模型一体机中内置的大模型也各有特色。这里简单介绍两种,一种是单一大模型的一体机,比如软通动力联合百川智能推出的“软通-百川AI大模型一体机”,就预装了百川大模型。另一种是开源开放的大模型一体机,提供丰富的基座大模型让企业测试、调用,比如百度的千帆大模型一体机,除了内置百度自研的文心大模型,也提供Llama、Baichuan、ChatGLM等十余个主流开源大模型。

3.全栈工具。通用场景的大模型,是无法直接被特定领域、垂直场景来使用的。举个例子,很多行业还没有高质量的语料,一些知识经验还没有被文本化、数据化,导致大模型无法充分学习。所以,想要用好大模型,很多企业还需要有工程师来进行数据治理,建立高质量的行业语料和知识库,做好提示词工程,开发业务友好的插件……从零搭建起全栈AI开发能力,有着不小的工程量。而大模型一体机,针对垂直场景进行过优化微调,集成了易用的平台化工具,可以将原本几个月的开发周期缩短到几天、几小时,实现特定行业专属大模型的快速部署。

4.支持服务。不同于传统软件,大模型需要持续学习,根据人类反馈和数据集及时更新迭代,具有很强的时效性,需要服务商更快、更有针对性地响应。而作为整体解决方案出售的大模型一体机,包含了一定程度的技术支持和服务,可以解决企业长期应用大模型的问题。

不难发现,相比单纯售卖AI服务和API的商业模式,开箱即用的大模型一体机,能够缩短部署周期、深度结合场景、打消落地门槛,是更符合当下产业现状的一种选择,也可以让更多企业更快地用好大模型。

大模型一体机,不等于传统盒子

国内企业纷纷推出大模型一体机时,我所在的一个行业群,有人表示:国内就是软件不值钱,硬件值钱。

提供服务和解决方案的商业模式,优于“卖盒子”,是一个业内流传已久的观念。

尤其是在传统企业软件和云计算领域,“卖盒子”被认为是市场不够成熟的无奈之选,因为以前很多甲方的领导不了解软件技术,觉得硬件更有科技含量。而在销售方式上,卖盒子壁垒不高,拼的不是产品创新,而是客情关系和酒量。商业回报上,卖盒子涉及定制成本、人力维护成本,无法像软件那样通过规模化获得非线性增长,干的都是苦活累活。

既然大模型一体机,也是将大模型及相关软件与硬件集成,作为一个整体产品出售来“卖盒子”。这种商业模式究竟好不好呢?

这里要明确,尽管都是将软硬件集成在一起售卖,但此一时彼一时,大模型一体机并不能等同于传统的“卖盒子”模式。

从市场源头的需求驱动力来看,购买一体机的用户,并非“不懂大模型”。

认为“卖盒子”比“卖软件服务”low,往往是觉得ToB市场的很多客户不懂软件,不明白为什么一张license要卖那么贵,必须封装到盒子里才肯买单。

但今时今日,随着数字化、智能化的深入,各行各业的企业决策者,很少有人不认可大模型的价值,不认可数据工程、知识工程等“软实力”之于AI落地的意义。恰恰相反,大模型一体机的市场崛起,正是因为对应用大模型、开发专属大模型的迫切渴求。

如果说以前“卖盒子”有点买椟还珠的味道,那么现在,一体机中大模型这颗“明珠”在企业市场的认可度,是毋庸置疑的。

除了“软实力”的价值受到认可,大模型一体机的硬件,也更加多元化。

“卖盒子”的另一类诉求是,将硬件作为企业资产的一部分,更好估价,导致了硬件过度堆砌、脱离业务实际需求的情况。显然,大模型一体机市场,也并不是这样的。

我们注意到,大模型一体机的供应商,普遍会提供多种部署方案,既有低成本的轻量级一体机,也有针对大中型客户的定制化高配一体机,相当于中杯、大杯和超大杯。企业完全可以立足于业务场景的实际需求,选择最适合自己的硬件版本,无需重度投入过多的硬件资源。

“不是高配一体机买不起,而是轻量一体机更有性价比”,价值导向、实用导向驱动的大模型一体机,拼的主要是产品力,在供给和销售策略上也更合理、更市场化。

另外值得一提的是,“卖盒子”曾被认为是迎合了中国企业缺乏“安全感”的心理,进行(没有太大必要的)私有化本地部署。那么,支持本地部署、强调数据隔离与安全保障的大模型一体机,有必要吗?

相信了解大模型技术的读者,都会很快做出判断:很有必要。

大模型不同于传统的软件技术,其训练和推理都会涉及大量重要隐私数据,又存在“幻觉”问题,对数据监管和内容安全的担忧并非杞人忧天。

而大模型一体机的本地私有化部署,可以帮助企业实现数据隔离与网络隔离,减少数据传输及存储的风险,确保数据资产的安全性。不打消客观存在的安全顾虑,大模型是很难落地到“最后一公里”的。

所以,大模型一体机并不等于传统的“卖盒子”,而是从复杂产业实际出发的一种选择。

大模型一体机,到底谁在用?

当然,大模型一体机确有其用,并不意味着每一个开发者、每一家企业都适合。

相比大模型一体机少则几万、多则几十万的前期投入成本,通过API调用次数或计算资源计费,一个token只需要几分钱,初始成本更低。那么,这大模型一体机到底是谁在用啊?

有三类群体,应该将大模型一体机的集成方案,作为重点考量:

一是风险敏感型。

包括数据隐私安全风险,以及供应链断链风险。软硬件协同优化的一体机,可以让AI大模型在国产硬件上也有不错的性能表现。对于有信创需求的企事业单位,是更优解。

公开报道显示,基于昇腾AI硬件底座的软通AI训推一体化平台,就受到央国企、科技机构、教育、金融等领域客户的认可。

二是长期运营型。

一位开发者朋友,在调用了GPT4-Turbo之后表示:“太烧钱了!” 他所用的非代码调用场景,一次要花费0.5元,长期用是不可承受的,于是选择了能力更低的GPT-3.5+其他模型的组合拳。

大模型API基于token使用量的计费方式,虽然初始阶段看起来成本更低,但总体拥有成本(TCO)却未必。实践看来,企业应用AI,并不意味着所有任务都要使用云端先进大模型的完整能力。

大模型一体机提供的更丰富的模型选型、本地化部署、优化过的性能保障,可能让企业AI开发应用的全生命周期,打好“组合拳”。

三是非AI原生型。

大模型火爆之后,很多行业和企业才开始关注AI、使用AI,没有积累相关的开发能力和人才,对技术也是一知半解,这时候想要在自身的业务场景中快速上马大模型,可能要面临短期内资源紧缺的溢价情况,被迫在算力市场、人才市场进行竞价,试错成本更高。这时候,通过大模型一体机的小时级一站式交付、即插即用,可以快速试错。

比如一个普惠版的大模型一体机,不需要A100这类高端显卡,就可以帮助企业打造一个专属大模型,开发出小型的知识库应用或AIGC类应用,让业务智能化起来,让大模型不再遥远。

大模型的商业化探索还处于早期,用传统的眼光去看待新兴事物,未尝不是一种刻舟求剑。大模型不一定要捆绑硬件来凸显价值,但一定要结合硬件来充分释放价值。

从这个角度来说,大模型一体机的商业内核,与以往的“卖盒子”有本质的不同,或许能为企业市场带来一种全新的商业机遇。


上一条: 2024 款 iPad Pro 锐评,还是富人的钱好赚
下一条: 原子论与涌现:从微观到宏观的不同解释方式
精选
内容决策
市县月刊
市县宗旨
车辆信息
一带一路
动态
国际动态
地方动态
社会广角
金融财政
深度观察
市县
市县动态
魅力城市
生态环保
特色小镇
地方频道
三农
三农资讯
美丽乡村
一县一品
精准扶贫
农业政策
人物
领导风采
独家专访
人民之声
企业家
创业者
法治
法制建设
官场现形
法治能量
法眼观察
食品安全
文化
文学诗词
历史知识
艺术音乐
非遗传承
人文教育
科技
科技聚焦
互联网
大数据
健康中国
公益慈善
头条
高层决策
地方动态
食品安全
地方频道
中港环保
联系我们
24小时热线 010-57279123 商务合作 010-57279123 版权合作电话 010-57279123

领导决策网 领导决策月刊

Copy Right © 2018-2026 领导决策网版权 京ICP备2024066786号-1 京公网安备11010802044413号 网络文化经营许可证 增值电信业务经营许可证 广播电视节目制作经营许可证