Discuz! Board

 找回密碼
 立即註冊
搜索
熱搜: 活動 交友 discuz
查看: 77|回復: 0

从底层算力上看,

[複製鏈接]

1

主題

1

帖子

5

積分

新手上路

Rank: 1

積分
5
發表於 2023-3-14 15:21:35 | 顯示全部樓層 |閱讀模式
其实没有发生太大的变化。但成本降低、反应速度提高,这只能说明一件事,就是GPT-3.5 Turbo模型实际使用的参数相比ChatGPT下降了。”刘天杰说道。 他随即向《每日经济新闻》记者解释,“比如说,你有1750亿个参数,但是你喂给它的训练集很小,也训练不出效果,会导致大量的问题,我们称其为过拟合。所以,参数大意味着训练集要足够大。但是,参数越大并不意味着模型的表现越好,越能理解人的语义。恰恰相反的是,现在大家都想用更少的参数训练出一个更好的大模型。” 为什么GPT-3.5 Turbo能在更小的参数上实现更好的效果呢?“实际上,ChatGPT已经积累了大量用户使用的实际对话集,这些对话集相比OpenAI使用无监督训练的语义集,要更准确、更高质量。

”刘天杰说道,“因为,用户实际使用的 厄瓜多尔电话号码列表 对话中有上下文、有反馈,收集这些数据后再去训练模型,新的模型就会比之前更精确,就达到了用更小的参数量实现更准确的效果。 在刘天杰看来,GPT-3.5 Turbo成本的下降,核心的一点就是实际计算的成本确实比之前要低,因为它的模型更准了。 “当然,一方面也因为OpenAI本身不是一个盈利机构,并且它也需要更多的用户参与进来,去形成这种实际的对话集,再输入模型中做进一步的训练,而低价也会导致用户量进一步的增长。”他说道。 刘天杰表示,这就是所谓的“AI飞轮”。“用户提高了,数据变多了,模型更准了,用户自然更多了。飞轮一旦跑起来,OpenAI就能甩掉其他对手,这也是它低价策略的一个原因。” 生态重构 三类创业机会涌现 随着ChatGPTAPI的开放,调用这个接口来实现AI赋能成为许多创业公司的追求,这种热潮不免让人想起元宇宙、Web3等新概念引领的风潮。



许多人会问,看看两年前扎克伯格看好的元宇宙如今在哪儿,未来ChatGPT又会在哪儿?不过,在刘天杰看来,这一波兴起的AI浪潮与前一段时间的元宇宙、Web3有本质上的区别。 “元宇宙、Web3是一个分布式的东西。在这里,大家希望互联网信息或者经济系统,都用一个分布式、加密式的方式去重构。”他向《每日经济新闻》记者说道,“但当前这一波AI浪潮恰恰相反,它会变成一个非常集中的东西,未来AI的底层能力将由有基础预训练大模型能力的几个大厂提供,其他人就在这些底层大模型上去开发应用。” “所以说,整个互联网的生态我认为是重构了。这有点类似于当年的云服务,由几个大厂来做云服务厂商,在云之上,你们去开发各种各样的应用。”刘天杰进一步说道。 在ChatGPT引领的这一波AI浪潮中,刘天杰看到了三大层次的创业机会。

回復

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 立即註冊

本版積分規則

Archiver|手機版|小黑屋|DiscuzX

GMT+8, 2024-11-16 18:30 , Processed in 0.027904 second(s), 18 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回復 返回頂部 返回列表