你的位置:炒股配资_专业炒股配资_股票炒股配资门户 > 专业炒股配资 > 魔投网 0.35美元vs 5美元,硅谷巨头的Token价格战!不仅“卷”价格,还在拼推理速度
魔投网 0.35美元vs 5美元,硅谷巨头的Token价格战!不仅“卷”价格,还在拼推理速度
发布日期:2024-08-02 16:20 点击次数:116
每经记者 文巧 每经编辑 兰素英
图片来源:视觉中国5月以来,国内大模型打响了“价格战”。从每百万个Token只要1块钱,到只要8毛钱、5毛钱……国内大厂如字节跳动、阿里、百度、智谱AI、科大讯飞等不断接力,有厂商甚至直接打出了“免费”的口号,震惊整个科技圈子。
实际上,硅谷也在上演着类似的情形。《每日经济新闻》记者注意到,硅谷大模型的价格也出现了下降趋势。
API价格战首先在OpenAI和谷歌这对“老对手”之间展开,不过幅度相对较小。其中,OpenAI的GPT-4o调用API的价格比GPT-4-turbo降低了一半,为5美元/百万Tokens,谷歌Gemini 1.5 Flash的价格降到了0.35美元/百万Tokens。
到底是什么在左右API“价格战”?在降价之外,有媒体指出,加快模型推理速度(即每秒生成Token的数量)也是硅谷大模型市场的主要竞争点。但“卷”价格、“卷”速度真的会赢得未来吗?
硅谷在“拼”什么?
5月中旬,字节跳动豆包以0.0008元/千Tokens的价格直接将国内大模型的市场价格带入“厘时代”。随即,大模型厂商便开始了价格上的角力。百度甚至直接祭出“文心大模型两大主力模型全面免费”的大招,直接将“价格战”推向新的高度。科大讯飞、腾讯等也“坐不住”了,要么降价,要么免费。
短短数天,国内大模型企业的混战便从“低价”走向了“免费”。而在硅谷,类似的情形其实也在上演。
《每日经济新闻》记者注意到,实际上,降低API价格和推升AI推理速度也已逐渐成为硅谷各大模型提供商的竞争焦点。
API价格战首先是在OpenAI和谷歌这对“老对手”之间展开的。当地时间5月13日,OpenAI发布全新模型GPT-4o,该模型支持免费试用,据传未来将供用户免费试用。此外,调用GPT-4o API的价格比GPT-4-turbo降低了一半,为5美元/百万Tokens。
在第二天的谷歌全球开发者大会上,谷歌宣布当家王牌Gemini大模型系列之一Gemini 1.5 Flash 的API价格为0.35美元/百万Tokens,远低于GPT-4o的价格。
比GPT-4o更具性价比的还有硅谷当红AI初创公司Anthropic和Mistral AI模型的API价格。
图片来源:每经制图除了“拼”模型调用价格,有媒体指出,硅谷AI芯片公司正以加快模型推理速度——即每秒生成Token的数量——以吸引客户。例如,美国芯片厂商Groq公司专注于提高每秒生成Token的数量,以此作为其主要的市场竞争点。
据科技外媒Medium今年4月的报道,Groq最新的AI芯片在Meta的开源模型LLaMA 3上达到了惊人的每秒生成800个token,并称这“标志着AI推理效率和能力的巨大转变”。截至目前,英伟达一直主导着AI芯片市场。该报道分析认为,Groq的最新成就可能将对英伟达的统治地位构成严峻挑战。
根据Groq的数据,许多开源模型据称在Groq芯片上的运行速度都得到提升,例如,Mixtral8×7B版本每秒输出500个Token;Llama 2 70B版本每秒输出300个Token。
《每日经济新闻》记者查询数据发现,当前配备英伟达芯片处理的硅谷热门大模型推理速度远低于此。例如,GPT-4 Turbo每秒生成约48个token,GPT-4为每秒约10个token;谷歌的Gemini 1.5 Pro约为每秒54.2个token。
图片来源:每经制图API“价格战”背后:模型性能差距正在减小
硅谷为何也会面临大模型的API“价格战”问题?这主要是跟模型的性能有关。
上个月,纽约大学知名教授Gary Marcus发表了一篇名为《证据表明LLM正达到收益递减点》的文章,驳斥了宾夕法尼亚大学沃顿商学院教授Ethan Mollick的一个观点,后者声称目前对大型语言模型改进率的最佳估计显示,能力每5~14个月翻一番。
Gary Marcus认为,从某些指标来看,在2020~2023年间,大模型的能力的确遵照上述定律翻了一番,但在过去13个月里这种情况并未发生。“相反,我看到许多迹象表明我们已经进入了收益递减期。”他这样写道。
若以MMLU(一种常见的大模型基准指标)为基准,可以看到,从GPT-2到GPT3再到GPT-4呈现了飞跃式的递增,但GPT-4到今年4月发布的GPT-4 Turbo的能力改进并不明显。
图片来源:《证据表明LLM正达到收益递减点》其次,自GPT-4发布以来,硅谷各大模型的能力正在趋同。LiquidAI的机器学习科学家Maxime Labonne在X平台上表示,表现最好的闭源模型(GPT-4级别)和开源模型在性能上的差距正在越来越小。
图片来源:X平台与此同时,随着企业对定制化大模型的需求越来越高,硅谷科技公司正在推出一系列小模型,例如微软在4月推出了名为Phi-3 Mini的轻量级模型。The Information分析称,像Phi这类小型模型的激增可能会削弱OpenAI的主导地位。
据The Information,微软产品团队已经将内置的GPT-4换成开源模型,以在Bing等产品中执行更基本的任务。而最初为 OpenAI大模型支付高价的一些公司,近期开始转向包括开源模型在内的更便宜的竞争对手。
随着GPT-4之后模型能力的趋同,以及更多开源模型和小模型的出现,竞争加剧之下,高价大模型的降价似乎是一种必然。
“卷”价格、“卷”速度并非终点
然而,一味“卷”价格会有未来吗?
众所周知,算力成本是开发大模型无法绕过的难点之一。根据斯坦福大学HAI研究所今年发布的AI报告,训练巨型模型的成本呈指数级增长,谷歌Gemini Ultra的训练成本估计为1.91亿美元,GPT-4的训练成本估计为7800万美元。
据报道,Anthropic的CEO此前曾表示,目前正在训练的模型成本已接近10亿美元,到2025年和2026年,将飙升至50亿或100亿美元。
科技巨头已经在硅谷大模型领域建立牢固的立足点,前沿基础模型市场呈现出强烈的市场集中化趋势。分析认为,价格战持续下去,公司利润势必被挤压,财力雄厚的科技巨头尚有基础,但初创公司则可能面临风险。
对于大模型公司来说,提升模型性能才是赢得竞争的最终手段。正如Gary Marcus所讲,如果收益递减的趋势持续,低级错误无法修正,大模型可能永远无法到达黄金时段。
另一方面,对于芯片厂商来说,“卷”每秒生成Token的数量仍然更多只是一种噱头,缩短第一个Token生成的时间或将成为下一个新的竞争点。
尽管Medium分析认为,每秒生成Token数量的提高等同于推理能力的上升,但硅谷AI公司SambaNova在5月初发表的一篇博客文章中表示,当涉及到一些较为复杂和繁重的长文本任务时,每秒生成Token数量并非最重要的指标,也不能全面反映大模型的推理性能。而相对地,第一个Token生成的时间才更加重要。
这篇文章直白地指出,对每秒高Token数量的追求可能是一种“炒作”。尽管其确实可以实现令人印象深刻的解码速度,但存在芯片利用率低,第一个Token生成速度较慢,难以处理较长的文本输入等重大缺点。
股市回暖,抄底炒股先开户!智能定投、条件单、个股雷达……送给你>> 海量资讯、精准解读,尽在新浪财经APP责任编辑:欧阳名军 魔投网