谷歌新模型2.5 Pro霸榜AI竞技场,开发者评价两极分化
谷歌新模型2.5 Pro霸榜AI竞技场,开发者评价两极分化
谷歌新模型2.5 Pro霸榜AI竞技场,开发者评价两极分化北京(běijīng)时间6月6日,谷歌推出升级预览版大模型Gemini 2.5 Pro(0605),并表示这会(zhèhuì)在几周后成为正式的(de)稳定版本,适用于企业级应用。
Gemini 2.5 Pro是谷歌旗舰模型系列,在前三个月公布了几个预览版,此前也一直在大模型竞技场(jìngjìchǎng)LMArena排名第一,这一次(yīcì)更新的版本各(gè)方面的分数都超过(chāoguò)了此前的版本,继续排在榜一。
不过,第一财经也询问了(le)一些开发者,他们认为,不能完全相信榜单,要看实际体验和绝大多数开发者的(de)选择,此前Gemini的模型表现各有(yǒu)优劣,开发者评价两极分化,目前刚出来大家或许要用一用才能(cáinéng)有更客观的评价。
根据谷歌官方博客,最新(zuìxīn)2.5 Pro 在多项AI性能(xìngnéng)基准测试中取得了更高的分数(fēnshù),在 LMArena上Elo分数(衡量模型相对技能水平的评分)提升了24分,目前以1470分的成绩(chéngjì)保持领先。
具体领域上,谷歌(gǔgē)称,最新模型在代码(dàimǎ)方面继续表现出色,在 Aider Polyglot 等高难度编程基准测试中保持领先。此外,它在 GPQA(研究生(yánjiūshēng)级别的问答测试)中的成绩超过(chāoguò)了OpenAI的o3、Claude 4以及DeepSeek-R1的最新版。在“人类的最后考试(HLE) ” 中成绩达到(dádào)21.6%,比(bǐ)OpenAI的o3多出 1.3个百分点。
在谷歌模型发布后,业界知名的(de)测评方大(fāngdà)模型竞技场 (lmarena.ai)发布了一份新(xīn)的榜单,显示2.5 Pro新版在总分和所有子榜单位列第一,包括文本、视觉、数学、创意等。
不过(bùguò),“高分低能”的产品此前也有过,不乏开发者对这个榜单存疑(cúnyí)。例如,从编程体验上来说,Anthropic的Claude系列模型是公认较为好用(hǎoyòng)的基座(jīzuò)模型,此次(cǐcì)在榜单的成绩并不突出。有海外网友表示,2.5 Pro新版的表现确实很好,但是不如Claude 4 Opus。
有行业人士认为,这一(zhèyī)问题或许是榜单评测(píngcè)问题,只是让(ràng)AI完成基础的任务,但对Agent的能力评测有限,但从实际应用过程中,Claude模型在Agent方面做了专门优化,可以在大规模、系统化、长时间的编程任务中表现出色,和行业拉开距离(lākāijùlí)。而谷歌在Agent方向(fāngxiàng)还没怎么发力。
一位开发者用C++编程语言较多,他对(duì)记者表示,Claude比Gemini强太多,“任何Claude和o3无法(wúfǎ)解决的(de)问题,Gemini从(cóng)没有一个能解决;但反之,Gemini 写不对的,往往Claude能写对。”
上述开发者认为,Gemini擅长的是长上下文和多模态,而Claude前端更优(gèngyōu),目前看(kàn)可能还是这一格局。
不过,另一位用Python和typescript编程语言(biānchéngyǔyán)的(de)开发者体验(tǐyàn)并不相同,最近一个月,他无论在工作场景还是Cursor场景都全面(quánmiàn)转为了Gemini 2.5 pro,发现代码写得比Claude 3.7好,生成的网页更漂亮,写出来的文案也更好(gènghǎo)。
目前(mùqián)看起来,在不同的生产场景和个性化工作中(zhōng),各个模型的体验和口碑并不相同。
大模型竞争进入下半场,模型基础(jīchǔ)能力差距逐渐缩小,模型之间的较量正在(zài)从单纯的跑分转向(zhuǎnxiàng)更复杂的维度,模型的真正价值,越来越取决于在特定场景下的表现能否赢得开发者的投票。
不过,除开能力,使用(shǐyòng)成本也是开发者(kāifāzhě)较为看重的(de)一个因素,目前来看,Gemini比OpenAI的 o3、Claude 4 Opus和Grok 3都要更有性价比,但仍然是国内(guónèi)DeepSeek的R1最便宜。
Gemini 2.5 pro的输入价格1.25美元,输出为10 美元/百万Tokens。而o3在输入和输出价格方面则高至(gāozhì)10美元和40美元每百万Tokens ,Claude 4 Opus价格更高。针对此次更新,谷歌表示新模型(móxíng)引入了“思考(sīkǎo)预算”功能(néng),能让(ràng)开发者更好地控制成本和延迟。
榜单分数是起点,真正的较量,在无数开发者和(hé)企业的工作和落地中展开。谁能更好地解决(hǎodìjiějué)核心问题,谁就能赢得竞争的主动权。
(本文(běnwén)来自第一财经)
北京(běijīng)时间6月6日,谷歌推出升级预览版大模型Gemini 2.5 Pro(0605),并表示这会(zhèhuì)在几周后成为正式的(de)稳定版本,适用于企业级应用。
Gemini 2.5 Pro是谷歌旗舰模型系列,在前三个月公布了几个预览版,此前也一直在大模型竞技场(jìngjìchǎng)LMArena排名第一,这一次(yīcì)更新的版本各(gè)方面的分数都超过(chāoguò)了此前的版本,继续排在榜一。
不过,第一财经也询问了(le)一些开发者,他们认为,不能完全相信榜单,要看实际体验和绝大多数开发者的(de)选择,此前Gemini的模型表现各有(yǒu)优劣,开发者评价两极分化,目前刚出来大家或许要用一用才能(cáinéng)有更客观的评价。
根据谷歌官方博客,最新(zuìxīn)2.5 Pro 在多项AI性能(xìngnéng)基准测试中取得了更高的分数(fēnshù),在 LMArena上Elo分数(衡量模型相对技能水平的评分)提升了24分,目前以1470分的成绩(chéngjì)保持领先。
具体领域上,谷歌(gǔgē)称,最新模型在代码(dàimǎ)方面继续表现出色,在 Aider Polyglot 等高难度编程基准测试中保持领先。此外,它在 GPQA(研究生(yánjiūshēng)级别的问答测试)中的成绩超过(chāoguò)了OpenAI的o3、Claude 4以及DeepSeek-R1的最新版。在“人类的最后考试(HLE) ” 中成绩达到(dádào)21.6%,比(bǐ)OpenAI的o3多出 1.3个百分点。
在谷歌模型发布后,业界知名的(de)测评方大(fāngdà)模型竞技场 (lmarena.ai)发布了一份新(xīn)的榜单,显示2.5 Pro新版在总分和所有子榜单位列第一,包括文本、视觉、数学、创意等。
不过(bùguò),“高分低能”的产品此前也有过,不乏开发者对这个榜单存疑(cúnyí)。例如,从编程体验上来说,Anthropic的Claude系列模型是公认较为好用(hǎoyòng)的基座(jīzuò)模型,此次(cǐcì)在榜单的成绩并不突出。有海外网友表示,2.5 Pro新版的表现确实很好,但是不如Claude 4 Opus。
有行业人士认为,这一(zhèyī)问题或许是榜单评测(píngcè)问题,只是让(ràng)AI完成基础的任务,但对Agent的能力评测有限,但从实际应用过程中,Claude模型在Agent方面做了专门优化,可以在大规模、系统化、长时间的编程任务中表现出色,和行业拉开距离(lākāijùlí)。而谷歌在Agent方向(fāngxiàng)还没怎么发力。
一位开发者用C++编程语言较多,他对(duì)记者表示,Claude比Gemini强太多,“任何Claude和o3无法(wúfǎ)解决的(de)问题,Gemini从(cóng)没有一个能解决;但反之,Gemini 写不对的,往往Claude能写对。”
上述开发者认为,Gemini擅长的是长上下文和多模态,而Claude前端更优(gèngyōu),目前看(kàn)可能还是这一格局。
不过,另一位用Python和typescript编程语言(biānchéngyǔyán)的(de)开发者体验(tǐyàn)并不相同,最近一个月,他无论在工作场景还是Cursor场景都全面(quánmiàn)转为了Gemini 2.5 pro,发现代码写得比Claude 3.7好,生成的网页更漂亮,写出来的文案也更好(gènghǎo)。
目前(mùqián)看起来,在不同的生产场景和个性化工作中(zhōng),各个模型的体验和口碑并不相同。
大模型竞争进入下半场,模型基础(jīchǔ)能力差距逐渐缩小,模型之间的较量正在(zài)从单纯的跑分转向(zhuǎnxiàng)更复杂的维度,模型的真正价值,越来越取决于在特定场景下的表现能否赢得开发者的投票。
不过,除开能力,使用(shǐyòng)成本也是开发者(kāifāzhě)较为看重的(de)一个因素,目前来看,Gemini比OpenAI的 o3、Claude 4 Opus和Grok 3都要更有性价比,但仍然是国内(guónèi)DeepSeek的R1最便宜。
Gemini 2.5 pro的输入价格1.25美元,输出为10 美元/百万Tokens。而o3在输入和输出价格方面则高至(gāozhì)10美元和40美元每百万Tokens ,Claude 4 Opus价格更高。针对此次更新,谷歌表示新模型(móxíng)引入了“思考(sīkǎo)预算”功能(néng),能让(ràng)开发者更好地控制成本和延迟。
榜单分数是起点,真正的较量,在无数开发者和(hé)企业的工作和落地中展开。谁能更好地解决(hǎodìjiějué)核心问题,谁就能赢得竞争的主动权。
(本文(běnwén)来自第一财经)


相关推荐
评论列表
暂无评论,快抢沙发吧~
你 发表评论:
欢迎