原文:《产品“摆拍”展示文心一言露怯》
作者:文刀
3月16日,“文心一言”没有在问答环节“翻车”,因为,百度创始人李彦宏在开发会现场展示的这个自然语言大模型产品,测试的过程和结果是提前录制好的。
“摆拍”的测试Demo里,文心一言能用中文回答问题,能续写《三体》,能理解“洛阳纸贵”,能计算“鸡兔同笼”的数学问题并给出推算过程,还能生成图片、语音甚至视频。看上去挺强大,但也仅限于看上去,远没有更早一天OpenAI直接演示GPT-4模型时带来的全网惊艳。
展示看似稳妥,但没保住股价。李彦宏登台后,港股百度集团股价从130港元开跌,22分钟后跌幅超9%至120港元,发布会结束后,百度股价也没能回到130港元。
整场发布会,文心一言没有真实互动、没有技术数据细节、没有与其他大模型的对比,李彦宏与百度CEO王海峰一人一套PPT,公众一个多月的期待落空。当下,王海峰宣布,“邀测开启”,需要邀请码。
这意味着,普罗大众还无法体验文心一言。而那边厢,GPT-4已经被嵌入到ChatGPT和搜索引擎Bing,让AI技术直抵普通人。
OpenAI:ChatGPT网站面临停机问题:金色财经报道,OpenAI:ChatGPT网站面临停机问题,正在继续调查该问题。ChatGPT出现了较高的错误率。[2023/5/25 10:40:11]
相较而言,百度对文心一言更有信心的领域似乎在产业,李彦宏和王海峰都强调了自然语言大模型对“千行万业”的影响,这也是它与ChatGPT的区别之一,后者的“现象级”、“杀手级”评价纯来源于用户“自来水”。
1、问答演示系提前录制股价应声大跌
李彦宏一上台就给“文心一言”定了一个调——这个基于文心大模型底层的产品在公众的期待中,对标的是ChatGPT甚至GPT-4,“门槛很高。”
他话锋一转,巧妙地避开了百度与OpenAI的比较,而是把对比放在了全球大厂的范畴里,“百度是第一个发布的,大家知道微软是直接调用OpenAI,谷歌、Meta、英伟达都没有真正发布同类型的、同级别的产品。”这句话没说完,李彦宏清了下嗓子,一如他在过往发布会上一样,略显紧张。
后来的15分钟里,李彦宏用Demo展示了文心一言的五大能力:文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成。对应每个能力,他以文字的形式输入了不同的、有上下文联系的需求。
观点:ChatGPT无法实现非0即1的精确计算:4月8日消息,今日,由中国人工智能学会主办的“人工智能大模型技术高峰论坛”主论坛在杭州萧山启幕。论坛上,清华大学长聘副教授、聆心智能创始人、国家杰青获得者黄民烈发表了演讲。黄民烈表示,ChatGPT存在不足和缺陷,比如,无法实现数学计算和符号推理,具体表现为无法实现非0即1的精确计算。因为ChatGPT本质上是一个语言模型,其体现的能力来源于对训练数据的拟合;其运行机制中并没有显式的逻辑推理与判断。此外,ChatGPT还存在准确性、安全性等方面的问题。[2023/4/8 13:52:05]
比如,展现文学创作能力时,他让文心一言总结《三体》核心内容后,提出从哲学的角度续写《三体》的要求;展现商业文案创作时,他让文心一言按企业业务给公司起名、生成Slogan、写公司成立的新闻稿;在展示梳理逻辑推算时,李彦宏用小学生们躲不开的“鸡兔同笼”数学题为例,甚至故意输错了题干,文心一言指出有错后,在修改的题干后给出了正确答案和解题过程。
此时,发布会直播刚好进入到第21分钟,面向全网,李彦宏突然解释了一句:演示不是现场进行的,而是提前录下来的,“因为需要输入很多词,为了节省时间。”
OpenAI:GPT-4在许多标准化测试中比人类表现得更好:金色财经报道,Open-AI刚刚公布大型语言模型的最新版本——GPT-4,该版本比以前的版本“更大”,这意味着其已经在更多的数据上进行了训练,并且在模型文件中有更多的权重,这使得它的运行成本更高。OpenAI表示,新模型将产生更少的错误答案,更少地偏离谈话轨道,更少地谈论禁忌话题,甚至在许多标准化测试中比人类表现得更好。例如,GPT-4在模拟律师考试的成绩在考生中排名前10%左右,在SAT阅读考试中排名前7%左右,在SAT数学考试中排名前11%左右。 (CNBC)[2023/3/15 13:04:36]
此话一出,全网哗然,“原来是摆拍的。”2分钟后,港股百度集团股价直接下挫至120港元,较发布会14点开始时的130港元跌超9%。
百度港股股价在发布会期间大跌
“摆拍”的测试Demo继续演示了文心一言的“强大”:解答“洛阳纸贵”在当时到底有多贵,能拿这个成语作一首藏头诗,根植于中国的百度能拿出比其他自然语言大模型竞品更好的中文理解能力;它也能在输入文字需求后生成海报、语音甚至视频,即多模态生成能力。
然而,“提前录制”这个转折让文心一言后续的展示效果变弱了。
ChatGPT开发商估值达200亿美元:金色财经报道,三位消息人士称,OpenAI最近向投资者表示,预计明年的收入将达到2亿美元,到2024年将达10亿美元。其中一位称最近OpenAI曾二次发售股票,公司估值为200亿美元。(路透社)[2022/12/16 21:48:36]
一天前,OpenAI的联合创始人GregBrockman直播演示GPT-4的多模态能力时,没有PPT,没有酷炫的开场广告,将一张手绘的“玩笑网站”模版草图拍照上传至新模型后,10秒生成了网站。这场展示不到半小时,但Brockman全程与社群平台Discord上的用户保持互动,还随机选择了用户的需求测试GPT-4。
谁对自己的产品更自信,一目了然。
2、中文能力显本土优势跨语言“还在学习”
如果抛却信心不谈,那么,文心一言对标ChatGPT或GPT-4到底能否胜出?
在数据或技术细节上,无论是李彦宏还是后来上台解释文心一言技术背景的CTO王海峰,都没有在发布会现场给出具体的对比,仅提到了“5500亿”这个事实量指标,而GPT-4并没有对外披露知识数。
普通人或许无法在数据对比中得出结论。但作为中文用户,我们将李彦宏给文心一言输入的中文需求甩给了植入GPT-4模型的ChatGPT,这个“外国AI”也可以理解,但很容易给出错误答案。
GPT突破4500USDT:据MXC抹茶行情显示,GPT现报价4509USDT,单日涨幅19.72%。据介绍,GPT为ECOC公链上的去中心化DEFI生态项目,主要作用为进行合约延时,其获取方式为通过使用EFG进行质押挖矿(EFG已上线MXC抹茶)。挖矿计算公式为:1,000,000 EFG x 0.00011 = 110GPT (每日)。GPT、EFG官方网址见原文链接。[2020/12/14 15:08:18]
比如,做鸡兔同笼数学题了错不说,题干错误也未能指出;将成语“洛阳纸贵”解释成“高分考卷在洛阳被大量复制、传阅”,“表示名贵、珍重、有价值”,属于没读过《晋书·左思传》里的《三都赋》典故,不知这个成语原意是比喻“著作风行”之意了。
ChatGPT似乎在从字面上理解中国成语?????
有趣的是,ChatGPT又回答出“洛阳纸贵”在现代经济学原理中代表“供求关系”的引申义。当它用这个成语作藏头诗时,前面三个字都藏头入诗了,但“贵”写成了“绮”,没能对这个中文字正确识别。
正如李彦宏所说,文心一言根植于中国,一定比其他国家的自然语言大模型更理解中文和中国文化。而对于跨语言,文心一言还在学习,“英文也能用,但肯定没有中文好。”
GPT-4适应的“母语”显然是英语,但为了初步测试该模型在其他语言上的能力,OpenAI的研究团队曾使用AzureTranslate将MMLU基准翻译成多种语言时,GPT-4的英语精度(85.5%)较GPT-3.5的精度(70.1%)更高,而跨语言精度放在普通话上,GPT-4能达到80.1%,高于日语和韩语等亚洲国家的语言。
作为中国本土化的ChatGPT,中文能力好当然是应尽之责。对用户和客户来说,这也是最明显的利好,语言门槛低了,申请、使用相应地都会带来便捷。但放在全球竞争中,这个优势最多能体现在使用中文的国家和地区中,而OpenAI将辐射英文使用区。
在多模态生成上,文心一言的Demo展示了输出图片、语音、视频的能力;GPT-4也披露将具备图片、视频的输出能力,但目前无法在ChatGPT上向更广泛的公众展现,而它对网络“梗图”的理解力曾让网友惊叹,当然,最惊讶的还是它用草图框架生成代码的能力。
写代码这一涉及多模态的能力,文心一言并没有在发布会中展示。但已经拿到测试资格的媒体《量子位》成员在晚间的直播中测试了文心一言写代码能力,给出的评价是“一般般”,“Python语言还可以,其他语言就不太行了。”他还测试了文心一言是否具有GPT-4的角色扮演能力,结论是“没办法”。
3、聚焦企业客户以用户反馈促迭代
“从我自己的内测体验看,文心一言确实也不能叫作完美。”李彦宏谦虚了一下又说,“但是,为什么今天要发布?”屏幕前一定有人以为他要说竞争、要说文心一言的出品难度,没想到的是,他自问完自答:因为有市场需求。
他说,百度的各个产品线,从搜索、智能云到自动驾驶、到小度都等着要用这样的的技术,“更重要的是,我们的客户、我们的合作伙伴在等着用这样的技术,大家都在催,我们需要尽早的将它发布出来。”
一句话,李彦宏道出了文心一言的企业级场景,客户、合作伙伴成为重中之重,背后的一页PPT里写着,“文心一言让每一家公司都离客户更近”。
李彦宏解释大模型的产业机会
在解释文心一言以及底层的文心大模型会带来哪些创业机会和投资机会时,李彦宏说,大模型将带来三大产业机会,包括新型云计算、行业模型精调和应用开发,而有关文字、图像、音视频生成、数字人、3D生成等的应用开发是“最大的机会”。
万众期待的文心一言发布会在这一刻如同一场“商业路演”,坐等客户上门。而在这场发布会之前的一个月里,几百家企业纷纷官宣加入了文心一言生态,百度给出的数据是650多家。
ToB或许是文心一言的重要优势,毕竟,这个产品是集合了百度多个大模型的产物,包括ERNIE和PLATO,而这两个模型都产出过多个企业级模型,场景涵盖金融、医疗、航天、媒体、汽车等等。文心一言给企业用,简直是水到渠成。
此前,有两家“官宣”的公司告诉《元宇宙日爆》,“先占坑,测试后再看怎么用。”企业需求到底有多强烈,还有待观察。观察的窗口期也开始了,在发布会上,百度CTO王海峰当场宣布,“邀请测试”当天启动,获得邀请码即可参与测试,包括合作伙伴和个人。
很快,文心一言的测试入口开通,当然,需要邀请码才能开测。当晚10点,百度发布了文心一言的“邀测”喜报,申请调用的企业为6.5万家。
测试Demo是提前录制的,真实的测试将在有限的用户中展开,文心一言到底强不强,测试用户心里会有数。那么个人用户如何获得邀测权限?百度公布方案:在测试入口网站点击“立即体验”,参与排队。更广泛的个人用户想要用到这个产品,大概率要等它正式上线了。
百度倒不是不重视C端,发布会上,李彦宏说了,大语言模型这种产品,一旦发布出来,就会获得真实用户的反馈,“有了这些反馈,它迭代的速度、能力的提升就会非常快。”
可见,“真实用户中”的C端也有他的价值,为文心一言的大模型贡献“反馈”,提升它的迭代速度与能力。希望这个贡献对C端是免费的,这样又能与ChatGPT产生差异化。毕竟,那个“外国AI”要向体验GPT-4模型的用户收Plus版的订阅费。
郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。