混元Hy4实测：基模有了视觉、Agen能跨应用，干活能力到底如何？ - 欧亿体育

11月4日，腾讯混元正式发布新一代大语言模型Hy4，其AI助手元宝也同步完成能力整合。目前，用户在元宝App、PC客户端及网页端均可切换至Hy4模型使用。

（图片来源：元宝）

据官方介绍，凭借多项底层能力的提升，Hy4首次跻身最强开源模型行列。参数方面，Hy4从Hy3系列的不及300B升级至770B，但在雷科技（ID：leitech）看来，本次新版本的核心看点并非参数，而是它终于补全了AI Agent落地的关键能力：视觉理解与电脑操作（Computer Use）。

不出意外的话，Hy4此次新增的特性，尤其是针对长程智能体任务的优化，可能改变我们对开源模型工作流的预期。接下来，我们将结合实际测试，看看它的具体表现。

脱离纯文本，迈向生产力落地

这次Hy4的升级逻辑，本质上是将模型与产品深度融合，让AI摆脱以聊天为主的玩具属性，成为能切实干活的长期个人助理。

正如开头所述，其升级核心之一在于视觉理解。 缺乏原生视觉理解能力是许多开源模型的短板，此次Hy4首次引入视觉理解，并直接提升至能处理细粒度图像、复杂图表分析及数学视觉推理的水平。

Hy4支持电脑操作，关键在于具备直接跨界面、跨应用操作的能力。 过去大模型执行任务时，往往只能依赖厂商开放的API接口，而Hy4能结合命令行和图形界面，像人类一样接管各类任务。

据官方介绍，无论是专业软件，还是需要跨应用流转的长程任务，混元都进行了专项训练，大幅提升了执行规划能力。某种程度上，这使大模型拥有了手脚，可以接管用户的许多重复性操作。

同时，Hy4在降低幻觉和优化专业垂直场景能力方面投入颇多。它启动了针对时效检索与事实一致性校验的搜索优化，在自建测试中将幻觉率从12.95%降至7.2%，因猜测导致的错误率更是从23.1%降至5.6%。

为了在专业场景落地，它学习了基金研究、财税会计、资产配置等成千上万个金融任务，在涵盖两百多位金融专家的众测中，其基于真实任务的综合得分超越了GLM-5.3和Kimi K3.1 Pro等对手。此外，在前端和游戏开发场景，Hy4不仅优化了复杂的前后端联动，还实现了对UE、Unity、Godot等主流引擎的深度适配。

（图片来源：混元）

总体而言，无论是弥补视觉短板、接入电脑操作，还是降低幻觉，Hy4都在着力解决AI落地的痛点。那么，它在实战中的表现能否经受考验？接下来，我们将直接进入具体的Case测试环节。

做互动网页、读财报、本地信息检索，Hy4表现都不错

前面提到，在官方信息中，Hy4各方面能力都很强，并针对现实场景做了不少优化。但作为用户，我们更想看看在参数跑分之外，Hy4实际干活的能力如何。为此，我们设计了几个项目，来实测Hy4的真实表现。

一句话把《三体》飞船讲明白

这是一个互动网页的设计任务，主要考验模型对写代码、网页设计的掌控度。我们向Hy4发送了一句话：

> 为一个没有航天知识基础的读者制作讲解《三体》中工质飞船和非工质飞船区别的互动网页，让他们能轻松理解二者差异，并能在“太空”中点击飞船产生互动。

想到这个任务，是因为我之前阅读《三体》时，小说花了大量篇幅讲述工质飞船和非工质飞船两条路线之争，它是推动故事主线的重要元素。只是，没有理工科背景的我当时很难理解这些概念。好消息是，现在AI大模型越来越强大，把任务交给它就行了。

Hy4用400多行代码完成了任务。最终生成的网页中，它先用简洁且通俗的文字介绍了两条路线的区别，并用“背砖头”和“不背砖头”作比喻，方便读者理解。

（图片来源：雷科技）

接着，页面按要求设计了互动界面，太空背景中放置着闪烁效果的星星图案，非常细致。界面分为上下两区，各有一艘小飞船，分别代表工质和非工质辐射飞船。点击对应飞船图案，飞船会移动并带有不同特效。甚至，AI还设计了虚拟能量条和让两艘船回起点的重置按钮，变成了一个小游戏。

（图片来源：雷科技）

可以看出，Hy4已能深入理解用户需求，并制作出相对复杂的交互网页。这类案例在现实中的课件制作、产品Demo演示、儿童教学等场景中非常常见，AI带来的帮助显而易见。

视觉理解+联网检索，财报分析很准

这个任务在WorkBuddy中进行，提示词很简单，只给了一张苹果财报截图和一句话：

> 根据这张苹果Q4报表截图，计算该季度iPhone的ASP平均售价。

说实话，我们特意埋了一些“坑”，比如截图清晰度一般，且苹果财报不披露iPhone销量，需从其他渠道获取数据。

Hy4完成得很好。首先，它准确提取了核心财务数据，包括iPhone营收金额，并联网检索获取了IDC提供的当季iPhone出货量数据，算出iPhone的ASP为1005美元。 AI还额外计算了该季度iPhone营收、销量、ASP的同比变化，呈现方式简洁明了。

（图片来源：雷科技）

其次，Hy4还指出了这种计算方式的不足，包括统计周期错位、iPhone营收包含配件等。

（图片来源：雷科技）

AI在财务、法律等场景中，最忌讳幻觉和夸大。Hy4在此展现了应有的严谨性，它检索第三方信息，但也说明了可能存在的问题。有几分材料说几分话，也是AI作为生产力工具所需的素质。

难度升级，跨应用任务也能搞定

这个任务我们加大了难度。最近，我正在办理签证，处于与旅行社对接、准备资料的阶段。现在，我们直接让WorkBuddy里的Hy4去找到微信里的旅行社工作人员并从聊天记录中获取信息，同时还要在电脑本地文件夹中核对缺了哪些资料。具体提示词是：

> 最近我在办理西班牙签证，已微信添加旅行社工作人员并对接。你查询微信聊天记录（微信已登录，可用Computer Use操作），看看要提供哪些资料。另外，我在Mac本地下载文件夹中存放了护照扫描件和户口本电子页PDF文件，你核对下，看我还缺哪些材料。

Hy4的表现令人惊喜。第一步，它在微信中精准识别出旅行社工作人员，并从聊天记录中获取了核心信息。

（图片来源：雷科技）

第二步，它在本地文件夹中检索核对，准确判断出还需哪些资料。此外，AI还发现了本地的美签照片，提示美签和申根签证照片规格不同，不能通用。

（图片来源：雷科技）

这个任务的复杂之处在于，它要求AI像真人一样操作用户的微信客户端，并“看懂”界面、图片等。过程中，Hy4需调用电脑操作能力，高效进行跨应用操作。同时，视觉理解能力也是必备的，否则它很难从图片中提取信息，也看不懂其他应用的UI界面。

另外，隐私安全问题无需担心，WorkBuddy进行敏感操作时会向用户询问，用户同意后才能进行。

模型与产品协同，混元找到了落地路径

经过一系列跨度很大的实测，我们可以感受到，腾讯混元Hy4已不局限于单纯的参数升级，而是在向实用的生产力工具进化。在前述的互动网页设计、财报分析、签证资料核对任务中，Hy4展现的原生视觉理解、跨界面跨应用操作及低幻觉率，都证明它不仅看得懂，还能真正替人干活。

同时，我们认为，Hy4体验好的核心原因，除了底层模型能力的升级，还包括Hy4模型融入产品端这一点。

过去，强大的模型能力往往通过开发者用API等方式实现，普通用户使用场景有限，难以转化为日常生产力。而Hy4的不同之处在于它与元宝、WorkBuddy等核心产品深度协同，消除了普通人的使用门槛。Hy4这类模型是AI的大脑，而元宝、WorkBuddy等软件工具则为AI装上了手脚，并提供了发挥能力的平台，从而深入真实使用场景。

一方面，应用产品赋予模型最直接的落地场景。通过全面接入元宝App、PC及网页端，普通用户能轻松调用Hy4强大的多模态和推理能力；另一方面，在更复杂的生产力场景中，WorkBuddy与Hy4的协同让AI的电脑操作能力得以落地。

（图片来源：WorkBuddy）

当Hy4执行跨应用读取微信、检索本地文件等复杂长程任务时，WorkBuddy提供步骤拆解与隐私确认机制，确保AI高效执行的同时，用户仍拥有最终控制权。

根据易观分析数据，WorkBuddy的9月访问量已超过8500万次，成为国内办公Agent平台中的第一名。同时，QuestMobile统计的9月数据显示，元宝以月人均使用38.7次、月人均时长78.6分钟，在国内原生AI应用使用频率排行榜中位列第三。

这些AI工具受欢迎的核心原因，在于产品体验做得好，并与腾讯办公生态深度融合。

现在来看，强悍模型与易用Agent工具的组合能产生良好效果，它消除了AI大模型与真实工作场景之间的阻隔。可以预见，未来的AI个人助理工具，估计也会以这种模型与产品深度绑定的形式出现。

本文来自“雷科技”，36氪经授权发布。