Claude 3.5重磅升级！能像人一样操控电脑，编程更强了

当地时间, 在10月22日这一天, Anthropic的Claude 3.5迎来了重磅升级！

Claude 3.5 俳句来了, 升级款的 Claude 3.5 十四行诗也来了。Claude 3.5 十四行诗不光编程能力更厉害, 还带来全新功能计算机使用, Claude 如今支持像人一样操作计算机, 能遵循用户的命令在计算机屏幕上移动光标, 点击相关位置, 并且通过虚拟键盘输入信息, 模拟人们跟自己计算机的交互方式。

现在, 升级版Claude 3.5 Sonnet能够被拿来使用了, computer use测试版也处于开放可使用的状态了。

经过进化的Claude 3.5 Sonnet, 可以称得上是最为强大的推理模型了。它在各个不同的方面, 都获得了全面且显著的提升。特别是在编码能力这一方面, 它处于业界领先的水平。

甚至, Claude如今具备了如同人类那般操控计算机的能力, 不但能够对屏幕予以查看, 能够使光标进行移动, 而且还能够对按钮进行点击, 能够将文本进行键入！

当下, Claude在以与人同样方式运用计算机的模型里处于最为先进的水准, 即通过查看屏幕并依据屏幕内容采取行动。在一项旨在测试开发人员让模型运用计算机的评估（OSWorld）中, Claude当下获得了14.9%的分数。这距离人类水平的技能（通常为70 - 75%）还相差甚远, 但却远远高于同一类别中排名第二的AI模型所获得的7.7%。

Anthropic开发者关系主管宣称, 计算机运用是全新式人机交互模式的首个步伐, 并且, 这还是AI模型理应拥有的全新基础性能力所在。

为什么要让AI去操作电脑? Anthropic称, 在过去的几年当中, 强大的AI开发达成了诸多里程碑, 像进行复杂逻辑推理, 以及拥有识别和理解图像的能力。而下一个突破之处, 便是AI操作电脑！要是模型并非借助专门定制的工具来交互, 而是依照指示就能运用所有软件, 这肯定意味着未来的方向。

在以下这个demo里头, Anthropic研究员朝着Claude抛出了一项极具难度的挑战性任务:

我的友人即将前来旧金山, 我期望明日清晨同他一道于金门大桥观赏日出。我们会自太平洋高地启程。你可不可以帮我们寻觅到一处极为出色的观赏位置, 核查一下驾车所需时间以及日出时刻, 接着安排一场日历活动, 以便我们拥有充足时间抵达那里呢?

Claude自行打开了Google，开始了搜索。

到金门大桥的距离, 与用户所居住的地方, 究竟相差多少呢? Claude会凭借自身, 去把地图开启, 从而查找两者之间的距离。

展现出Claude操控自身笔记本电脑情形的开发者, 丝滑地有过在完成一个网站编程任务方面的经历。

先, Claude于小哥的Chrome浏览器里, 前往Claude.ai, 且令Claude给自己打造了一个90年代主题的个人主页。

只见它自行输入网址, 键入提示内容, 朝着另一个Claude发出请求。

假若我们要去填一份源自蚂蚁设备公司的供应商恳请表, 然而所要填的数据分散于电脑的各个地方, Claude能不能帮我们达成这个事呢。

只见它着手截取操作者的屏幕截图, 而且迅速发觉, 蚂蚁设备公司并不在表格当中。

这时, 它马上切换至CRM系统里, 去搜寻这个公司。搜寻到之后, 它着手滚动页面, 寻觅填表所需要的全部信息, 接着提交了表格。这就表明了, 我们工作当中诸多不得不去做的繁杂事项, 皆能够交由Claude去代劳了！

在各个行业基准测试当中, 升级版的Claude 3.5 Sonnet性能有了从各个方面的提升, 特别是, 在智能体编码以及工具使用任务里取得了突出的进展。

在编码能力这一方面, 于SWE-bench Verified测试当中, 其性能由33.4%得到了极大幅度的往上提升直至49.0%。

这超出了全部公开能够获取的模型, 其中涵盖了OpenAI o1-preview这类推理模型, 以及专门为智能体编码设计打造的特定系统。

依赖于快速的处理速率, 借助改进的指令执行功力, 还有更精准的工具运用, Claude 3.5 Haiku特别适配面向用户的产品, 适宜专门的辅助任务, 并且能基于海量数据生成个性化体验。

AI操作电脑能力代表了一种全新的人工智能开发方法。

到目前为止, LLM开发者始终在尽力促使工具去适配模型, 营造特殊的环境, 使得AI借助专门设计的工具去达成各类任务。

哪怕Claude已抵达当下的最高水准, 然而其做出的操作仍是比较迟缓并且易于冒出错来的状况, 在我们平日里运用电脑之际所牵扯到的好多操作, 像是拖拽、缩放等等这些, Claude到现在都还做不到。

另外, Claude当下观察屏幕的那种方式, 跟快速翻看一本画册相类似, 是借助连续截图然后拼接于一处, 并非观察连续的视频流, 这表明它有可能错过一些短暂的动作或者通知。

不得不说有意思的是, Anthropic在进行Demo录制这个行为的时候, 居然还碰到了一些有着趣味性质的小的意外情况。

举个例子, 在一回演示期间, Claude不经意间点击致使静止了一个长时间持续运行的屏幕录制, 进而造成所有的录像因此全都化为泡影了。

在另一次编码演示之时, Claude却突然间「走神了」, 转而兴致勃勃地去浏览黄石国家公园拍的照片。

所以呢, Claude当下的呈现使得人对于往后满怀期望: AI操控电脑的本事会飞速迈进, 在那一日, 就连软件开发新手都能够轻易运用它。

每日经济新闻综合公开资料

标签： Claude3.5升级 AI操作电脑 编程能力 人机交互 智能体编码