开云体育登录入口kaiyun官网首页

AIxiv专栏是机器之心发布学术、本领内容的栏目。畴昔数年，机器之心AIxiv专栏收受报说念了2000多篇内容，障翳各人各大高校与企业的顶级实验室，灵验促进了学术换取与传播。要是您有优秀的责任念念要共享，接待投稿或者谈论报说念。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

近期，OpenAI CEO Sam Altman 告示，2025 年将推出名为 “Operator” 的臆造职工指标，AI 代理将八成自主引申任务，如写代码、预订旅行等，成为企业中的 “数字共事”。

在 OpenAI 发布 “Operator” 之前，清华、复旦和斯坦福的商讨者纠合淡薄了名为 “Eko” 的 Agent 建筑框架，旨在让建筑者通过简陋的代码和天然话语，快速构建可用于出产的 “臆造职工”。这种框架使得 AI 代理八成经受用户的电脑和浏览器，代替东说念主类完成各式任务，为责任经过提供自动化复古。

张开剩余90%

论文标题: Eko: Build Production-ready Agentic Workflow with Natural Language 技俩主页: https://eko.fellou.ai 技俩地址：https://github.com/FellouAI/eko Docs：https://eko.fellou.ai/docs

中枢本领改革：

1. 搀杂智能体默示：淡薄了 “Mixed Agentic representation”，通过无缝联结抒发高等次打算的天然话语（Natural Language）与建筑者低档次罢了的技艺话语（Programming Language）。

2. 跨平台 Agent 框架：淡薄环境感知架构，罢了兼并套框架和编程话语，同期复古浏览器使用、电脑使用、看成浏览器插件使用。

3. 出产级侵犯机制：现存 Agent 框架大量强调自治性（Autonomous），即无需东说念主类侵犯，而 Eko 框架提供了显性的出产级侵犯机制，确保智能体责任流不错随时被中断和调换，从而保险东说念主类对出产级智能体责任流的灵验监管和治理。

Eko：阅兵出产级智能体建筑的框架

让咱们用执行的例子来感受一下这个 Agent 框架的建筑难度：只需要一句话，就不错让 Eko 生成一个全 Agent 帮你作念股票分析。这不等于妥妥的出产力用具吗！果然摆脱双手！

“在雅虎财经上汇集纳斯达克的最新数据，包括主要股票的价钱变化、市值、交游量，分析数据并生成可视化阐发。” “ 刻下登录页面自动化测试： 1. 正确的账户和密码是：admin / 666666 2. 请立地组合用户名和密码进行测试，以考证登录考证是否正常责任，举例：用户名不可为空、密码不可为空、用户名不正确、密码不正确 3. 终末，尝试使用正确的账户和密码登录，考证登录是否告捷 4. 生成测试阐发并导出” 算帐刻下目次下大于 1MB 的扫数文献

环境感知架构（Environment-Aware Architecture）

主要场景

i）浏览器使用：主要专注于通过图形用户界面（GUI）来操作网页和浏览器中的元素，常见的罢了形貌包括截图和网页索求本领。

ii）电脑使用：与浏览器不同，Node.js 自动化则主要面向大喊行界面（CLI）操作和文献系统不断，改日还会引入 GUI 感知才智。

架构先容

Eko 的跨平台建筑是通过其 环境感知架构（Environment-Aware Architecture）罢了的，这一架构由三个要害档次组成：通用中枢（Universal Core）、环境特定用具（Environment-Specific Tools） 和 环境桥接（Environment Bridge）。

1. 通用中枢：这一层提供了与环境无关的基本功能，如责任流不断、用具注册不断、LLM（诳言语模子）集成和钩子系统。

2. 环境特定用具：每种环境（如浏览器延迟、Web 环境、Node.js 环境）王人提供了优化的用具集。

3. 环境桥接：这一层崇拜环境的检测、用具注册、资源不断和安全适度，确保不同平台之间八成奏凯互动和通讯。

安全性和访谒适度：Eko 针对不同环境实施了恰当的安全次第。浏览器延迟和 Web 环境王人领受了严格的权限适度和 API 密钥不断，而 Node.js 环境则允许更闲居的系统级访谒，基于用户权限进行文献操作和大喊引申，在需要时会在引申前恳求用户证据。

自动用具注册：通过 loadTools () 等用具，Eko 自动注册适用于刻下环境的用具，这使得建筑者不错在多个环境中无缝地切换，并确保用具的正确加载。

档次化经营（Hierachical planning）

咱们淡薄档次化感知框架，将任务的拆解分为两层，包括 Planning layer 和 Execution layer。其中 Planning layer 崇拜将用户的需求（天然话语或代码话语默示）和现存用具集拆解成一个有鸿沟特定话语（Domain-specific language）默示的任务图（Task graph）。任务图是一个有向无环图，描述了子任务之间的依赖联系。该任务图由 LLM 一次性合成。在 Execution layer 中，左证每个任务调用 LLM 来合成具体的引申行为和用具调用。

多步合并优化：当 Eko 检测到两次引申王人是对 LLM 的调用时，会触发框架的自动合并机制，将两次调用的 system prompt 自动整合，合并成一次调用。从而加速推理速率。

视觉 - 交互身分纠合感知（Visual-Interactive Element Perception）

视觉 - 交互身分纠合感知框架（VIEP）是一种新颖的浏览器感知搞定决策，通过将视觉识别与元素高下文信息联结，权臣进步了在复杂网页中的任务精度和后果。它通过索求网页中的交互元素（如 A11y 树），并将其映射到鸿沟特定话语（DSL），生成高效的伪 HTML 代码，简化了元素的表征。不同于传统的 A11y + Screen shot 决策，VIEP 在视觉信号方面，引入了 Set-of-Mark，确保每个元素的视觉记号符与伪 HTML 中的记号符逐一双应，进步了元素识别的精度。为了优化性能，截图折柳率被压缩至原始的 60%，同期画质压缩至 50%，减少了资源耗尽，同期保抓了饱和的识别质地。

与传统的 HTML 默示比拟，VIEP 通过简化交互元素和生成紧凑的伪 HTML 结构，幸免了径直处理宏大 HTML 内容的支出。举例，Google 首页的 HTML 从 22 万字符减少至仅 1,058 个字符，大幅提高了处理速率和准确度。

VIEP 不仅优化了性能，裁减了资本，还进步了跨环境顺应性，确保自动化操作在不同浏览器和操作系统中庄重运行。

出产级的可侵犯机制

在构建 AI 驱动的自动化系统时，建筑者时常需要监控任务的引申情况，随时调换行为，或在必要时进行侵犯。天然 “钩子” 是软件建筑中的常见成见，但在 Eko 中，它们承担了专有的变装 —— 在 AI 自动化和东说念主工监督之间架起了一座桥梁。简便来说，你不错在 Workflow 引申前后插入我方的逻辑，比如考证输入、处理赶走、以致重试失败的任务。代码如下：

JavaScript

await eko.execute (workflow, {

hooks: {

beforeToolUse: async (tool, context, input) => {

console.log (`准备引申用具：${tool.name}，输入参数：`, input);

return input;

},

afterToolUse: async (tool, context, result) => {

console.log (`用具引申完成：${tool.name}，输出赶走：`, result);

return result;

}

}

});

Eko 提供三种不同层级的钩子，每个层级王人具有专有的作用：

1. 责任流钩子（Workflow Hooks）

这些钩子位于责任流的最表层，用于全体适度和监控自动化经过的启动和扫尾。举例，你不错在责任流脱手之前进行资源运行化，或在责任流扫尾后进行算帐和处理最终赶走。

2. 子任务钩子（Subtask Hooks）

这些钩子位于责任流的中间层，允许你在每个子任务脱手前和扫尾后进行监控和处理。举例，你不错在每个子任务前记载日记，或在职务完成后对中间赶走进行处理。

3. 用具钩子（Tool Hooks）

这是最细粒度的钩子，允许你在每个用具引申前后进行考证和修改。举例，你不错在用具引申前考证输入参数，或在用具引申后处理复返赶走。

钩子不错匡助建筑者及时优化责任流，提高自动化系统的精度和后果。举例，在引申某些任务时，建筑者不错通过钩子对输入数据进行考证，注意失误信息传入系统；或在职务完成后，处理和振荡赶走，以便更好地期骗输出。钩子还能匡助建筑者汇集引申数据，进行性能分析，识别瓶颈并优化自动化经过。

除了旧例的监控和调试功能，Eko 的钩子系统还复古转换革的使用场景。举例，在一些要害任务引申时，钩子不错暂停责任流并恭候东说念主工审批；在 AI 决策出现问题时，建筑者不错通过钩子进行东说念主工侵犯或障翳 AI 的判断，确保业务经过的顺畅。

探究

不管你是 AI 建筑者一经自动化使用者，Eko 为你提供了更无邪、高效的用具，匡助你将臆造职工部署到执行出产环境中，进步责任后果和质地。立即怜惜 Eko，让 AI 自动化为你的出产力加速！

作家先容

陆逸文，清华大学博士生，商讨兴味为具身智能平台和智能体。

罗卓伟，FellouAI 首席工程众人，现在从事东说念主工智能有关鸿沟责任。

马骁腾，清华大学自动化系博士后，博士毕业于清华大学。主要商讨兴味为强化学习和智能体。

陈家棋，复旦大学硕士生，斯坦福大学访谒学生学者。主要商讨鸿沟为计较机视觉和智能体。

发布于：北京市