三层结构,一个助手
模型负责读懂您的请求,并决定下一步该做什么。操作框架是包在模型外面、真正去做事的软件,比如读取文件、搜索网页、记住您的情况、按时执行任务。第三层由我们负责:我们为您的行业安装技能,把助手连接到团队在用的工具,给它一个独立的私有环境,并每天照看它。
大多数 AI 产品只给您第一层再加一个聊天窗口,所以它们在演示时很惊艳,一碰到真实工作就靠不住。
您的助手由三层叠加而成:一个语言模型,一套让模型能够真正行动的操作框架,以及我们为了让这两者贴合您的业务并持续运行所做的工作。助手的大部分价值来自第二层和第三层,这篇指南讲的就是这两层。
模型负责读懂您的请求,并决定下一步该做什么。操作框架是包在模型外面、真正去做事的软件,比如读取文件、搜索网页、记住您的情况、按时执行任务。第三层由我们负责:我们为您的行业安装技能,把助手连接到团队在用的工具,给它一个独立的私有环境,并每天照看它。
大多数 AI 产品只给您第一层再加一个聊天窗口,所以它们在演示时很惊艳,一碰到真实工作就靠不住。
语言模型很擅长读懂一个表达混乱的请求,弄清您的意思并规划步骤。但它不擅长精确的事实,因为它写出的是最有可能的答案,而不是核对过的答案。单独问模型客户欠您多少钱,它会给出一个很自信的数字,再问一次,可能就是另一个数字。
所以在您的助手里,模型永远不会是数字、价格或日期的来源。它只决定用哪个工具,由工具去取得或计算真实的数值。
您也不需要挑选或管理模型。助手发出的每个请求都经过我们自己的网关,使用只属于您这个助手的密钥。我们会把不同类型的工作交给合适的模型,比如文字交给一个模型、图片交给能看懂图片的模型,有更好的模型出来时我们会更换。
您的助手运行在 Hermes Agent 上,这是 Nous Research 开发的开源助手框架。它位于模型和真实世界之间,为您的助手提供以下能力。
下面是您问一个答案里带数字的问题时,背后发生的事情。
以上数字仅为示例。适合您业务的工具和核对规则会在搭建阶段设置。
Hermes Agent 是开源的,懂技术的人都可以把它装在服务器上。您从我们这里得到的,是从一个刚装好的框架,到一个可以放心交给它部分业务的助手之间的全部工作。
大多数 AI 产品只有在厂商决定推出某个功能时,用户才能用上。您的助手是开放的,由我们来配置,所以一项新能力一旦被证明可靠,我们就能为您加上。BrowserSkill 就是一个例子。它是腾讯开发的开源浏览器扩展,让您的助手可以在您自己的 Chrome 或 Edge 里、在您已经登录的网站上工作,包括打开网页、阅读内容、填写表单,以及操作那些没有 API 的后台系统。
我们为您的助手运行服务器端,在控制台(Command Center)里给您一个一次性配对链接,并为中国大陆的客户配置 Edge。您的密码始终留在您自己的浏览器里,遇到登录、验证码和付款时,助手会停下来交给您处理。大型 AI 助手也开始加入浏览器控制,但很少有产品能让您在手机上给一个全天候在线的助手发条消息,就让它在您办公室电脑的浏览器里把事情办好。 了解浏览器访问如何运作。
我们会为您业务中反复出现的工作编写技能。我们曾为一家房地产公司打造了一个把建筑图纸转换成工程量清单的技能,还有一个用代码计算可行性数据的技能,算术完全不经过模型。您的助手在熟悉您的日常流程后也会自己编写技能,我们会保留并审核这些技能。
我们会在助手的工作空间里建立一个 Wiki,也就是一个带索引、相互链接的笔记文件夹,并指示助手先查阅它、随时更新它。您的流程、价目表和客户历史都放在这里。 如何使用 Wiki。
在搭建每个工作流程时,我们都会确定每项事实的来源。价格、余额和可用情况都从您的记录中读取并用代码计算,核对不了的内容一律交给人处理。
每位客户的助手都运行在各自隔离的容器和独立网络中。它看不到其他客户的助手,也接触不到我们的内部系统,内存和算力都有固定上限。账户由我们替您连接,您永远不需要在聊天里粘贴密码或 API 密钥。
助手要通过一次实际运行检查才会交付,检查内容包括模型及备用线路、语音消息、图片、长对话处理,以及谁可以给它发消息。交付之后,我们每晚都会对所有客户的助手做一次健康检查。更新会固定在测试过的版本,一次只迁移一个助手,并且随时可以回退。有一次开源项目的更新导致我们使用的一个模型出错,我们在官方修复发布之前就为所有客户的助手修好了。
因为每个请求都经过我们的网关,异常的花费我们能第一时间看到。当一个助手的用量达到平时的三倍时会自动报警,而且每个请求的大部分内容都由缓存提供,从而降低运行成本。
助手的记忆、Wiki、技能和对话记录与软件分开存放,所以重启和更新都不会影响它们。
| 聊天应用 | 自己安装的助手 | Your AgentSmith | |
|---|---|---|---|
| 您不在时也能工作 | 不能,只会回答 | 能,前提是您自己搭好服务器 | 能,托管在服务器上全天运行 |
| 连接您的系统 | 只有厂商提供的集成 | 要您自己开发连接 | 我们连接团队在用的系统 |
| 为您的工作定制的技能 | 没有 | 要您自己编写 | 我们来打造,它还会自己写更多 |
| 在您已登录的浏览器里工作 | 视产品而定 | 要您自己安装并做好安全设置 | 我们为您设置并配对 |
| 隐私与隔离 | 共享平台 | 由您自己负责 | 每位客户独立的环境 |
| 更新 | 厂商什么时候发布就什么时候更新 | 您自己负责,还可能出问题 | 先测试,再逐个迁移 |
| 出了问题找谁 | 帮助中心 | 没人可找 | 找我们 |
| 情况 | 您的助手会做什么 |
|---|---|
| 周一早上 9 点 | 定时任务从您的系统中取出上周的咨询和销售数据,在您打开电脑之前就把汇总发到您的聊天里。 |
| 客户晚上 11 点用中文发来消息 | 它根据 Wiki 里的价目表和可用情况用中文回复,核对不了的内容留给员工第二天早上处理。 |
| 一个没有 API 的供应商后台 | 您在手机上给它发条消息,它通过 BrowserSkill 在您办公室的浏览器里下单,到付款那一步停下来交给您。 |
| 月底 | 它用代码汇总未结发票,与总账核对,并标出对不上的两张。 |
| 一件您已经解释过两遍的事 | 它把步骤保存成一个技能,第三次您只需要说出技能的名字。 |
几乎每家尝试 AI 的企业都会撞上同一堵墙。演示很惊艳,一用到真实工作上,它就会编造数字、忘记您上周说过的话,或者在您没打字的时候根本没在运行。
这篇指南里的内容都不会让模型变得更聪明。操作框架让它变得可靠,我们围绕它所做的工作让它贴合您的业务并持续运行,所以每周的报表每个周一都会准时送到,而不是五次里只到四次。