发布时间:2024 年 5 月 14 日
客户端 AI 推理在设备上进行,这与任何现有的服务器端设置结合使用时都非常强大。内置 AI 是一种客户端 AI,可将模型引入浏览器,从而保护敏感数据并缩短延迟时间。
- 隐私权和安全性:借助客户端 AI,您可以在本地处理数据,这会极大地影响您处理敏感数据并确保其安全性和私密性的能力。您可以向使用端到端加密的用户提供 AI 功能。
- 更高的可用性:客户端 AI 有助于为用户实现更高的可用性。用户设备可以承担部分处理负荷,换取更多 AI 功能的使用权限。如果您的产品提供高级服务,您可以考虑提供包含客户端 AI 功能的免费层级,帮助客户了解高级服务提供的功能。
运行客户端 AI 无法完全取代和复制您在云端所做的工作。毕竟,服务器功能非常强大,能够容纳大型复杂模型,并快速提供结果。
客户端渲染并不总是正确的选择,因此在继续之前,我们想提醒您一些最佳实践:
- 设计具有优雅回退的各项功能,并在目标设备上运行基准测试。并非所有设备都能成为 AI 强力设备。
- 针对特定应用场景构建。客户端 AI 最适合特定使用情形。这些模型本身比服务器端 AI 中常见的模型要小。将流程分解为有针对性的步骤,并利用预处理和后处理,以便较小的模型仍能提供尽可能最佳的回答。
- 合理规划下载要求。AI 模型可能很大,这可能会导致移动数据和设备存储空间使用量过大。确保您为用户打造的是实用功能,并制定负责任的投放和缓存策略。
分享您的反馈
我们希望了解您对哪些使用情形最感兴趣,以及您对我们方法的反馈。您可以分享反馈并加入抢先试用计划,以便使用本地原型进行测试。
您的贡献有助于我们让 AI 成为适合所有人的强大而实用的工具。
开始使用 Chrome 中的内置 AI API。