Web LLM

Web LLM项目是将大型语言模型和基于LLM的聊天机器人引入Web浏览器的项目。它在浏览器中运行，无需服务器支持，并使用WebGPU进行加速。这为我们构建AI助手并在享受GPU加速的同时保护隐私提供了许多有趣的机会。

该项目的目标是将LLM直接嵌入到客户端，并在浏览器内直接运行。如果能够实现这一点，我们可以为客户端提供个人AI模型的支持，从而降低成本，提高个性化和保护隐私。现在的客户端性能已经非常强大了。如果我们能简单地在浏览器中打开并直接使用AI，那将更加令人惊叹。

目前生态系统中已有一定程度的成熟度，该项目对这个问题给出了积极的答案。

您可以通过以下步骤尝试Web LLM的演示：

安装Chrome Canary，这是Chrome的开发者夜间版本 [https://www.google.com/chrome/canary/]。
打开终端，并使用以下命令启动Chrome Canary：/Applications/Google\ Chrome\ Canary.app/Contents/MacOS/Google\ Chrome\ Canary –enable-dawn-features=allow_unsafe_apis
打开Web LLM的聊天演示 [https://webllm.mlc.ai/]。
在演示中选择您想要尝试的模型，并输入您的问题或输入。
点击“发送”按钮，即可获得答案。