档案库 · 产品创意 · 产品决策 · 2024
秘密羊驼通过WebGPU在浏览器中运行Llama 3，聊天数据永不离开你的电脑
一个免费的聊天机器人将Llama 3、Mistral或TinyLlama下载到浏览器中，并通过WebGPU在本地运行——无需服务器、无需安装、数据不出本机。
Secret Llama
当时的题目
In spring 2024, a capable open-source model meant downloading llama.cpp or similar and managing GPU software, while every easy web chatbot sent prompts to someone else's server. WebGPU was just arriving in mainstream browsers, and MLC AI's WebLLM engine offered in-browser inference that was still rough around the edges.
它是怎么成立的
在2024年初，AI聊天机器人的隐私故事是一个关于政策的故事：公司承诺不会滥用你的提示。Secret Llama的作者在WebGPU中看到了不同的答案——WebGPU是允许网页使用当地显卡的浏览器API。如果模型本身能在浏览器标签页中运行，隐私就不再是公司的承诺，而成为架构所保证的东西——没有对话数据会离开电脑。
Secret Llama就是这个想法打包成任何人都能尝试的产品。这个开源项目将MLC AI的WebLLM推理引擎与ChatGPT风格的界面相结合，提供TinyLlama、Llama 3 8B、Phi和Mistral等量化版本，大小从600MB到4.3GB不等，仅在首次消息后才下载选中的模型到浏览器存储。系统要求明确列出：支持WebGPU的浏览器，如Chrome或Edge，Firefox支持在标志后启用。
2024年5月3日的Show HN获得了547分和139条评论。用户对自己硬件的性能感到惊讶——一部Pixel 6手机运行TinyLlama“准确性惊人”，一位桌面用户在应对许多提示时发现本地Llama 3与ChatGPT-4能抗衡——与此同时作者在帖子里回答了关于浏览器存储、模型格式和bug的问题。该仓库后来显示了2700星和169个分叉，现场演示仍然保持在secretllama.com。
妙在哪
- 在标签页中运行模型把隐私承诺变成了技术事实，这是任何措辞的政策都无法比拟的。
- WebGPU让用户现有的GPU发挥作用，因此“本地AI”无需安装、无需命令行、无需驱动设置。
- ChatGPT风格的界面消除了好奇用户与底层引擎之间的障碍，让演示本身成了卖点。
- 当天上线了一个实时站点，让社区能立即测试，用户真实的硬件报告便成了最好的证明。
做出来什么
Posted as Show HN on 3 May 2024, it drew 547 points and 139 comments: a Pixel 6 user ran TinyLlama with alarming accuracy, an RTX 2080 owner said local Llama 3 competed with ChatGPT-4 on many prompts, and the author fixed reported bugs within a day. The repo page later showed 2.7k stars and 169 forks, and the demo remained live.
可以借走的
用改变架构而非改变政策来解决信任问题：当隐私成为卖点时，把计算放在数据所在之处，用可运行的演示来证明你的说法。
后来
发布帖子看起来像是一次本地大模型的入门引导：首次使用者发现他们的手机和笔记本电脑就能运行开源模型，而老手们则带领新玩家深入了解WebLLM和量化的世界；作者一方面承诺即将支持聊天记录和更多模型，另一方面第二天就修复了报告的bug。该仓库保持开源，演示仍然在线，这个项目成为使自带硬件运行模型变得司空见惯的浪潮中的一员。它的真正遗产既是技术上的，更是言辞上的：它为“隐私AI”提供了一个无需你信任任何人的现场演示。
资料来源
发现哪里写错了？告诉我们。
轮到你了
你刚读完一个点子。把你手上的题目说出来，看看谁接过同样的题。
免费账号 · 3 次免费提问 · 不用绑卡