档案库 · 产品创意 · 产品决策 · 2023–2026
ScratchDB 让仓库变 API:发 JSON 得表,查询或分享
Scratch Data 将 ClickHouse、DuckDB 等包装成 HTTP 服务,JSON 数据自动建表,链接过期分享查询结果。
Scratch Data
当时的题目
Powerful analytical databases existed, but getting data into them still meant pipelines, schemas and connectors — the annoying part of analytics. Scratch Data, which launched on Hacker News as an open-source answer to the Snowflake experience, built a wrapper that streamed data in and out of an analytics database over plain HTTP.
它是怎么成立的
到 2023 年,分析数据库快速且强大,但围绕它们的体验仍属于数据工程师:每个新数据集意味着管道、模式、连接器和权限,之后才能运行查询。Scratch Data 的答案是让数据库本身说 HTTP——一个包装器,接受任意 JSON 作为输入,执行分析查询,底层数据库选择由它处理。
快速入门展示了体验提升有多大。克隆仓库并运行 Go 服务器,无需配置即可使用本地 DuckDB。向插入端点发送一条 curl POST,JSON 自动创建 events 表及其列;查询端点接受 SQL;分享端点返回链接,在设定时长内以 CSV 或 JSON 提供结果;复制端点对数据库运行 SQL,并在另一数据库中自动创建目标表。同一接口通过配置文件支持 ClickHouse、BigQuery、Redshift 等后端。
项目于 2023 年 10 月 27 日发布到 Hacker News,获得 261 分和 56 条评论。它作为开源工具而非头条产品持续成熟:到 2026 年 9 月的仓库快照,显示约 1.1k 星、52 个分叉和 245 次提交,仍以同样方式自我介绍——大数据瑞士军刀,将数据流入流出你的分析数据库。
妙在哪
- 说 HTTP 意味着任何脚本、服务或开发者工具都可以将仓库视为端点,而不是拥有 SDK 和管道的项目。
- 从 JSON 负载自动创建表和列,移除了阻碍临时分析的步骤。
- 过期分享链接将查询结果变成可分发的制品,无需仪表板产品即可处理报告需求。
- 复制端点让数据库间移动数据成为 SQL 语句,而不是 ETL 任务。
做出来什么
The Show HN on 27 October 2023 drew 261 points and 56 comments, and the repository kept growing: the September 2026 snapshot showed roughly 1.1k stars, 52 forks and 245 commits, with the project still describing itself as a swiss army knife for big data and documentation live at docs.scratchdata.com.
可以借走的
当分析最痛苦的部分是数据入库时,设计摄入体验:让 JSON 自动创建模式,将仓库变成开发者可以 curl 的东西,而不是一个项目。
后来
Scratch Data 在发布后坚持其原始论点:包装器方法使其默认使用 DuckDB 零设置启动,同时支持更重的分析数据库用于生产,仓库到 2026 年快照继续累积提交和分叉。项目的安静成功揭示了'仓库体验'中实际有多少是摄入和分享便利性——Snowflake 作为产品出售的部分——以及开源包装器通过将它们变成几个 HTTP 调用能走多远。
资料来源
发现哪里写错了?告诉我们。
轮到你了
你刚读完一个点子。把你手上的题目说出来,看看谁接过同样的题。
免费账号 · 3 次免费提问 · 不用绑卡