Vibe Coding练习项目：开发一个“AI 零笔记”引言

作为一个经常观看海外技术视频的求职者，我一直有个痛点：视频干货很多，但做笔记太耗时。听完一场微软开发者频道的分享，要暂停、回退、手敲重点，效率极低。于是我开始折腾一个工具——AI 零笔记，让 AI 在后台默默把视频声音录下来、转成文字、再提炼成 Markdown 笔记，视频放完笔记也就写好了。

这篇文章就来讲讲这个项目的设计思路、技术栈、以及目前 demo 阶段的产出。

1. 项目定位：不只是转录，而是直接给你“笔记”

市面上自动生成会议纪要的工具很多，但大多只停留在转录，把语音变成一坨巨大的纯文本，你得自己从头梳理。而我想要的是结构化笔记，就像听课时在 Notion 里敲的那种：

有标题、摘要
关键点用列表展开
专业术语单独列成中英文词汇表
甚至把讲者提到的代码片段摘出来

所以 AI Zero Notes 的定位非常明确：视频在播，笔记在手。 它通过一条自动化流完成 系统音频捕获 → 语音转文字（ASR）→ AI 总结提炼 → 输出 Markdown 笔记，整个流程无需任何手动操作。

2. MVP 功能：和“智能实习生”配合的四步闭环

根据当前 MVP 的需求文档，核心功能拆成四步：

2.1 系统音频捕获

为了避免录进环境噪音，软件只捕获系统输出声音（“立体声混音”或 macOS 的 BlackHole 虚拟设备），而不是麦克风。用户可以在听海外视频的同时做别的事，录制支持开始/暂停/停止，并有波形或时长提示。

2.2 语音转文字（ASR）

目前最稳妥的方案是直接对接 OpenAI Whisper API（也预留了其他 ASR 服务商的接口）。音频分段上传并转写，拿到带时间戳的纯文本。在 demo 后端中，我配置了 ASR_DEFAULT_PROVIDER 环境变量，可以切换 whisper 或自定义 challenger，方便未来做识别准确率对比。

2.3 AI 智能总结——用“Power User”的方式来写提示词

这是最核心的一步。视频转写出来的文本可能很长、很口语。如果直接丢给大模型说“帮我总结一下”，你大概率会拿到一坨平均质量的内容（就是我们内部开玩笑说的 “AI Slop”）。

在项目一开始，我就单独设计了一套 高阶提示词方案，它本身就是 AI Zero Notes 的第一个产出物。下面是当时用一段 AI 教学视频转录后，经过专门优化的提示词（Prompt）所生成的结构化笔记，我把它保存为了 Markdown 文件：

这份笔记名为 “AI Prompting Mastery: From Novice to Power User”，内容本身就是一个 教人写更好提示词的指南，非常切题地成了本项目 AI 总结模块的“心法”。

它里面有一些亮眼的概念，比如：

AI Novice vs AI Power User：新手把 AI 当 Google 用，高手把 AI 当成“聪明实习生”，给足上下文、问中立问题、不断迭代。
Sycophancy（谄媚）：AI 倾向于附和用户的偏见，所以提问时要警惕，用评分标准（Rubric）来让 AI 客观评价。
Iterate（迭代）：通过反复反馈打磨输出，拒绝一次性生成。
AI Slop：指低质、千篇一律的 AI 产出，我们设计总结提示词时重点要避免这个。

这些思想被直接应用到了本项目的后端代码里。实际工作时，系统会将转录文本连同类似上面这种“写作要求”一并发给大模型（如 OpenAI Chat API 或 DeepSeek 兼容接口），让模型把自己当成高水平的笔记整理者，而不是一个机械的总结机器。

2.4 笔记输出与预览

最终生成的笔记直接存为 .md 文件，文件名可以包含视频标题或时间戳。前端会提供一个干净的预览界面，支持复制全文，或者不满意也可以重新生成（这就用到了“迭代”思想）。

3. 技术栈一览：Java 21 + Vue 3 + OpenAI API

整个工程命名为 ai-no-note，采用前后端分离架构，刚好覆盖全栈开发者的日常技能栈。项目结构很清爽：

▼
text
复制代码
ai-no-note/
├── backend/        # Java 21, Spring Boot 3
└── frontend/       # Vue 3 + Vite + TypeScript

后端核心

后端是整个流水线的编排者，主要做三件事：

接收 MP3 文件上传（后续会集成实时音频流）。
调用外部 ASR 服务（Whisper 等）进行转写。
将转写文本发给 LLM 做结构化总结，并输出 Markdown 文件。

具体的配置完全基于环境变量，方便在不同环境中切换模型，比如：

SUMMARY_BASE_URL, SUMMARY_API_KEY, SUMMARY_MODEL 控制摘要模型。
DEEPSEEK_BASE_URL, DEEPSEEK_API_KEY, DEEPSEEK_MODEL 作为备选。
APP_OUTPUT_DIR 指定笔记文件输出路径。

因为目前是 demo，我们只支持了 .mp3 文件的上传（最大 25MB），通过 REST API 返回下载链接。未来接入系统音频流后会封装成实时管道。

前端交互

前端基于 Vite + Vue 3，目前是一个简洁的单页面：上传文件按钮，点击生成，然后等待 Markdown 结果渲染出来。后面会加入录制控制条和实时转写预览。

一个有趣的小工具：ASR 准确率对比

为了选更好的语音识别方案，我顺手在后端加了一个 /api/notes/compare-transcription 接口。你可以上传同一个 MP3 和对应的正确抄本（referenceText），它会同时调用 Whisper 和自定义的 challenger ASR，返回双方的转录文本以及 WER（词错误率）。这样量化比较，对后期优化帮助很大。

4. 用提示词“心法”做总结：一次实践产出

回到前面那张笔记截图，里面出现了一个中英对照术语表：

英文	中文	解释
Prompt	提示词	输入给 AI 的文本
Context	上下文	提供背景信息以获得更佳回答
Sycophancy	谄媚	AI 迎合用户偏见的倾向
Rubric	评分标准	指导 AI 客观评估的准则
Iterate	迭代	通过反馈反复优化输出
AI Slop	AI垃圾	低质、千篇一律的 AI 生成内容
Thinking Partner	思考伙伴	用 AI 进行头脑风暴与协作探索

这套术语表正是当我把一段关于“如何进阶使用 AI”的音频转录后，让大模型按照 “输出中英对照术语表 + 多层次要点分层” 的要求自动提炼出来的。 md笔记中更详细地展示了 Level 1（基础错误）的关键点。可见，只要 prompt 设计得当，AI 可以稳定输出非常标准的结构化笔记——这就是 AI Zero Notes 的最终交付形态。

5. 未来计划：从 Demo 到开源个人作品

目前的 MVP 跑通了 上传 MP3 → 返回 Markdown 的一条链路，demo效果如图：

输出的markdown笔记效果如下，是不是初见端倪了？

但离“打开视频即自动生成笔记”的理想形态还有几步：

实时系统音频流：在 Electron 或桌面版前端中直接捕获系统声音，不再依赖手动录好的 MP3。这是下一步的重点。
本地 Whisper 模型：减少对网络 API 的依赖，让转写在无网或弱网下也能工作。
历史记录与搜索：保存过去的笔记，支持全文搜索。
多语言/口音优化：针对非英语母语讲者（如印度口音的英文技术视频）做提示词和模型微调。

整个项目的原创设计、前端后端代码和提示词方案，我会在完善后全部开源到 GitHub，作为自己的一个独立作品，也希望能帮到有相同需求的学习者。

结语

AI Zero Notes 的初衷就是消灭“知识过耳即忘”的焦虑。你专心听讲，AI 用心整理。把语音转录、大模型总结和程序员常用的 Markdown 工作流串起来，确实能给视频学习体验带来一个小而美的质变。如果你对这类工具有兴趣，或者有更好的提示词技巧，欢迎一起交流，让我们的“智能实习生”干得更出彩。