工具简介
Whisper 是 OpenAI 于 2022 年 9 月发布的开源语音识别（ASR）模型，同时也是整个 AI 语音转录领域最具影响力的基础设施项目之一。它的独特之处在于采用了端到端的 Transformer 架构，在 68 万小时的多语言、多任务监督数据上进行训练——这个训练数据集的规模和多样性在当时远超任何同类开源项目。Whisper 能够将音频文件转写成带标点、带时间戳的文本，并支持从音频直接翻译为英文（语音翻译功能）。模型覆盖 99 种语言，具备自动语言检测能力，在嘈杂环境、重口音和方言等复杂场景下的鲁棒性尤为突出。
Whisper 提供了五种模型规格——tiny（39M 参数）、base（74M）、small（244M）、medium（769M）和 large-v3（1.5B 参数），用户可以根据硬件条件和精度需求灵活选择。部署方式极其多样：可以在本地用 Python 命令行直接运行，可以通过 OpenAI API 按量付费调用（$0.006/分钟），也可以使用社区开发的图形界面工具如 Buzz、MacWhisper、WhisperX 等。由于开源且本地部署零成本，Whisper 已成为会议记录、视频字幕生成、采访整理等场景的事实标准工具。
核心功能
多语言语音转文字：支持 99 种语言的音频转录，覆盖全球主要语言和众多小众语言。Whisper 的特别之处在于跨语言的鲁棒性——即使面对重口音英语（印度英语、苏格兰英语）、方言中文（粤语、四川话）或混合语言场景（中英夹杂），识别准确率仍保持在可用水平。转录结果自动包含标点符号和段落划分，无需后期人工整理格式。
自动语言检测：不需要预先指定音频语言——Whisper 会自动检测音频的前 30 秒内容来确定语种，然后选择对应的语言模型进行转录。这一特性对于处理多语言混合的音频内容（如国际会议、多语种播客）非常实用。虽然也可以手动指定语言以获得更高精度，但自动检测在大多数场景下已经足够可靠。
时间戳对齐：Whisper 输出的转录结果包含句子级别的时间戳（起始时间→结束时间），可以直接用于生成 SRT/VTT 字幕文件。这对于视频内容制作来说极为实用——导入一个字幕编辑工具，微调时间轴后就能导出最终字幕。
语音翻译（Speech Translation）：除了将语音转为同语言文本，Whisper 还支持将任意语言的语音直接翻译为英文文本输出。这个功能在非英语内容创作者想要制作英文字幕或英文摘要时非常方便。
多级模型灵活选择：从可以在树莓派上运行的 tiny 模型（39M 参数，约 150MB 磁盘空间）到需要 GPU 才能流畅运行的 large-v3 模型（1.5B 参数），用户可以根据设备和任务需求自由选择。日常中文转录用 medium 模型足够，英文转录 small 模型即可满足大部分需求。
上手体验
Whisper 的上手路径取决于用户的技术背景。对于开发者，最简单的使用方式是安装 openai-whisper Python 包（`pip install openai-whisper`），然后一行命令即可转录音频：`whisper audio.mp3 --model medium --language Chinese`。首次运行会自动下载模型权重文件（几百 MB 到几 GB 不等），之后就可以离线使用。对于非技术用户，推荐使用基于 Whisper 的图形界面工具——Mac 用户可以用 MacWhisper（App Store 直接下载），Windows 和 Linux 用户可以用 Buzz——这些工具封装了 Whisper 的底层复杂性，提供了拖拽音频文件、选择语言、一键转录的简单体验。
转录速度取决于模型大小和硬件配置。以 medium 模型为例，在 Apple Silicon Mac 上转录 1 小时音频大约需要 5 到 10 分钟；large-v3 模型在同样的硬件上可能需要 20 到 30 分钟。对于需要处理大量音频的用户，建议搭配 NVIDIA GPU 或使用 OpenAI API（$0.006/分钟，转录 1 小时约 $0.36）。转录质量的感受是：如果在安静环境录制、清晰标准口音，识别准确率可以达到 95% 以上；嘈杂环境或有方言时，准确率会下降到 80% 至 90%。对于中英文夹杂的音频，Whisper 的表现优于大多数商业方案。
价格方案
| 使用方式 | 费用 | 硬件需求 | 适合场景 |
|---|---|---|---|
| 本地部署（开源） | 完全免费 | 至少 4GB RAM，GPU 推荐 | 隐私敏感、大批量、离线场景 |
| OpenAI API | $0.006/分钟（约 $0.36/小时） | 无（云端处理） | 小批量按需使用、集成到应用 |
| 社区 GUI 工具 | 免费（部分工具付费去水印） | 至少 4GB RAM | 非技术用户、日常转录 |
注：以上价格为 2026 年公开信息整理，OpenAI API 价格以 platform.openai.com/pricing 实时显示为准。本地部署的 Whisper 模型本身完全免费，无需任何 API Key。
优点与局限
优点：完全免费和开源是 Whisper 最根本的优势——不需要付费、不需要 API Key、不需要网络连接，所有处理在本地完成，数据不会离开用户的设备。这对于医院、律所、政府等对数据安全和隐私有严苛要求的机构来说，是选择 Whisper 的决定性因素。多语言鲁棒性和跨场景泛化能力在开源方案中处于绝对领先地位——在嘈杂环境、重口音、方言和混合语言场景下，Whisper 的表现经常优于商业付费方案。部署生态极其丰富，从 Python 命令行到各种图形界面工具到移动端应用，几乎任何平台都能找到基于 Whisper 的可用方案。
局限：原版 Whisper 不支持实时流式转录——必须录完整段音频才能开始处理，这对于需要"边说边出字幕"的实时场景（如直播字幕、会议实时记录）是不可接受的。大模型运行成本不低——large-v3 模型在 CPU 上处理 1 小时音频可能需要 30 分钟以上，实际流畅使用至少需要一块中端 GPU。原版 Whisper 不提供说话人分离功能，多人会议录音需要额外配合 WhisperX 或 PyAnnote 来做 Speaker Diarization。中文数字、专有名词和某些行业术语的识别准确率仍有提升空间。
适合人群
- 内容创作者和视频制作者：需要为 YouTube、B站、抖音等平台的视频批量生成字幕，Whisper 的时间戳精度足以直接生成 SRT 文件。
- 记者和研究人员：将几小时的深度采访录音快速转为文字稿，大幅减少手工整理的时间——以前需要一天的工作现在半小时完成。
- 企业和机构的数据安全团队：医院、律所、政府等机构可以在内网部署 Whisper，确保患者/客户/机密的音频数据不流出内部网络。
- 开发者和技术团队：需要将语音识别能力嵌入到自己的应用或服务中，Whisper 的开源特性意味着零授权费和完全的可定制性。
同类工具对比
| 对比维度 | Whisper | Deepgram | AssemblyAI |
|---|---|---|---|
| 开源 | ✅ 完全开源 | ❌ 闭源商业 | ❌ 闭源商业 |
| 价格 | 免费（自托管） API: $0.006/分钟 | $0.0059/分钟起 | $0.015/分钟起 |
| 实时转录 | ❌ 不支持（需第三方） | ✅ 原生支持 | ✅ 原生支持 |
| 语言支持 | 99 种 | 30+ 种 | 30+ 种 |
| 适合场景 | 离线、隐私、大批量、预算敏感 | 实时应用、客服、语音助手 | 内容分析、LLM 集成 |
常见问题
Q: 我应该用哪个模型大小？
A: 英文日常转录用 small 或 base 模型即可，准确率已经足够。中文转录建议用 medium 模型，中文对模型理解能力的要求高于英文。large-v3 模型只有在需要最高精度或处理极端困难音频（极强噪音、多种方言混合）时才需要使用。
Q: Whisper 能实时转录吗？
A: 原版 Whisper 不支持实时流式转录，必须先录完整段音频再处理。如果需要实时功能，可以尝试基于 Whisper 的 Whisper.cpp（支持流式处理）或换用 Deepgram、AssemblyAI 等原生支持实时转录的商业服务。
Q: 本地运行需要什么电脑配置？
A: tiny 和 base 模型几乎可以在任何现代电脑上运行（包括树莓派）。small 和 medium 模型建议至少 8GB RAM。large-v3 模型建议配备 NVIDIA GPU（至少 8GB 显存）或在 Apple Silicon Mac 上运行以获得可接受的处理速度。
Q: Whisper 生成的文本有标点符号吗？
A: 有。Whisper 会自动添加标点符号和段落划分，输出已经是格式良好的文本。中文转录的结果包含逗号、句号和自然段落分隔。
Q: OpenAI API 的 Whisper 和本地开源的 Whisper 有什么区别？
A: API 版使用的是 OpenAI 托管的优化版本，处理速度更快（云端 GPU）、不需要本地计算资源，但需要付费且音频会上传到 OpenAI 服务器。本地版完全免费、数据不外传，但需要自备硬件。两者识别质量相近，API 版在处理速度上有优势。