Skip to content

Repository files navigation

VideoSummaryAI

项目简介

VideoSummaryAI 是一个面向 Windows 的本地视频字幕工具,提供 faster-whisper 转录、中文 AI 总结、关键词搜索、时间定位、可选的 PotPlayer 联动,以及简体中文和 English 字幕翻译。

Whisper 只处理音轨。本项目不做视觉理解,也不分析视频画面。

核心功能

  • faster-whisper 本地语音转录与 NVIDIA CUDA 加速
  • 自动识别语言,或手动选择日语、中文、英语
  • 基于结构化 transcript 的中文 AI 视频总结
  • 字幕关键词搜索与时间戳跳转
  • 内置 Qt 播放器
  • 可选 PotPlayer 联动
  • 生成简体中文字幕和 English 字幕
  • 转录、总结与翻译缓存及缓存管理
  • 视频移动后,通过独立关联记录重新绑定既有 transcript

环境要求

已验证配置

  • Windows 11 x64
  • Python 3.14.7 x64
  • NVIDIA RTX 5060 和支持 CUDA 12 的当前驱动
  • faster-whisper 1.2.1、CTranslate2 4.8.1、PyAV 18.1.0、NumPy 2.5.2
  • PySide6 6.11.2
  • requirements.txt 中固定版本的 NVIDIA CUDA 12 Python 包

必要条件

  • Windows x64 和 Python 3.14 x64
  • 支持 CUDA 与 float16 的 NVIDIA GPU 和可用驱动
  • 已下载、兼容 faster-whisper 的本地模型目录;large-v3 是本项目实际验证的模型
  • 足够的磁盘空间安装 Python、Qt 和 NVIDIA 运行库

AI 总结和字幕翻译还需要已安装的 Codex CLI、有效登录和网络连接。PotPlayer 为可选组件。

安装

git clone https://github.com/OWNER/VideoSummaryAI.git
cd VideoSummaryAI
setup.bat

setup.bat 只创建仓库内的 .venv,不会修改系统 Python、系统 PATH、CUDA Toolkit 或 NVIDIA 驱动。

首次运行:

start.bat

程序会提示“未配置 Whisper 模型”,点击“选择模型目录”,选择包含下列文件的完整 faster-whisper 模型目录:

  • config.json
  • model.bin
  • tokenizer.json
  • vocabulary.json
  • preprocessor_config.json

模型路径写入本机 user_settings.json,该文件已被 Git 忽略。程序不会自动下载模型。

使用流程

  1. 选择或拖入本地视频。
  2. 选择自动识别或指定语言,点击“开始转录”。
  3. 转录完成后可生成 AI 总结。
  4. 使用关键词搜索并点击时间戳定位视频。
  5. 在“字幕翻译”页选择简体中文或 English。
  6. 使用内置播放器,或通过 PotPlayer 打开视频和当前字幕。

同一视频与相同参数会复用缓存。视频移动后,可运行:

.venv\Scripts\python.exe -B -m tools.associate_transcript_video "data\transcripts\CACHE_ID.json" "新的视频路径"

关联要求文件名和大小与 transcript 记录一致;它不会改写 transcript。

AI 总结与翻译

程序自动查找当前有效的 codex.exe,并检查版本、登录状态和 codex exec 参数。未安装或未登录时,转录、搜索和内置播放器仍可使用,AI 功能会显示明确错误。

总结使用分块与分层处理。翻译只向 Codex 发送 segment 的 id/text;时间戳由本地 Python 从 transcript 保留。结果使用原子写入和独立缓存。

隐私

  • Whisper 转录在本机完成,模型以离线模式加载。
  • 使用 AI 总结或字幕翻译时,transcript 文本会发送给用户自己登录的 Codex 服务。
  • 原视频不会因为总结或翻译而自动发送给 Codex。
  • 视频、缓存、日志、设置、模型和字幕默认不会进入 Git。

PotPlayer(可选)

程序会从用户设置、常见安装位置、注册表和 PATH 查找 PotPlayer。找不到时可以手动选择 PotPlayerMini64.exe 或 PotPlayerMini.exe。没有 PotPlayer 不影响程序启动和内置播放器。

桌面快捷方式(可选)

完成安装后运行:

powershell -NoProfile -ExecutionPolicy Bypass -File .\tools\create_shortcut.ps1

脚本按当前 clone 目录动态创建快捷方式,不包含固定磁盘路径。

测试

.venv\Scripts\python.exe -B -m unittest discover -s tests -q
.venv\Scripts\python.exe -m pip check

脱敏验证结果见 docs/VALIDATION.md。

已知限制

  • 当前重点验证 Windows x64、Python 3.14 和 NVIDIA CUDA;未宣传其他平台支持。
  • QtMultimedia 能否播放某种编码取决于本机媒体组件。
  • AI 总结和翻译速度受 Codex 服务与网络影响。
  • ASR 可能错误识别专有名词,生成字幕仍应人工检查。
  • 当前是 segment 级时间戳,不提供逐词对齐。
  • 不提供视觉分析、OCR 或画面理解。

License

项目源码采用 MIT License。第三方依赖按各自许可证提供,详见 THIRD_PARTY_NOTICES.md。

English documentation: README.en.md

About

Local Windows video transcription, AI summarization, timestamp search, PotPlayer integration, and Chinese/English subtitle translation powered by faster-whisper and Codex.

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages