+DL+Whisper のバックアップ(No.3)

バックアップ一覧
差分を表示
現在との差分を表示
ソースを表示
+DL+Whisper へ行く。
- 1 (2024-07-15 (月) 21:48:19)
- 2 (2024-07-16 (火) 00:50:41)
- 3 (2024-07-16 (火) 17:00:33)
- 4 (2024-07-16 (火) 21:18:45)
- 5 (2024-07-17 (水) 11:28:41)
- 6 (2024-07-17 (水) 22:07:32)

※前提条件：本情報はWhisper 1.5.0を基づいて説明してる

Whisper †[edit]

这个方案就是 OpenAI 开源的 Whisper，当然是用 Python 写的了，只需要简单安装几个包，然后几行代码一写，稍等片刻（根据你的机器性能和音视频长度不一），最终的文本内容就出来了，就是这么简单。

GitHub 仓库地址：

https://github.com/openai/whisper

参考

https://blog.csdn.net/xiaohucxy/article/details/134838912

↑

CPU †[edit]

NuGet安装下面两个包

Whisper.net
Whisper.net.Runtime

↑

GPU †[edit]

NuGet安装下面两个包

Whisper.net
Whisper.net.Runtime.Clblast

Whisper.net.Runtime.Cublas: Cublas 是 NVIDIA 提供的一个线性代数库，它包含一系列用于解决线性代数问题的函数，例如矩阵和向量相乘、矩阵相乘等。
Whisper.net.Runtime.Clblast: Clblast 是一个用于 OpenCL 的 BLAS (基础线性代数子程序) 库，它提供了一系列用于执行线性代数运算的函数。

↑

Fast-Whisper †[edit]

虽然已经很简单了，但是对于程序员来说还是不够简洁，毕竟程序员都很“懒”，Whisper 虽说安装和调用已经很简单了，但还是需要独立安装 PyTorch 、ffmpeg 甚至 Rust。

于是，就有了更快、更简洁的 Fast-Whisper。Fast-Whisper 并不是简单封装了一下 Whisper，而是是使用 CTranslate2 重新实现 OpenAI 的 Whisper 模型，CTranslate2 是 Transformer 模型的快速推理引擎。

总结一下，也就是比 Whisper 更快，官方的说法是比 Whisper 快了 4-8 倍。不仅能支持 GPU ，还能支持 CPU，连我这台破 Mac 也能用。

GitHub 仓库地址：

https://github.com/SYSTRAN/faster-whisper

运行保存在本地的large-v3模型

from faster_whisper import WhisperModel

path = r"E:\ProgramCode\PandaiToolkit\model\large-v3"
model = WhisperModel(model_size_or_path=path, device="auto", compute_type="default", local_files_only=True)

↑

源码里找到的模型的下载链接 †[edit]

_MODELS = {

   "tiny.en": "https://openaipublic.azureedge.net/main/whisper/models/d3dd57d32accea0b295c96e26691aa14d8822fac7d9d27d5dc00b4ca2826dd03/tiny.en.pt",
   "tiny": "https://openaipublic.azureedge.net/main/whisper/models/65147644a518d12f04e32d6f3b26facc3f8dd46e5390956a9424a650c0ce22b9/tiny.pt",
   "base.en": "https://openaipublic.azureedge.net/main/whisper/models/25a8566e1d0c1e2231d1c762132cd20e0f96a85d16145c3a00adf5d1ac670ead/base.en.pt",
   "base": "https://openaipublic.azureedge.net/main/whisper/models/ed3a0b6b1c0edf879ad9b11b1af5a0e6ab5db9205f891f668f8b0e6c6326e34e/base.pt",
   "small.en": "https://openaipublic.azureedge.net/main/whisper/models/f953ad0fd29cacd07d5a9eda5624af0f6bcf2258be67c92b79389873d91e0872/small.en.pt",
   "small": "https://openaipublic.azureedge.net/main/whisper/models/9ecf779972d90ba49c06d968637d720dd632c55bbf19d441fb42bf17a411e794/small.pt",
   "medium.en": "https://openaipublic.azureedge.net/main/whisper/models/d7440d1dc186f76616474e0ff0b3b6b879abc9d1a4926b7adfa41db2d497ab4f/medium.en.pt",
   "medium": "https://openaipublic.azureedge.net/main/whisper/models/345ae4da62f9b3d59415adc60127b97c714f32e89e936602e85993674d08dcb1/medium.pt",
   "large-v1": "https://openaipublic.azureedge.net/main/whisper/models/e4b87e7e0bf463eb8e6956e646f1e277e901512310def2c24bf0e11bd3c28e9a/large-v1.pt",
   "large-v2": "https://openaipublic.azureedge.net/main/whisper/models/81f7c96c852ee8fc832187b0132e569d6c3065a3252ed18e56effd0b6a73e524/large-v2.pt",
   "large-v3": "https://openaipublic.azureedge.net/main/whisper/models/e5b1a55b89c1367dacf97e3e19bfd829a01529dbfdeefa8caeb59b3f1b81dadb/large-v3.pt",
   "large": "https://openaipublic.azureedge.net/main/whisper/models/e5b1a55b89c1367dacf97e3e19bfd829a01529dbfdeefa8caeb59b3f1b81dadb/large-v3.pt",

}

コメント：