← 返回知识库

除了 CosyVoice,还有哪些各管一件事的模型?

把 AI 模型想成一队分工不同的帮手:有的负责说,有的负责听,有的负责看,还有的负责帮你找资料。先想清楚自己要把什么变成什么,再选模型。 ① 让文字开口说:CosyVoice。输入讲稿,输出配音;适合视频旁白、数字人说话。它不是负责回答问题的聊天模型。 ② 把声音听成字:SenseVoiceSmall、Whisper tiny/base。输入录音,输出文字;适合会议记录、采访整理、字幕。方向和 CosyVoice 正好相反。 ③ 写字和想办法:Qwen3-0.6B、Qwen3-1.7B。输入问题或草稿,输出回答、改写或摘要;像随身文字助手,但重要事实仍要核对。 ④ 看图再回答:Qwen3-VL-2B。输入图片加问题,输出解释;适合问截图里有什么、图表大意是什么。 ⑤ 把图片里的字抄出来:PaddleOCR 的 PP-OCRv5_mobile。输入票据、截图或扫描页,输出识别到的文字。它更像抄写员,不负责判断内容真假。 ⑥ 帮资料配“相似度索引”:BGE-small-zh-v1.5。输入一句话,输出便于比较相似度的数字向量;适合在自己的知识库里找相关段落。它只负责“找”,要组织答案还得接文字模型,这就是 RAG 常用的分工。 ⑦ 画图:SD-Turbo。输入画面描述,输出图片;适合概念图和视觉草稿。名字里有 Turbo 是生成速度设计,不等于文件小或普通电脑都跑得动。 ⑧ 写一小段音乐:MusicGen-small。输入风格描述,输出音乐片段;适合试做背景音乐。 ⑨ 把描述变成短视频:Wan2.1 T2V-1.3B。输入画面描述,输出视频;它虽是该系列较小的版本,生成仍比文字任务吃显卡和时间。 这些模型都有可获取的权重或本地运行方案,但“能下载”不等于“你的电脑能顺畅运行”。0.6B、1.3B 里的 B 是十亿个参数,Whisper tiny 的 39M 里 M 是百万个参数;参数数目不是下载体积,也不能直接代表显存需求或效果。“专用”也不等于一定“小”。先选任务,再查模型的安装说明、硬件要求与使用许可。模仿真人声音前,要取得本人授权。

把 AI 模型想成一队分工不同的帮手:有的负责说,有的负责听,有的负责看,还有的负责帮你找资料。先想清楚自己要把什么变成什么,再选模型。

让文字开口说CosyVoice

输入:讲稿→输出:配音

适合视频旁白、数字人说话。它不是负责回答问题的聊天模型。

把声音听成字SenseVoiceSmall、Whisper tiny/base

输入:录音→输出:文字

适合会议记录、采访整理、字幕。方向和 CosyVoice 正好相反。

写字和想办法Qwen3-0.6B、Qwen3-1.7B

输入:问题或草稿→输出:回答、改写或摘要

像随身文字助手,但重要事实仍要核对。

看图再回答Qwen3-VL-2B

输入:图片加问题→输出:解释

适合问截图里有什么、图表大意是什么。

把图片里的字抄出来PaddleOCR 的 PP-OCRv5_mobile

输入:票据、截图或扫描页→输出:识别到的文字

它更像抄写员,不负责判断内容真假。

帮资料配“相似度索引”BGE-small-zh-v1.5

输入:一句话→输出:便于比较相似度的数字向量

适合在自己的知识库里找相关段落。它只负责“找”,要组织答案还得接文字模型,这就是 RAG 常用的分工。

画图SD-Turbo

输入:画面描述→输出:图片

适合概念图和视觉草稿。名字里有 Turbo 是生成速度设计,不等于文件小或普通电脑都跑得动。

写一小段音乐MusicGen-small

输入:风格描述→输出:音乐片段

适合试做背景音乐。

举个例子

想做一条宠物介绍短片:用 Qwen3-0.6B 整理讲稿 → 用 CosyVoice 念旁白 → 用 SD-Turbo 试画封面;手上已有采访录音,就先用 SenseVoiceSmall 或 Whisper 转文字。想让蜘蛛从自己的资料里找答案,可以先用 BGE 建索引,再用文字模型组织回答。