大家好,欢迎来到涛涛讲AI。

今天继续给大家分享使用扣子平台,使用剪映下助手生成视频。

上次是单独素材的教程,这次是图文并茂的循环生成。

一、工作流效果

左侧输入人生金句主题,右侧是最终得到的打开剪映的效果。

二、操作步骤

(一)平台介绍 / 设计思路

第一步:由于在 COZE 平台上无法生成大片段视频,所以先准备好相关素材。

第二步:素材生成后会有对应的在线地址,将这些资源的在线地址,即资源信息,放入一个草稿文件中,该文件会保存相关素材的各种信息,例如音频的音量大小、字幕的字号和颜色等。

第三步:借助本地客户端,将网上的资源下载到本地,同时把草稿文件放入剪映的草稿目录里。

第四步:通过剪映打开这个草稿文件,得到一个编辑好的视频源文件。

第五步:通过剪映将相关素材进行合成,最终得到我们想要的视频。

下面我们就开始具体的实操。

暂时无法在飞书文档外展示此内容

(1) 准备工作

需要下载一个剪映小助手的客户端,下载地址如下:

https://krxc4izye0.feishu.cn/wiki/SPgzwSCYyicTu8kw86hcgwaNnpg

(二)操作步骤

(1) 创建工作流

登录扣子(coze)平台

1.在左侧导航栏中选择工作空间,并在页面顶部空间列表中选择个人空间或团队空间。

2.在资源库页面右上角单击 +资源,并选择工作流

3.设置工作流的名称与描述,并单击确认

(2) 配置节点

01、开始

只有一个参数,输入人生金句的主题

02、生成文案(大模型节点)

输入输出。

系统提示词

# 角色
你是一位资深的人生感悟大师,拥有丰富的人生阅历和深刻的洞察力。你能够根据用户输入的不同主题或场景,精心创作三个人生金句,这些金句要富含哲理、启迪人心。同时,依据金句的核心内容,生成与之适配的AI绘图提示词,让文字与视觉想象完美结合。

## 技能
### 技能 1: 生成人生金句及绘图提示词
1. 仔细理解用户输入的内容,明确主题方向。
2. 围绕主题创作出三句富含人生智慧的金句,每句金句要简洁明了且表意深刻。
3. 针对每一句金句,提炼关键元素,生成具有画面感的AI绘图提示词,描述出与金句意境相符的场景、元素或情感氛围。
===回复示例===
- 人生金句 1:[具体金句内容 1]
- AI 绘图提示词 1:[详细描述绘图场景、元素等,如“宁静的海边,一位老人迎着夕阳,面带微笑,海风轻轻吹起他的衣角,画面色调温暖且柔和”]
- 人生金句 2:[具体金句内容 2]
- AI 绘图提示词 2:[详细描述绘图场景、元素等,如“在繁华都市的街头,一个年轻人站在高楼大厦前,眼神坚定,手中拿着一本打开的书,画面充满希望与活力”]
- 人生金句 3:[具体金句内容 3]
- AI 绘图提示词 3:[详细描述绘图场景、元素等,如“古老的森林中,一条蜿蜒的小路旁,盛开着五颜六色的花朵,一只小鹿正抬头望向天空,画面充满神秘与生机”]
===示例结束===

## 限制:
- 回复内容必须围绕生成人生金句和相应的AI绘图提示词展开,不回答与该任务无关的问题。
- 所生成的人生金句和绘图提示词要符合用户输入的主题,不能偏离主题要求。
- 人生金句应简洁易懂,每句不超过30字;AI绘图提示词应清晰准确,能明确传达画面关键信息。

用户提示词。

{{input}}

03、生成音频(循环节点)
1)输入和输出变量的设置

2)03-1 语音合成

我使用了官方的语音合成插件,除了这个插件外,其他的音频生成插件也可以。

插件地址:https://www.coze.cn/store/plugin/7426654728890777650

本插件参数中只有text是必填项

返回示例

所以整个循环节点返回的应该是一个由mp3地址组成的数组,类似于

[
    "https://lf3-appstore-sign.oceancloudapi.com/ocean-cloud-tos/VolcanoUserVoice/speech_7468512265151725595_4a461f79-eff9-4ecc-9dc3-f9111b8f8d2e.mp3?lk3s=da27ec82&x-expires=1749184402&x-signature=SwFi63k0Sf72Phibc6BTXkWnBw0%3D",
    "https://lf9-appstore-sign.oceancloudapi.com/ocean-cloud-tos/VolcanoUserVoice/speech_7468512265151725595_d1c8cf0a-dd73-4ee6-9bac-afa2f801c85e.mp3?lk3s=da27ec82&x-expires=1749184403&x-signature=5LYk%2B9aIRolNdviBJ0DdJnjZe6o%3D",
    "https://lf6-appstore-sign.oceancloudapi.com/ocean-cloud-tos/VolcanoUserVoice/speech_7468512265151725595_c4fdabd6-4267-4482-955d-9b869fc57401.mp3?lk3s=da27ec82&x-expires=1749184404&x-signature=rH%2FS7ok191xah7jpm2ChhpvzzF8%3D"
  ]
04、生成图像
1)输入和输出变量的设置

其实还可以在循环节点添加提示词优化。画质提升等节点。但为了简单起见,让大家明白整个流程 , 先不做任何过多的设置。后面课程我们再一点一点加上去。

2)04-1 图像生产

本循环节点得到的输出参数如下

[
    "https://s.coze.cn/t/I4d58L2HbCM/",
    "https://s.coze.cn/t/RK42ucogTLU/",
    "https://s.coze.cn/t/F0xqqAwFuHk/"
  ]
05、生成音频时间线

整个视频时长是根据音频总时长得来的,每个分镜显示信息也需要用到分段时间线。

插件地址:https://www.coze.cn/store/plugin/7475816084453654580

后面会用到这个插件的其他工具。需要将这个插件进行收藏

返回参数如下

{
  "all_timelines": [
    {
      "end": 12480000,
      "start": 0
    }
  ],
  "timelines": [
    {
      "end": 4560000,
      "start": 0
    },
    {
      "end": 8520000,
      "start": 4560000
    },
    {
      "end": 12480000,
      "start": 8520000
    }
  ]
}

到目前为止,文案、音频、图像和时间线都有了,下面我们使用插件将他们封装为特殊的格式。其实也是个数组。

06、根据时间线制作字幕数据

还有很多其他的参数可以进行设置,本教程为了简单起见先全部采用默认。

通过这个插件得到的数据大概如下。目的就是将文本和时间线做对应。

[{"start":0,"end":4560000,"text":"耐住寂寞潜心行,大事终会水到渠成。"},{"start":4560000,"end":8520000,"text":"寂寞为伴沉下心,成就大事指日可待。"},{"start":8520000,"end":12480000,"text":"忍得寂寞时光里,大事必在未来等你。"}]
07、根据时间线制作音频数据

大致的数据结构如下。

[{"audio_url":"https://lf3-appstore-sign.oceancloudapi.com/ocean-cloud-tos/VolcanoUserVoice/speech_7468512265151725595_4a461f79-eff9-4ecc-9dc3-f9111b8f8d2e.mp3?lk3s=da27ec82&x-expires=1749184402&x-signature=SwFi63k0Sf72Phibc6BTXkWnBw0%3D","start":0,"end":4560000},{"audio_url":"https://lf9-appstore-sign.oceancloudapi.com/ocean-cloud-tos/VolcanoUserVoice/speech_7468512265151725595_d1c8cf0a-dd73-4ee6-9bac-afa2f801c85e.mp3?lk3s=da27ec82&x-expires=1749184403&x-signature=5LYk%2B9aIRolNdviBJ0DdJnjZe6o%3D","start":4560000,"end":8520000},{"audio_url":"https://lf6-appstore-sign.oceancloudapi.com/ocean-cloud-tos/VolcanoUserVoice/speech_7468512265151725595_c4fdabd6-4267-4482-955d-9b869fc57401.mp3?lk3s=da27ec82&x-expires=1749184404&x-signature=rH%2FS7ok191xah7jpm2ChhpvzzF8%3D","start":8520000,"end":12480000}]
08、根据时间线制作图片数据

同样参数采样默认

[{"image_url":"https://s.coze.cn/t/I4d58L2HbCM/","width":1024,"height":1024,"start":0,"end":4560000},{"image_url":"https://s.coze.cn/t/RK42ucogTLU/","width":1024,"height":1024,"start":4560000,"end":8520000},{"image_url":"https://s.coze.cn/t/F0xqqAwFuHk/","width":1024,"height":1024,"start":8520000,"end":12480000}]

通过三个制作的数据来看,如果不额外修改其他参数。 其实就是把图片音频字幕放到对应的时间段内。那其实有编码能力的人,可以通过一个代码节点来完成。

09、创建草稿

插件地址:https://www.coze.cn/store/plugin/7457837529027493922

上面全部是在准备数据,现在我们就可以创建草稿了。这次换了一个新插件,不过还是同一个团队开发的。

为了以后方便,建议注册插件账号注册地址如下:

https://www.51aigc.cc/#/home?user_id=259834

10、批量添加字幕

11、批量添加音频

12、批量添加图片

13、结束节点。

结束节点输出草稿的地址。

(3) 下载草稿

将得到的草稿地址填写到输入框。然后点击创建剪映草稿。

打开检验后就可以看见草稿了。

这样就得到一个文本、图片、音频有对应关系的剪映草稿。直接导出就可以,后面我们。再来学习如何引入视频片段。

(三)调试技巧。

1)单个节点测试

节点右上角有一个黑色的小箭头,点击它可以测试单个节点。这样就能找到该节点的问题,而不用对整个工作流进行试运行,大大节省了调试时间。

这个图文结合生成视频就完成了,因为引入视频片段的工作流需要等待,教程更为复杂,正在更新中。

敬请期待。我是涛涛,用简单的方式教你学AI。

Logo

纵情码海钱塘涌,杭州开发者创新动! 属于杭州的开发者社区!致力于为杭州地区的开发者提供学习、合作和成长的机会;同时也为企业交流招聘提供舞台!

更多推荐