【FaceChain风格DIY手把手教程】无限场景风格LoRA与固定人物LoRA的融合（4Kstar！）

AIGC人物写真开源项目FaceChain风格DIY手把手教程，无限场景风格LoRA与固定人物LoRA的融合。

AI记忆

4658人浏览 · 2023-08-28 16:31:53

AI记忆 · 2023-08-28 16:31:53 发布

先看效果

以上风格LoRA分别为：户外花园婚纱、冬季雪景汉服、火焰女神、仙侠风

环境准备

在魔搭平台ModelScope 魔搭社区中选择PAI-DSW-GPU环境

进入后打开terminal环境，先检查显存需要20G左右（nvidia-smi），然后下载核心文件。

GIT_LFS_SKIP_SMUDGE=1 git clone https://github.com/modelscope/facechain.git

以下进入正题

一、固定人物LoRA训练：

1、新建训练人物的文件夹 imgs，注意放在facechain文件夹下，将需要固定的人脸照片放入该文件夹

2、人物LoRA训练

然后在terminal中运行以下代码启动训练

PYTHONPATH=. CUDA_VISIBLE_DEVICES="0" sh train_lora.sh "ly261666/cv_portrait_model" "v2.0" "film/film" "./imgs" "./processed" "./output"

二、风格LoRA替换：

1、上传风格LoRA文件并修改参数

风格来源：outdoor photo｜LiblibAI，主要迁移其户外花团锦簇风格，重新取名wedding

2、修改constants.py文件

主要修改文件名为新上传的风格文件，并在prompt增加wedding dress相关内容。

styles = [
    {'name': '默认风格(default style)'},
    {'name': '凤冠霞帔(Chinese traditional gorgeous suit)',
     'model_id': 'ly261666/civitai_xiapei_lora',
     'revision': 'v1.0.0',
     'bin_file': 'xiapei.safetensors',
     'multiplier_style': 0.35,
     'cloth_name': '汉服风(hanfu)',
     'add_prompt_style': 'red, hanfu, tiara, crown, '},
    {'name': '婚纱(wedding)',
     'model_id': 'ly261666/civitai_xiapei_lora',
     'revision': 'v1.0.0',
     'bin_file': 'wedding.safetensors',
     'multiplier_style': 0.35,
     'cloth_name': '婚纱(wedding)',
     'add_prompt_style': 'bride wearing a white wedding dress,simple and elegant style, <lora:outdoor photo_20230819231754:0.6> --ar 3:4'},
]

3、修改run_inference.py关键参数

修改风格文件夹路径，use_style改为true，顺序编号顺延为2

use_main_model = True
use_face_swap = True
use_post_process = True # 可改为False则不控制数量
use_stylization = False
processed_dir = './processed'
num_generate = 5
base_model = 'ly261666/cv_portrait_model'
revision = 'v2.0'
multiplier_style = 0.25
base_model_sub_dir = 'film/film'
train_output_dir = './output'
output_dir = './generated'
use_style = True

if not use_style:
    style_model_path = None
    pos_prompt = generate_pos_prompt(styles[0]['name'], cloth_prompt[0]['prompt'])
else:
    model_dir =  '/mnt/workspace/wedding'
    style_model_path = os.path.join(model_dir, styles[2]['bin_file'])
    pos_prompt = generate_pos_prompt(styles[2]['name'], styles[2]['add_prompt_style'])  # style has its own prompt

gen_portrait = GenPortrait(pos_prompt, neg_prompt, style_model_path, multiplier_style, use_main_model,
                           use_face_swap, use_post_process,
                           use_stylization)

outputs = gen_portrait(processed_dir, num_generate, base_model,
                       train_output_dir, base_model_sub_dir, revision)

os.makedirs(output_dir, exist_ok=True)

for i, out_tmp in enumerate(outputs):
    cv2.imwrite(os.path.join(output_dir, f'{i}.png'), out_tmp)