Arc2Face 模型卡片

<div align="center">

项目主页 | 论文 (ArXiv) | 代码 | 🤗 Gradio 演示

</div>

简介

Arc2Face 是一个基于身份条件的人脸模型，仅需输入 ArcFace 身份嵌入向量，即可生成多样化且身份一致的人物照片。 该模型在 WebFace42M 人脸识别数据库的修复版本上进行训练，并在 FFHQ 和 CelebA-HQ 上进一步微调。

<div align="center"> <img src='assets/samples_short.jpg'> </div>

模型详情

该模型包含两个组件：

• encoder（编码器）：一个微调过的 CLIP ViT-L/14 模型
• arc2face：一个微调过的 UNet 模型

这两个组件均基于 runwayml/stable-diffusion-v1-5 进行微调。 编码器专门用于将身份嵌入向量投影到 CLIP 潜在空间。 Arc2Face 将预训练的主干网络适配到身份到人脸生成任务，仅以身份向量作为条件输入。

使用方法

模型可以直接从本仓库下载，或使用 Python 下载：

from huggingface_hub import hf_hub_download

hf_hub_download(repo_id="FoivosPar/Arc2Face", filename="arc2face/config.json", local_dir="./models")
hf_hub_download(repo_id="FoivosPar/Arc2Face", filename="arc2face/diffusion_pytorch_model.safetensors", local_dir="./models")
hf_hub_download(repo_id="FoivosPar/Arc2Face", filename="encoder/config.json", local_dir="./models")
hf_hub_download(repo_id="FoivosPar/Arc2Face", filename="encoder/pytorch_model.bin", local_dir="./models")

完整的推理说明请查看我们的 GitHub 仓库。

限制与偏差

• 每张图片只能生成一个人。
• 姿态限制在正面半球范围内，类似于 FFHQ 图像。
• 模型可能反映训练数据或身份编码器的偏差。

引用

BibTeX:

@misc{paraperas2024arc2face,
      title={Arc2Face: A Foundation Model of Human Faces}, 
      author={Foivos Paraperas Papantoniou and Alexandros Lattas and Stylianos Moschoglou and Jiankang Deng and Bernhard Kainz and Stefanos Zafeiriou},
      year={2024},
      eprint={2403.11641},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}