基于商品名称的商品描述生成模型

• 模型概述

• 该模型是基于EleutherAI的polyglot-ko-1.3b进行微调的商品描述生成模型。它接收商品名称作为输入，自动生成该商品的详细描述。

• 主要特点

• 基础模型：EleutherAI的polyglot-ko-1.3b

• 微调数据：多种类别的商品名称和商品描述配对数据

• 输入：商品名称

• 输出：生成的商品描述

• 语言：韩语

• 使用方法

from transformers import AutoTokenizer, AutoModelForCausalLM


def load_model(model_path):
    """ ✅ 加载训练好的模型和分词器 """
    tokenizer = AutoTokenizer.from_pretrained(model_path)
    model = AutoModelForCausalLM.from_pretrained(model_path)
    model.eval()
    return tokenizer, model


def generate_description(model, tokenizer, product_name, max_length=512):
    """ ✅ 根据商品名称生成描述的函数 """

    # ✅ 设置EOS令牌
    eos_token = tokenizer.eos_token or tokenizer.pad_token or ""
    stop_token_id = tokenizer.eos_token_id or tokenizer.pad_token_id or \
                    tokenizer.encode(eos_token, add_special_tokens=False)[0]

    # ✅ 按照训练数据模式设计的提示词
    prompt = f"商品名称: {product_name}\n商品描述: "
    # ✅ 分词及输入转换
    inputs = tokenizer(prompt, return_tensors="pt")
    inputs.pop("token_type_ids", None)

    # ✅ 执行生成
    output = model.generate(
        **inputs,
        max_new_tokens=max_length,
        repetition_penalty=1.15,  # ✅ 防止重复
        temperature=1.0,  # ✅ 控制创造性
        top_p=0.9,  # ✅ 生成多样化回答
        top_k=40,  # ✅ 从概率前50个词中选择
        do_sample=True,  # ✅ 启用采样（重要！）
        pad_token_id=stop_token_id,  # ✅ 填充时应用EOS令牌
        eos_token_id=stop_token_id,  # ✅ 应用EOS令牌
    )

    # ✅ 解码结果
    generated_text = tokenizer.decode(output[0], skip_special_tokens=True)

    return generated_text


if __name__ == "__main__":
    """ ✅ 主执行函数 """
    model_path = "UICHEOL-HWANG/EcomGen-0.0.1v"  # ✅ 训练好的模型路径
    tokenizer, model = load_model(model_path)

    # ✅ 输入要测试的商品名称
    product_name = "김갑생할머니김"
    description = generate_description(model, tokenizer, product_name)

    print("\n=== 生成的商品描述 ===\n")
    print(description)