剧本杀的创作要求内容严谨、完整、有创意且细节丰富，同时需要确保情节逻辑严密。然而，现有的大模型在长文本生成方面存在局限，尤其是在前后文的连贯性和细节处理上容易出现问题。
为了实现剧本的优质快速生成，本项目致力于研发一款专门针对剧本杀创作的AI模型，结合特定的“trick”，优化长文本生成的连贯性与逻辑性，确保剧本的完整性与创意性。通过这一工具，用户可以快速生成高质量的剧本杀剧本，大大提高创作效率，同时保证剧本内容的严谨性和创新性，满足市场对剧本的多元化需求。
为使Internlm-2.5-7B本地模型能具有更好的生成剧本杀中角色对话的能力，本项目使用XTuner工具，将模型在涉案剧本的对话数据集上进行增量预训练
对该仓库中的涉案短剧剧本进行基于GPT的对话提取，将提取好的对话整理为如下所示的XTuner微调所需的json格式，整理好的数据已放在./data/pretrain中
[ { "text": "xxx" }, { "text": "xxx" }, ... ]XTuner自定义预训练文档：https://xtuner.readthedocs.io/zh-cn/latest/training/custom_pretrain_dataset.html
对话提取所使用方法：https://github.com/KMnO4-zx/extract-dialogue
自行下载Internlm-2.5-7B模型放在./models中，运行如下命令即可开始增量预训练，该命令详解请参考XTuner文档
cd configs/pretrain # 请将NPROC_PER_NODE设为您要使用的GPU数量，${SAVE_PATH}更改为您指定的保存路径 NPROC_PER_NODE=1 xtuner train pretrain.py --deepspeed deepspeed_zero1 --work-dir ${SAVE_PATH}- git clone 本项目源代码
- 环境搭建
conda create -n your_env_name python=3.11 pip install openai phidata python-dotenv pip install -r requirements.txt - 前往硅基流动注册免费的 API，获取 API_KEY
- 使用从硅基流动获取的 API_KEY 配置下面的指令并执行
export API_KEY=sk-xxx # your api key export BASE_URL=https://api.siliconflow.cn/v1 export MODEL_NAME=internlm/internlm2_5-7b-chat # or别的可用模型 python script_writer.py 1.启用一个终端
部署LMdeploy环境
conda create -n lmdeploy python=3.10 -y conda activate lmdeploy conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y pip install timm==1.0.8 openai==1.40.3 lmdeploy[all]==0.5.3 pip install datasets==2.19.2 conda activate lmdeploy 启动模型
lmdeploy serve api_server \ /root/models/internlm2_5-7b-chat \ --model-format hf \ --quant-policy 4 \ --cache-max-entry-count 0.4 \ --server-name 0.0.0.0 \ --server-port 23333 \ --tp 1 ## 解释 确保以上命令每行的结尾处没有多余的空格 lmdeploy serve api_server \ # 用于启动API服务器 /root/models/internlm2_5-7b-chat \ # 模型的路径 --model-format hf \ # 模型的格式。hf代表“Hugging Face”格式。 --quant-policy 4 \ # KV catch量化策略，此为int4量化 --cache-max-entry-count 0.4 \ # KV catch占用剩下显存大小,此为40% --server-name 0.0.0.0 \ # 部署服务器的名称 --server-port 23333 \ # 服务器的端口号 --tp 1 # GPU并行数量 2.启用另一个终端，使用上述1.API运行的环境
conda activate "your_env" export API_KEY=sk-xxx # 随意字符 export BASE_URL=http://0.0.0.0:23333/v1 # 模型的服务端口号 export MODEL_NAME=/root/models/internlm2_5-7b-chat # 你的模型路径 python script_writer.py - 改进人物剧情生成方式
- 线索搜证、圆桌与解析加入加入人物部分剧情作为prompt
- 实现以下三个内容由用户输入而不由AI考虑mode:剧本简介、剧本人数、(剧本类型)
改进生成的md文档
- 完善本地大模型模式
- 使用RAG提供外部资料学习库 地址：https://github.com/iEdric/chinese-shortscript
- 更加合理的方式微调
- 优化剧本生成，例如优化prompt
- 进行模型量化、模型部署与前端页面展示
- 感谢上海人工智能实验室提供的算力支持！！！
- 感谢《一键写书》REPO提供的灵感和开源代码支持！！！
《一键写书》项目地址：https://github.com/langgptai/BookAI
书生大模型学习资料链接： https://github.com/InternLM/Tutorial