2023年4月21日,复旦大学自然语言处理实验室正式开放MOSS模型,是国内首个插件增强的开源对话大语言模型
。MOSSSEO靠我 相关代码、数据、模型参数已在 GitHub 和 Hugging Face 等平台开放,
项目地址:https://github.com/OpenLMLab/MOSS。MOSS 对硬件要求还是较高,如果SEO靠我想本地部署的话,仍但需要非常大的开销。如果使用A100 或 A800 可以单卡运行,而使用NVIDIA 3090 只能并行多卡运行,GPU 显存至少需要 30GB。但如果想在消费级显卡上进行部署,就只SEO靠我能部署量化后的版本,如下图所示:
具体对应的模型版本如下:moss-moon-003-sft-int4: 4bit量化版本的moss-moon-003-sft模型,约占用12GB显存即可进行推理。
mosSEO靠我s-moon-003-sft-int8: 8bit量化版本的moss-moon-003-sft模型,约占用24GB显存即可进行推理。
moss-moon-003-sft-plugin-int4: 4biSEO靠我t量化版本的moss-moon-003-sft-plugin模型,约占用12GB显存即可进行推理。
moss-moon-003-sft-plugin-int8: 8bit量化版本的moss-moon-0SEO靠我03-sft-plugin模型,约占用24GB显存即可进行推理。由于本次实验所使用的配置如下:
CPU&内存:28核(vCPU)112 GB
操作系统:Ubuntu_64
GPU:NVIDIA Tesla SEO靠我P100
显存:16G故选择 moss-moon-003-sft-int4 模型进行部署实验。
1、登录服务器,下载本仓库内容至服务器,进入MOSS目录
git clone https://gSEO靠我ithub.com/OpenLMLab/MOSS.git cd MOSS2、创建python3.8版本的conda环境,并进入
conda create --name moss pythSEO靠我on=3.8 conda activate moss3、根据 requirements.txt 安装环境依赖
pip install -r requirements.txt4、安装使用量SEO靠我化模型所需的包(4/8-bit)
pip install triton5、安装gradio,以便可以使用基于Gradio的网页demo
pip install gradio pip insSEO靠我tall mdtex2html其中,mdtex2html 是因为运行时有报错缺少此包,故这里可以提前装好。
6、下载模型文件,这里直接从huggingface上下载到服务器
# 安装 huggingfacSEO靠我e_hub pip install huggingface_hub # 进入模型文件的指定位置 cd /data/sim_chatgpt/然后使用下面代SEO靠我码,将模型文件安装到指定位置
from huggingface_hub import snapshot_download snapshot_download(repo_id="fnlp/SEO靠我moss-moon-003-sft-int4", cache_dir="./moss-moon-003-sft-int4")下载完成后,得到model_path为:/data/sim_chatgpt/SEO靠我moss-moon-003-sft-int4/models–fnlp–moss-moon-003-sft-int4/snapshots/4e33058483a36ade9067f7f25f3127cbSEO靠我95386b01
这里有两种方式,一种是命令行,在服务器上直接运行;一种是网页版,可以通过链接在浏览器访问。
这里我们要运行 moss_cli_demo.py 文件,在运行前需要修改moSEO靠我del_path,如下:
parser.add_argument("--model_name", default="/data/sim_chatgpt/moss-moon-003-sft-int4/moSEO靠我dels--fnlp--moss-moon-003-sft-int4/snapshots/4e33058483a36ade9067f7f25f3127cb95386b01"ValueError:SEO靠我
/data/sim_chatgpt/moss-moon-003-sft-int4/models–fnlp–moss-moon-003-sft-int4/snapshots/4e33058483a36aSEO靠我de9067f7f25f3127cb95386b01
is not a folder containing a .index.json file.解决办法 将下面代码进行替换(注释掉)
# model = SEO靠我load_checkpoint_and_dispatch( # raw_model, model_path, device_map="auto", no_split_module_clSEO靠我asses=["MossBlock"], dtype=torch.float16 # ) model = MossForCausalLM.from_pretrainedSEO靠我(model_path, trust_remote_code=True).half().cuda()运行时报错,如下图所示:
python: /project/lib/Analysis/UtilSEO靠我ity.cpp:136: bool mlir::supportMMA(mlir::Value, int): Assertion `(version == 1 || version == 2) && “SEO靠我Unexpected MMA layout version found”’ failed.
遇到问题:https://github.com/OpenLMLab/MOSS/issues/149issue中SEO靠我有人提到:
算力小于70的显卡都不支持Float8 and Float16,P100 P40算力版本都是60+所以暂时只能使用Float32,但是显存又不够。NVDIA V100 NVIDIA TITASEO靠我N V及其以上显卡可以支持。triton官网说对fp16量化模型支持不完善, p100/40等老显卡都会报如上的错. 需要等他们写入更多老显卡支持。
另外有人实测V100 32GB可以跑int4量化模型SEO靠我.解决方法如下 将triton换成auto-gptq,这样就绕过了triton验证.
git clone https://github.com/PanQiWei/AutoGPTQ condSEO靠我a create -n moss python==3.10 cd MOSS python setup_env.py --install_auto_gptq另外,需要注意SEO靠我需要修改两个地方:
1、修改model
2、修改model_path运行
python moss_cli_demo.py但我并没有尝试成功,一个原因在于,github链接中没有setup_env.py,只有SEO靠我setup.py,另一个原因是即使按照github链接中提供的安装方式,无法安装成功。
待更…命令行版本成功后更新网页版部署
网站备案号:浙ICP备17034767号-2