Fastchat-训练、服务、评估对话大模型

cpu运行成功，但是很慢

安装

conda create -n fastchat python=3.10
conda activate fastchat
pip3 install "fschat[model_worker,webui]"

CPU 运行Qwen2-0.5

python3 -m fastchat.serve.cli --model-path /mnt/llm/Qwen2-0.5B --device cpu