部署方案

目录

• Cake-大模型分布式解决方案
• Candle
• Fastchat-训练、服务、评估对话大模型
• llamafile-一键运行大模型
• LocalAi-开源 OpenAI 替代品
• Ollama
• VLLM-开源的大模型加速推理引擎
• Xinference-企业级大规模模型推理框架