Xinference-企业级大规模模型推理框架

安装

Linux, Windows, MacOS 上都可以通过 pip 来安装

## 支持所有的引擎
pip install "xinference[all]"

Transformers 引擎

PyTorch(transformers) 引擎支持几乎有所的最新模型，这是 Pytorch 模型默认使用的引擎：

pip install "xinference[transformers]"

Docker 部署

docker run --name=xinference \
 -v /opt/xinference:/opt/xinference -e XINFERENCE_HOME=/opt/xinference \
 -p 9997:9997 xprobe/xinference:latest-cpu xinference-local -H 0.0.0.0

docker run --name=xinference -v D:\Documents\test\xinference:/opt/xinference -e XINFERENCE_HOME=/opt/xinference -p 9997:9997 xprobe/xinference:v1.2.2-cpu xinference-local -H 0.0.0.0

## GPU
docker run -d --restart=always --name=xinference \
 -v /opt/xinference_gpu:/opt/xinference -e XINFERENCE_HOME=/opt/xinference -e XINFERENCE_MODEL_SRC=modelscope \
 -p 9998:9997 --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0

docker run --name=xinference -v D:\Documents\test\xinference:/opt/xinference -e XINFERENCE_HOME=/opt/xinference -e XINFERENCE_MODEL_SRC=modelscope -p 9998:9997 --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0

控制台：http://localhost:9997 API接口文档：http://localhost:9997/docs