GPT4ALL本地部署测试
1.初识2.环境2.1 服务器2.2 运行环境
3.调用3.1 代码3.2 测试
4.总结
GPT4ALL可以在
Windows、Mac、Ubuntu上直接安装使用，安装步骤简单，这里不再赘述，本文介绍一下在无可视化界面的Linux环境部署调用的流程。
1.初识
【官网】有更多的信息可以查看，简介：A free-to-use, locally running, privacy-aware chatbot. No GPU or internet required.
免费使用（成本低）；本地运行（成本及安全）；具有隐私意识的聊天机器人（安全）；无需 GPU 或互联网（硬件成本低、内网可用）。
特点：
是一个生态系统，用于训练和部署在消费级CPU上本地运行的强大和定制的大型语言模型；成为任何人或企业都可以自由使用、分发和构建的最佳指令调谐助手式语言模型；GPT4All 模型是一个 3GB - 8GB 的文件，可以下载并插入 GPT4All 开源生态系统软件。Nomic AI 支持和维护这个软件生态系统，以加强质量和安全性，同时带头让任何人或企业轻松训练和部署自己的边缘大型语言模型。
2.环境
2.1 服务器
# 1.查询操作系统版本
cat /etc/os-release
# 查询结果
NAME="openEuler"
VERSION="22.03 (LTS-SP1)"
ID="openEuler"
VERSION_ID="22.03"
PRETTY_NAME="openEuler 22.03 (LTS-SP1)"
ANSI_COLOR="0;31"
2.2 运行环境
也可以使用Anaconda或Docker构建运行环境：
# 2.查询python版本
python -V
# 查询结果
Python 3.9.18
# 3.组件版本
torch==2.1.2
gpt4all==2.2.1.post1
transformers==4.32.1
3.调用
3.1 代码
官方文档：https://docs.gpt4all.io/
from gpt4all import GPT4All
model = GPT4All("orca-mini-3b-gguf2-q4_0.gguf")
output = model.generate("The capital of France is ", max_tokens=3)
print(output)
实际使用代码：
from gpt4all import GPT4All
def get_answer_form_model(request):
# 参数
req = json.loads(request.body.decode())
model_name = req['model']
max_tokens = req['max_tokens']
question_text = req['question']
# 调用
model = GPT4All(model_name=model_name, model_path="/a_model", allow_download=False)
output = model.generate(question_text, max_tokens=max_tokens)
print(output)
return HttpResponse(output)
3.2 测试
{
"model": "orca-mini-3b-gguf2-q4_0.gguf",
"max_tokens": 30,
"question": "The capital of France is "
}
100% Paris.
I hope that helps!
一些离谱的回答：
{
"model": "baichuan2-7b-chat.Q3_K_L.gguf",
"max_tokens": 1200,
"question": "我有6个鸡蛋，碎了2个，煎了2个，吃了2个，还剩下几个？请告诉我为什么？"
}
首先我们要知道这个问题的描述有些矛盾。
根据问题中的表述：“我有 6 个鸡蛋”、“碎了 2 个" 和 "煎了 2 个", 这意味着你已经使用了4个（碎的+煎的）蛋, 所以剩下的应该是1-3.
但是接着又说 “吃了 2 个”,这个信息并没有在问题中给出为什么，所以我们需要重新理解问题的描述。
如果“吃”是指把鸡蛋放在其他食物里的话(比如炒饭、煎饼等) ,那么实际上你仍然使用了4颗蛋黄（煎的）和1颗蛋白 (碎的), 所以剩下的应该是5-6.
因此, 根据不同的解释方式可能剩下几个蛋会有两种情况: 0个或7个。
4.总结
并非参数量越大越好答案具有随机性，可能较好也可能较差
文章链接
您阅读本篇文章共花了：
发表评论