个人在安装过程中遇到的问题:

        要先安装docker,再用docker安装ollama和open-webui,如果直接去ollama官网下载安装的话,我去打开ollama总是会闪退,虽然ollama的图标还在,但是去访问http://127.0.0.1:11434/时就会显示错误,直接用docker安装,ollama会直接显示在docker上。

        本人对docker并不是很熟,本片文章只是分享一下个人的安装经历,都是一些简单的操作,仅作为参考,电脑配置

Docker安装

        docker官网:Docker Desktop: The #1 Containerization Tool for Developers | Docker

        docker的安装很简单,直接在官网下载.exe文件,双击运行即可,安装过程中也没有给可选择的地方,直接点击下一步就好,装完之后电脑需要重启。(下图因为我已经安装好了,所以双击.exe是这样)。

        docker运行的界面如下图所示,这里登录和不登陆效果差不多,如果是第一次注册登陆的话就会出现下面的购买界面

        安装路径:docker的默认安装路径是在c盘,想要修改路径直接点击设置->Resources->Browse,选择你想要的路径,点击Apply&restart,它会自动帮你把文件移动到你要的位置。

Ollama安装

         docker安装好之后,ollama安装就方便多了,直接win+r,输入cmd运行下面代码:(我这里使用的是GPU)

docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

        安装完成后就能看到自己的docker里有ollama

Open-webui安装

        同样在cmd中安装,输入下面代码

docker run -d -p 8080:8080 -add-host=host.docker.internal:host-gateway -name ollama-webui -restart always ghcr.io/ollama-webui/ollama-webui:main

模型下载

        至此所有东西都已经安装好了,不过目前只是一个空壳子,并没有可调用的模型,模型的下载有两种方式,一种是直接在cmd中用docker命令行,另一种是在web页面输入模型名称下载。

1、docker命令行下载模型

docker exec -it ollama ollama pull gemma

 2、web页面下载模型

        在设置->模型中输入模型名字下载即可

参考资料

ollama模型仓库:library (ollama.com)

Docker——Windows版本Docker安装_docker windows-CSDN博客

通过ollama+open webui可视化运行gemma-腾讯云开发者社区-腾讯云 (tencent.com)

【AI】在docker中部署ollama体验AI模型_docker ollama-CSDN博客

推荐链接

评论可见,请评论后查看内容,谢谢!!!
 您阅读本篇文章共花了: