LLMs-入门一：【开胃菜】win环境搭建基于Llama 2的智能聊天机器人
一、前言1、搭建准备1）说明2）google账号3）HuggingFace账号4）Llama 2网址：Meta AI网址5）构建机器学习演示和Web应用
2、申请Llama 2模型下载1）Llama 2模型介绍2）申请步骤3）异常情况
二、本地搭建过程1、下载构建机器学习演示的Web应用1）下载一键安装包。地址：第一章第一节第5）小节2）将该压缩包解压到自己指定的目录下3）鼠标双击【start_windows.bat】进入到一键安装页面4）进入安装页面后，会自动下载所需要的安装包5）自动下载所需要的安装包过程如下所示6）选择解码方式：GPU还是CPU7）安装过程如下图所示及过程问题解决8）成功安装完整过程如下图所示
2、下载语言模型1）Meta AI网站上申请Llama2模型2）HuggingFace网站上下载模型（1） 账号注册（2） 模型申请（3） 也可用现有的GGML模型（4） 将下载的模型放到本地指定的目录下
3）使用模型（1） 加载模型（2） 配置完成：聊天
一、前言
1、搭建准备
1）说明
csdn中屏蔽了显示外网的网址，因此如果需要也可以查看https://www.toutiao.com/article/7281536587320623651中的内容，没有被屏蔽
2）google账号
3）HuggingFace账号
4）Llama 2网址：Meta AI网址
5）构建机器学习演示和Web应用
网址https://github.com/oobabooga/text-generation-webui
2、申请Llama 2模型下载
1）Llama 2模型介绍
Llama 2模型共有3种，如下图所示
7B：7亿参数的模型（可不用GPU，CPU也可以跑起来）。本文档就以该模型为例13B：13亿参数的模型70B：70亿参数的模型
2）申请步骤
下载Llama 2需要在Meta AI上提交申请，申请周期一般1-2天，正常情况下申请当天就可以申请下来。 申请填写信息页面如下： 在该页面中需要填写姓名、邮箱地址、国家、用途，以及需要申请的模型 注：
Email：一定要能成功收到国外网站邮件的邮箱，建议使用google邮箱。申请时所使用的邮箱一定要与申请HuggingFace账号时所用的邮箱保持一致Country：最好选择与你科学上网的VPN映射的国家，如果选择中国将显示如下英文，中文意思大概为“抱歉，您所在的地区无法下载” Organization/Affiliation：填写自用即可最好全英文填写，如下图所示 填写好如上信息后，勾选“我接受条款及条件”点击【接受并继续】按钮完成申请的提交 申请成功后，您将会收到如下邮件，一般情况会收到两封邮件。一封是Llama 2模型的，另一封是相关代码的。
3）异常情况
如果在2天内没有收到Meta AI发送的成功申请邮件，大概率需要重新申请，极端的情况下是所使用的该google账号将无法申请到Llama 2的下载权限，需要使用其他google账号重新进行申请。
二、本地搭建过程
1、下载构建机器学习演示的Web应用
1）下载一键安装包。地址：第一章第一节第5）小节
在该地址中安装环境有4种，如下图所示： 本文以Windows环境为例，因此下载第1中“oobabooga-windows.zip”。
2）将该压缩包解压到自己指定的目录下
3）鼠标双击【start_windows.bat】进入到一键安装页面
4）进入安装页面后，会自动下载所需要的安装包
这个过程可能会需要比较长的时间，也有可能因为网络问题无法下载，需要反复执行。另外我们也可以通过编辑“start_windows.bat”批处理文件中相关下载内容的镜像地址，来加快下载速度。如下图修改前后的比较
修改前： 修改后： 修改后的为国内清华的镜像地址，如下 https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py310_23.3.1-0-Windows-x86_64.exe
5）自动下载所需要的安装包过程如下所示
6）选择解码方式：GPU还是CPU
4个选择项分别如下：
A）NVIDIA：英伟达。如果当前安装的windows系统的显卡是英伟达的，选择该项B）AMD：该项需要特别说明的是，目前在windows上是不支持AMD显卡的。在text-generation-webui官方有相关的说明。当为AMD显卡时，选择“D”选项C）Apple M Series：如果是苹果电脑的话，选择该项。并且安装包也应该是对应的苹果的安装包D）None：如果是CPU的，选择该选项。 因为本次安装的环境无GPU显卡，因此选择“D”选项并按“回车”就进行后续的安装了，如下图所示：
7）安装过程如下图所示及过程问题解决
安装过程 过程问题 如果在安装过程中出现错误，提示按任意键退出的话，就需要我们重新执行【start_windows.bat】或者还得同时删除掉已经安装好的安装包（删除掉installer_files目录及以下内容即可），然后点击【start_windows.bat】重新执行
8）成功安装完整过程如下图所示
在浏览器地址栏里输入http://127.0.0.1:7860完成登录，成功登录如下图所示
聊天页面
2、下载语言模型
1）Meta AI网站上申请Llama2模型
需要下载的语言模型是通过HuggingFace网站进行下载的，下载的前提是在Meta AI网站上申请Llama 2模型通过。 申请步骤请参见：第一章第2节第2）小节
2）HuggingFace网站上下载模型
（1） 账号注册
注册使用的账号（邮箱）一定要与在Meta AI网站上申请Llama2提供的邮箱保持一致，否则无法在该网站上下载申请通过的模型。
（2） 模型申请
申请的地址：https://huggingface.co/meta-llama Llama 2相关模型及链接地址： 可以按需申请下载需要使用的模型，如7B的Llama2-chat-hf,点击对应的Link如下图所示 在该页面点击【提交】按钮申请模型，申请后如下图所示 如果已经在1）成功申请（收到了Meta AI发的邮件），我们在点击【提交】按钮后会在很短的时间获得到模型的下载权限，如下图所示
（3） 也可用现有的GGML模型
如选择TheBloke/Llama-2-7B-Chat-GGML，点击进入，选择最新的版本，如下图 一般来说选择的文件越大最终的效果也是越好的。下载该模型到本地。
（4） 将下载的模型放到本地指定的目录下
位置如下图所示：
3）使用模型
（1） 加载模型
重新打开双击【start_windows.bat】，启动该应用。 启动后，在浏览器端打开该页面，点击【Model】选项，然后在该页面选择下载好的模型后点击【Load】加载该模型，在该页面右侧显示成功状态后模型加载完成，我们就可以基于该模型进行聊天/生成文案了。如下图所示
（2） 配置完成：聊天
点击【Chat】选项，在“Send a message”对话框中输入聊天的内容，如下图所示
下一篇提前预告：基于google云端Colab部署Llama 2
相关链接
您阅读本篇文章共花了：
发表评论