软件环境准备

    可参见《HuggingFists-低代码玩转LLM RAG-准备篇》中的HuggingFists安装及Milvus安装。

流程环境准备

图片准备

进入HuggingFists内置的文件系统，数据源->文件系统->sengee_fs_settings_201创建Image文件夹将事先准备的多张相同或不同种类的图片上传到Image目录下。如下图：

HuggingFace账号准备

    HuggingFists系统没有提供内置的Hugging Face账号，所以用户需要先去申请一个Hugging Face账号。用户可通过链接https://Hugging Face.co/join注册账号。注册成功后，通过界面右上角的个人信息->Settings->Access Tokens申请一个专属的访问令牌。

    其次，在HuggingFists右上角的个人信息->个人设置->资源账号中添加一个Hugging Face访问账号。进入资源账号界面后，选择添加资源账号，弹出如下的界面：

    选中Hugging Face类型，并将申请到的访问令牌填充进“访问token”输入框，填充完成后提交，创建成功。

Embedding算法准备

    在HuggingFace网站中搜索支持Image Embedding的模型，如下图。本文选中的模型为radames/blip_image_embeddings。该模型生成的向量的长度为1024，使用Milvus创建向量集合时需将向量字段的长度设置为1024。

向量环境准备

    可参见《HuggingFists-低代码玩转LLM RAG-准备篇》中的添加Milvus数据源何创建Milvus表的相关章节。

图像入库流程构建

    进入流程管理，新建Image-Writer流程。拖拽并配置文件输入、Milvus写出及HuggingFaceImageEmbedding算子构建图像入库流程。可参见视频《玩转数据之低代码实现图片向量化_哔哩哔哩_bilibili》

文件输入

    如下图所示，将流程准备阶段创建的存放图片的image文件夹加入文件输入配置。

HuggingFaceImageEmbedding

    为HuggingFace图像嵌入算子设置访问代理、访问账号以及我们在环境准备阶段选好的图嵌入模型。设置内容如下：

Milvus写出

    为Milvus写出算子指定通过前序准备环节创建的数据源milvus和数据表image02。设置HuggingFace图像嵌入算子与image02表字段的映射关系。streamName字段写入image02的name字段；embeddings字段写入image02的embedding字段。

流程执行

    流程构建完毕，点击执行流程。执行结果如下：

    环境准备时，我们准备了3张图片。执行结果看，流程读入了3张图片，并且写入Milvus3条记录，流程被正确运行了。为了验证这种插入检索到有效性，下面我们在构建一个图检索流程。

图像检索流程构建

    新建Image-Reader流程。拖拽并配置文件输入、HuggingFaceImageEmbedding及Milvus读取算子。可参见视频《玩转数据之低代码实现图片检索_哔哩哔哩_bilibili》

文件输入

    配置方式与图像入库流程中的文件输入相同，唯一差别是，这次我们只选择一张图片作为输入。这张图片是以图01作为基础截取了一部分构成的图。我们打算以这张图作为检索条件。

HuggingFaceImageEmbedding

    配置同上

Milvus读取

    为Milvus读取算子指定数据源milvus。编写如下查询语句：

select  *  from image02 where vMatch(embedding, 'L2', '[@{embeddings}]') and consistencyLevel('STRONG') and nProbe(10) limit 5

     由于Milvus本身不支持SQL的访问方式，所以这里使用的是基于开源项目MOQL对Milvus支持的语法格式。上面的SQL语句中使用了@{embeddings}变量，该变量表示上下文变量，上下文变量可以与算子的输入列做绑定映射。HuggingFaceImageEmbedding算子有一个名为embeddings的列输出到Milvus读取算子，故从配置中可以看到，变量embeddings与输入的embeddings列做了映射绑定。运行时，变量会被输入列的值替换掉，从而生成可运行的SQL语句。当输入为多条记录时，每条记录都会驱动一次SQL的生成与检索。

流程执行

    流程构建完毕，点击执行流程。执行结果如下：

    结果我们可以看到，我们插入的3个图片都返回了。这是因为我们的SQL语句写的条件是limit 5,这表示查回与输入图片相似的5张图片。因为数据库就3张图片，所以查询时就都返回了。但我们可以通过结果的idScore列看到，01.png的分值最低，这表示其与输入的图片最相似，而其它图片的相似程度就差了很多。为了能够得到更精准的结果，我们可以在流程里加一个过滤算子，设置一个过滤条件，过滤掉那些明显不相似的图片。比如我们将过滤条件设置为idScore < 100，那么只有01.png这个图片会被筛选到了。

总结

    本文介绍了如何使用HuggingFists工具，一行代码不写，迅速搭建起图片检索系统。除文中介绍的几个算子外，HuggingFists还内置了很多其它功能的算子，对于喜欢DIY的朋友，可以下载一个玩玩看了。

文章链接

评论可见，请评论后查看内容，谢谢！！！
 您阅读本篇文章共花了：