本文内容

目前网上关于下载hugging face模型文件大多都是一个一个下载，无法做到批量下载，但有些模型或数据集包含文件太多，不适用一个一个下载。本文将会介绍如何使用git进行批量下载。

Git代理配置

由于Hugging Face的部分模型和数据集在国外服务器，不使用代理比较慢，所以要先配置git代理。全局代理配置方式：

git config --global https.proxy http://127.0.0.1:1080

只对clone使用代理的配置方式：

git clone XXX.git -c http.proxy="http://127.0.0.1:1080"

如果文件太大，可以使用git lfs命令

下载模型或数据集

首先到你需要下载的数据集或模型文件下，复制url.

到你所要下载模型或数据集文件后，去掉后面的/tree/main，然后增添.git，之后使用git下载就可以了。

到控制台命令执行如下命令：

git clone https://huggingface.co/datasets/glue.git

输出

PS D:\temp> git clone https://huggingface.co/datasets/glue.git

Cloning into 'glue'...

remote: Enumerating objects: 121, done.

remote: Counting objects: 100% (121/121), done.

remote: Compressing objects: 100% (101/101), done.

Receiving objects: 91% (111/121)te: Total 121 (delta 54), reused 0 (delta 0), pack-reused 0

Receiving objects: 100% (121/121), 29.76 KiB | 3.31 MiB/s, done.

Resolving deltas: 100% (54/54), done.

Updating files: 100% (14/14), done.

Filtering content: 100% (10/10), 20.08 KiB | 6.00 KiB/s, done.

成功下载文件。

Hugging Face的数据集和模型还提供了不同的版本，要下载其他版本只需要使用git的-b参数下载对应的分支即可。

精彩内容

评论可见，请评论后查看内容，谢谢！！！
 您阅读本篇文章共花了：