最近git clone经常会clone不下来,于是乎记录一下解决方案。

git clone相关问题

工具:VPN

需要有一个VPN,然后git中输入如下命令:

git config --global http.proxy "localhost:1020"

如果不行的话再试试下面这两个命令就好了。 git config --global http.proxy ‘socks5://127.0.0.1:1080’

git config --global https.proxy ‘socks5://127.0.0.1:1080’

这里的1020换成你自己的VPN端口,然后开着VPN git clone就可以成功啦。

huggingface数据集下载等问题

另外如果打代码的过程遇到huggingface数据集或者其他数据集在线下载不下来等情况,可以在代码中添加一下环境变量 挂个代理 就可以下载了。如下代码所示,localhost也就是127.0.0.1

from datasets import load_dataset

import os

os.environ['HTTP_PROXY'] = 'http://127.0.0.1:1020'

os.environ['HTTPS_PROXY'] = 'http://127.0.0.1:1020'

datasets = load_dataset('cmrc2018', cache_dir='./data')

huggingface eval评价指标问题

一般加载评价指标直接从huggingface加载下载就可以

import evaluate

metric_name = 'accuracy'

accuracy = evaluate.load(metric_name)

result = accuracy.compute(references=[0,1,0,1], predictions=[1,0,0,1])

print(result)

但是如果出现一些网络问题的话,上述代码就会一直卡在 load 迟迟没有结果。 如果直接使用指标名称“accuracy”等,程序将会从 huggingface 上下载相应模块到缓存中使用,实际上我的问题就是无法顺利下载, 因此只能将相关文件下载到本地,采用 local metric script 方法:

因此只能将相关文件下载到本地,采用 local metric script 方法:

打开官方Github GitHub - huggingface/evaluate: 珞 Evaluate: A library for easily evaluating machine learning models and datasets. 下载 metrics 文件夹,放在测试脚本的目录下,将’accuracy’ 改为 ‘./metrics/accuracy’,再次运行文件即可得到正确结果

参考资料:https://blog.csdn.net/misaki_min/article/details/132650725

好文链接

评论可见,请评论后查看内容,谢谢!!!
 您阅读本篇文章共花了: