用法
使用 hf-ms-transfer 迁移 Huggingface 模型、数据集到 modelscope 平台:
安装
pip install hf-ms-transfer # install
迁移
hf-ms-transfer "hf-user/hf-package" --ms-token "modelscope_token" --ms-name "modelscope_user_name" # transfer # example: hf-ms-transfer "stanfordnlp/imdb" --ms-token "02342424-0g23-254c-9f9a-f23fasdfafaf" --ms-name "Qwen"
可以从 ModelScope个人中心 获取 用户名(左上角)和 个人token(SDK/API 令牌)
主要功能
hf-ms-transfer 支持:
- 同时支持模型和数据集
- 支持在单个命令中迁移多个模型和数据集
- 解决数据集迁移后 load_dataset 失败问题
- 可自定义在 ModelScope 上的仓库名称
Bonus
默认情况把数据集下从 huggingface 迁移到 modelscope 之后,load_dataset 函数会遇到以下错误
TypeError: Value.__init__() missing 1 required positional argument: 'dtype'
是多余的dataset_infos.json文件导致,把数据集中该文件删除即可。
使用 hf-ms-transfer 迁移会默认解决该问题,如果需要保留该文件也可以通过传入参数来实现。