MindSpore入門--跑通BCGF模型開發手冊

MindSpore入門–跑通BCGF模型

An Introduction To MindSpore – BCGF

MindSpore入門–跑通BCGF模型

本文開發環境如下

ModelArts

Notebook

Ascend

本文主要內容如下

環境準備

數據準備

模型訓練

1. 環境準備

注意事項：

本次筆者基于Ascend進行8卡運行，并且配置了500G的云硬盤。8卡主要作用是防止內存溢出，導致預處理時進程被Killed

1.1 克隆倉庫并進入到本地BCGF目錄

git clone https://gitee.com/mindspore/models.git mindspore_models cd mindspore_models/official/gnn/bgcf

1

2

可以使用find . -print|sed -e 's;[^/]*/;|--;g;s;--|; |;g'查看deepfm目錄結構，目錄結構如下所示。

. |--README.md |--README_CN.md |--ascend310_infer | |--CMakeLists.txt | |--build.sh | |--inc | | |--utils.h | |--src | | |--main.cc | | |--utils.cc |--default_config.yaml |--eval.py |--export.py |--mindspore_hub_conf.py |--model_utils | |--__init__.py | |--config.py | |--device_adapter.py | |--local_adapter.py | |--moxing_adapter.py |--postprocess.py |--preprocess.py |--requirements.txt |--scripts | |--run_eval_ascend.sh | |--run_eval_gpu.sh | |--run_infer_310.sh | |--run_process_data_ascend.sh | |--run_train_ascend.sh | |--run_train_gpu.sh |--src | |--bgcf.py | |--callback.py | |--dataset.py | |--metrics.py | |--utils.py |--train.py

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

1.2 準備開發環境

pip3 install -r requirements.txt

1

2.數據準備與訓練

2.1 下載數據集

數據集-Amazo Beauty

http://snap.stanford.edu/data/amazon/productGraph/categoryFiles/ratings_All_Beauty.csv

http://snap.stanford.edu/data/amazon/productGraph/categoryFiles/ratings_Beauty.csv

注意事項

如果使用wget下載速度慢，可以使用迅雷等下載工具下載完成后再上傳到服務器。

mkdir cache && cd cache mkdir amazon && cd amazon wget http://snap.stanford.edu/data/amazon/productGraph/categoryFiles/ratings_All_Beauty.csv wget http://snap.stanford.edu/data/amazon/productGraph/categoryFiles/ratings_Beauty.csv

1

2

3

4

md5sum ratings_All_Beauty.csv md5sum ratings_Beauty.csv

1

2

會輸出如下內容

[ma-user amazon]$md5sum ratings_All_Beauty.csv 896df55afb738295ff446fdd0b0a7749 ratings_All_Beauty.csv [ma-user amazon]$md5sum ratings_Beauty.csv 8d933dae79f7d5156d3368dcfe6cee84 ratings_Beauty.csv

1

2

3

4

find . -print|sed -e 's;[^/]*/;|--;g;s;--|; |;g'

1

會輸出如下內容

. |--ratings_All_Beauty.csv |--ratings_Beauty.csv

1

2

3

數據預處理

cd .. cd .. cd scrtpts bash ./run_process_data_ascend.sh ../cache/amazon

1

2

3

4

進入到python環境，將模型保存。

#進入到gnn目錄下執行操作 mox.file.copy_parallel("bgcf/scripts/data_mr", "obs://ms-models/amazon-beauty/mind-record") mox.file.copy_parallel("bgcf", "obs://ms-models/bgcf/bgcf")

1

2

3

3.開始訓練

下面我們利用已有的mr文件部署算法開始訓練。

訓練結束。

4.發布算法

算法已發布至BCGF模型算法 (huaweicloud.com)

MindSpore 機器學習

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。