pytorch dataloader加速

Pytorch IO提速

1. 把內存變成硬盤，把需要讀的數據塞到里面去，加快了io。

Optimizing PyTorch training code

如何給你PyTorch里的Dataloader打雞血

輕輕松松為你的Linux系統創建RAM Disk

把內存當硬盤，提速你的linux系統

Linux創建使用內存硬盤（RAM DISK）

2. 使用英偉達的 NVIDIA/DALI 模塊

A library containing both highly optimized building blocks and an execution engine for data pre-processing in deep learning applications

Pytorch_example

博客: Introducing GPU Instances: Using Deep Learning to Obtain Frontal Rendering of Facial Images

DALI 文檔 ： dali-pytorch

3. 使用英偉達的 NVIDIA/apex 模塊

4. 將原始圖像保存為pt或hdf5文件

hdf5： Saving and loading a large number of images (data) into a single HDF5 file ?（圖片轉換成HDF5文件（加載，保存））

pt : https://discuss.pytorch.org/t/how-to-speed-up-the-data-loader/13740/3

5. ?將原始數據保存為lmdb格式

博客：Efficiently processing large image datasets in Python

6. ?Python簡易實現并行操作

一行 Python 代碼實現并行

Linux pytorch

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。