小编Xav*_*ier的帖子

谷歌 Colab 上的深度学习:加载大型图像数据集很长,如何加速这个过程?

我正在使用 Keras 开发深度学习模型并加速计算,我想使用 google colab 上可用的 GPU。

我的图像文件已经加载到我的谷歌驱动器上。我有 24000 张图像用于训练 4000 张图像以测试我的模型。

但是,当我将图像加载到数组中时,需要很长时间(将近 2 小时),因此每次使用 google colab notebook 时都不太方便。

你知道如何加速这个过程吗?这是我当前的代码:

TRAIN_DIR  = "Training_set/X"
TRAIN_DIR_Y = "Training_set/Y"
IMG_SIZE = 128

def parse_img_data(path):
    X_train = []
    index_train = []
    img_ind = []
    for img in tqdm(os.listdir(path)):
        img_ind.append(int(img.split('.')[0])-1)
        path = os.path.join(TRAIN_DIR,img)
        img = cv2.imread(path,cv2.IMREAD_COLOR)
        img = cv2.resize(img, (IMG_SIZE,IMG_SIZE))
        X_train.append(np.array(img))
    return np.array(img_ind), np.array(X_train)

ind_train, X_train = parse_img_data(TRAIN_DIR)
Run Code Online (Sandbox Code Playgroud)

如果你能帮助我,我将不胜感激。

泽维尔

python deep-learning keras google-colaboratory

5
推荐指数
2
解决办法
4812
查看次数