Function func_split_list_data

toolkit/utils/read_files.py:68–80

(data, store_root, split_num=8, shuffle=True)

# 功能：将一个list文件分成多份，存储在store_root中
def func_split_list_data(data, store_root, split_num=8, shuffle=True):
    if not os.path.exists(store_root):
        os.makedirs(store_root)

    if shuffle:
        data = func_shuffle_list_data(data)

    subset_number = math.ceil(len(data)/split_num)
    for ii in range(split_num):
        sub_data = data[ii*subset_number:(ii+1)*subset_number]

        save_path = os.path.join(store_root, f'split-{ii}.npy')
        np.save(save_path, sub_data)


# 功能2：读取key值对应的 name2key [因为可能存在多个values，所以返回的values都变成list格式了]