Быстрая загрузка большого количества данных в Google Colab

А что делать, если данных много, например 400 Гб? Получаеться надо как то тренировать пачками, прошел все файлы, удаляй и загружай новые? В принципе если разделить все данные на равные части и после каждой эпохи менять/загружать новую часть, то почти ничего не измениться, разве то что например 10 эпох — это будет по сути одна эпоха. Может еще будет хуже сходимость, поскольку данные не перемешиваються между частями. Ну и код будет тяжелее писать, хотя не всегда.

Можно просто прописать в ячейке команду:
!unzip «путь_до_архива»
Всё извлечётся в память Colab.