Комментарии 4
А что делать, если данных много, например 400 Гб? Получаеться надо как то тренировать пачками, прошел все файлы, удаляй и загружай новые? В принципе если разделить все данные на равные части и после каждой эпохи менять/загружать новую часть, то почти ничего не измениться, разве то что например 10 эпох — это будет по сути одна эпоха. Может еще будет хуже сходимость, поскольку данные не перемешиваються между частями. Ну и код будет тяжелее писать, хотя не всегда.

Для такого обработки такого объема данных — 400 гб. Google Colab и не предназначен. Под такую задачу вам уже другое решение нужно.

Можно просто прописать в ячейке команду:
!unzip «путь_до_архива»
Всё извлечётся в память Colab.
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.