Hugging Face представила новую функцию, называемую Storage Buckets, которая предназначена для хранения промежуточных файлов, генерируемых в процессе обучения и производства моделей машинного обучения.

Hugging Face Models и Datasets репозитории отлично подходят для публикации финальных артефактов. Однако в процессе промышленного машинного обучения постоянно генерируются промежуточные файлы, такие как чекпоинты, состояния оптимизатора, обработанные фрагменты, логи и трассировки. Эти файлы часто меняются, поступают с нескольких задач одновременно и редко требуют контроля версий.

Новая функция Storage Buckets, представленная Hugging Face, предназначена для хранения именно таких промежуточных файлов. Это позволяет более эффективно управлять данными, генерируемыми в процессе обучения и производства моделей, и упрощает их хранение и доступ.