Hugging Face Models および Datasets リポジトリは最終成果物の公開には最適ですが、産業用機械学習のプロセスでは、チェックポイント、オプティマイザの状態、処理済みチャンク、ログ、トレースなどの中間ファイルが絶えず生成されます。これらのファイルは頻繁に変更され、複数のタスクから同時に発生し、バージョン管理を必要とすることは稀です。

Hugging Face が発表した新機能「Storage Buckets」は、まさにこのような中間ファイルを保存するために設計されています。これにより、モデルのトレーニングおよび推論プロセス中に生成されるデータの管理がより効率的になり、その保存とアクセスが簡素化されます。