Hugging Face stellt eine neue Funktion namens Storage Buckets vor, die zur Speicherung von Zwischendateien dient, die während des Trainings und der Produktion von Modellen für maschinelles Lernen generiert werden.

Die Repositories Hugging Face Models und Datasets eignen sich hervorragend für die Veröffentlichung endgültiger Artefakte. Im Prozess des industriellen maschinellen Lernens werden jedoch ständig Zwischendateien generiert, wie Checkpoints, Optimierer-Zustände, verarbeitete Chunks, Logs und Traces. Diese Dateien ändern sich häufig, stammen aus mehreren Aufgaben gleichzeitig und erfordern selten eine Versionskontrolle.

Die neue Funktion Storage Buckets, die von Hugging Face vorgestellt wurde, ist speziell für die Speicherung solcher Zwischendateien konzipiert. Dies ermöglicht ein effizienteres Management der Daten, die während des Trainings und der Produktion von Modellen generiert werden, und vereinfacht deren Speicherung und Zugriff.