Linkup Research hat SPARSEUP veröffentlicht – ein offen zugängliches Modell spärlicher Einbettungen basierend auf ModernBERT mit 149 Mio Parametern. Den Angaben von MarkTechPost zufolge erzielte das Modell 56,4 nDCG@10 auf BEIR-13; Linkup Research nennt dies das bislang beste bekannte Ergebnis für einen öffentlich zugänglichen spärlichen Encoder mit weniger als 150 Mio Parametern.
Für die Spärung verwendet das Modell Logits-Skews, erweitert auf 12 Elemente pro Token und eine Normalisierung. In Kombination mit dem Seismic-Index soll es laut demselben Recap eine Reichweite von über 97% und eine Latenz von rund 380 Mikrosekunden pro Anfrage erreichen. Die Verbreitung erfolgt unter der Apache 2.0 Lizenz.
Der praktische Reiz liegt in der Kombination aus kompaktem Format, spärlichen Repräsentationen und der behaupteten Latenz, die die Implementierung solcher Modelle in Praxis-Systeme erleichtern könnte. Die Quelle wird als unabhängige Metadaten-Zusammenfassung präsentiert, nicht als primäre Veröffentlichung oder Bestätigung durch andere Quellen.
redaktioneller Kommentar
Warum es wichtig ist
Wahrscheinliche Folge – zunehmendes Interesse an kompakten spärlichen Modellen für praktischen Suchanwendungen, falls die angegebenen Werte reproduzierbar sind. Das nächste beobachtbare Signal wird die Veröffentlichung erster Ergebnisse, Code oder unabhängiger Vergleiche sein. Eine wesentliche Unsicherheit besteht darin, dass derzeit nur eine einzige Metadaten-Zusammenfassung verfügbar ist.