Förtjänar ditt viktformat en egen kärna?
Packa modellvikter, packa upp dem till bf16 och testa kvaliteten i vanlig MLX innan du bygger stöd för ett nytt format.
Läs artikeln : Förtjänar ditt viktformat en egen kärna?Det vi lär oss längs vägen
Anteckningar om teknik, forskning och företagande.
Den dolda avrundningen i RMSNorm
I de RMSNorm-kodvägar vi granskade avrundar MLX tidigare än PyTorch, NVIDIA Transformer Engine och Huawei CANN. Ett litet val som spelar roll när modeller flyttas mellan plattformar.
Läs artikeln : Den dolda avrundningen i RMSNormDärför börjar vi skriva
En del användbara saker försvinner mellan den första frågan och det färdiga resultatet. Efter tolv år har vi gjort plats för dem.
Läs artikeln : Därför börjar vi skrivaDet finns inga artiklar i den här kategorin ännu.
Vad är du nyfiken på?
Vi tycker om att göra något användbart av intressanta frågor.
Vi pratar gärna om dina.