Joint MoE Scaling Laws: Mixture of Experts Can Be Memory Efficient. - Jan Ludziejewski; Maciej Pióro; Jakub Krajewski; Maciej Stefaniak; Michal Krutul; Jan Malasnicki; Marek Cygan; Piotr Sankowski; Kamil Adamczewski; Piotr Milos; Sebastian Jaszczur (CoRR, 2025)

Projected Compression: Trainable Projection for Efficient Transformer Compression. - Maciej Stefaniak; Michal Krutul; Jan Malasnicki; Maciej Pióro; Jakub Krajewski; Sebastian Jaszczur; Marek Cygan; Kamil Adamczewski; Jan Ludziejewski (CoRR, 2025)

Decoupled Relative Learning Rate Schedules. - Jan Ludziejewski; Jan Malasnicki; Maciej Pióro; Michal Krutul; Kamil Ciebiera; Maciej Stefaniak; Jakub Krajewski; Piotr Sankowski; Marek Cygan; Kamil Adamczewski; Sebastian Jaszczur (CoRR, 2025)

μ-Parametrization for Mixture of Experts. - Jan Malasnicki; Kamil Ciebiera; Mateusz Borun; Maciej Pióro; Jan Ludziejewski; Maciej Stefaniak; Michal Krutul; Sebastian Jaszczur; Marek Cygan; Kamil Adamczewski; Jakub Krajewski (CoRR, 2025)