Scaling Laws for Fine-Grained Mixture of Experts. - Jan Ludziejewski; Jakub Krajewski; Kamil Adamczewski; Maciej Pióro; Michal Krutul; Szymon Antoniak; Kamil Ciebiera; Krystian Król; Tomasz Odrzygózdz; Piotr Sankowski; Marek Cygan; Sebastian Jaszczur (ICML, 2024)

Mixture of Tokens: Continuous MoE through Cross-Example Aggregation. - Szymon Antoniak; Michal Krutul; Maciej Pióro; Jakub Krajewski; Jan Ludziejewski; Kamil Ciebiera; Krystian Król; Tomasz Odrzygózdz; Marek Cygan; Sebastian Jaszczur (NeurIPS, 2024)

MoE-Mamba: Efficient Selective State Space Models with Mixture of Experts. - Maciej Pióro; Kamil Ciebiera; Krystian Król; Jan Ludziejewski; Sebastian Jaszczur (CoRR, 2024)

Decoupled Relative Learning Rate Schedules. - Jan Ludziejewski; Jan Malasnicki; Maciej Pióro; Michal Krutul; Kamil Ciebiera; Maciej Stefaniak; Jakub Krajewski; Piotr Sankowski; Marek Cygan; Kamil Adamczewski; Sebastian Jaszczur (CoRR, 2025)