Mixture of Tokens: Efficient LLMs through Cross-Example Aggregation. - Szymon Antoniak; Sebastian Jaszczur; Michal Krutul; Maciej Pióro; Jakub Krajewski; Jan Ludziejewski; Tomasz Odrzygózdz; Marek Cygan (CoRR, 2023)

Scaling Laws for Fine-Grained Mixture of Experts. - Jan Ludziejewski; Jakub Krajewski; Kamil Adamczewski; Maciej Pióro; Michal Krutul; Szymon Antoniak; Kamil Ciebiera; Krystian Król; Tomasz Odrzygózdz; Piotr Sankowski; Marek Cygan; Sebastian Jaszczur (ICML, 2024)

An implementation of the YOLO algorithm for the recognition of flags of the International Code of Signals. - Jakub Krajewski; Ireneusz Czarnowski (KES, 2024)

Mixture of Tokens: Continuous MoE through Cross-Example Aggregation. - Szymon Antoniak; Michal Krutul; Maciej Pióro; Jakub Krajewski; Jan Ludziejewski; Kamil Ciebiera; Krystian Król; Tomasz Odrzygózdz; Marek Cygan; Sebastian Jaszczur (NeurIPS, 2024)

Joint MoE Scaling Laws: Mixture of Experts Can Be Memory Efficient. - Jan Ludziejewski; Maciej Pióro; Jakub Krajewski; Maciej Stefaniak; Michal Krutul; Jan Malasnicki; Marek Cygan; Piotr Sankowski; Kamil Adamczewski; Piotr Milos; Sebastian Jaszczur (CoRR, 2025)

Scaling Fine-Grained MoE Beyond 50B Parameters: Empirical Evaluation and Practical Insights. - Jakub Krajewski; Marcin Chochowski; Daniel Korzekwa (CoRR, 2025)

Projected Compression: Trainable Projection for Efficient Transformer Compression. - Maciej Stefaniak; Michal Krutul; Jan Malasnicki; Maciej Pióro; Jakub Krajewski; Sebastian Jaszczur; Marek Cygan; Kamil Adamczewski; Jan Ludziejewski (CoRR, 2025)

Decoupled Relative Learning Rate Schedules. - Jan Ludziejewski; Jan Malasnicki; Maciej Pióro; Michal Krutul; Kamil Ciebiera; Maciej Stefaniak; Jakub Krajewski; Piotr Sankowski; Marek Cygan; Kamil Adamczewski; Sebastian Jaszczur (CoRR, 2025)