512 gelijktijdige batchverzoeken
DeepSeek V4.1 Flash op 1 × AMD Instinct MI350P
Paiton haalde 77,9 tok/s voor één verzoek in LocalMaxxing. Een apart batchprofiel verwerkte 512 gelijktijdige verzoeken, met 1.107,6 totale tok/s bij antwoorden van 8K tokens. Eén MI350P met een GPU-limiet van 450 W, circa 290 GB hostgeheugen en expertberekeningen op de CPUs. Batchdoorvoer is geen interactieve chatsnelheid. De native CDNA4-runtime is niet openbaar.
Lees de DeepSeek-benchmark273,1 tok/s voor één verzoek
Qwen3.8 Flash Next op 1 × AMD Instinct MI350P
Bij een ingestelde vermogenslimiet van 450 W haalde Paiton in LocalMaxxing 273,1 uitvoertok/s voor één verzoek en 2.508,6 totale tok/s bij 64 gelijktijdige verzoeken. De vergelijking gebruikt Paiton A5-gewichten tegenover AMD Quark MXFP4 op vLLM en SGLang en meet dus volledige servingstacks, niet alleen de engine. Inclusief latentiemetingen, GPU-energiemetingen en downloadbare meetgegevens. De geoptimaliseerde CDNA4-engine is niet openbaar.
Bekijk de MI350P-benchmark258,7 gewogen tok/s
Betere 3-bit-nauwkeurigheid, sneller gesprekken hervatten
Op twee R9700-kaarten rapporteert de benchmark van 24 oktober met de native worker 258,7 gewogen tok/s voor één verzoek. De vernieuwde 3-bit-gewichten tonen op de geteste reken-, code- en kennistaken geen statistisch significant verschil met de 16-bit-referentie; dat bewijst geen gelijkwaardigheid, en beeldbegrip blijft achter. Optionele native prefixcaching met MTP hergebruikt lange gesprekken; de cachemodus en het hostgeheugen hebben elk hun beperkingen.
Lees de update van 24 oktober492,1 tok/s totale doorvoer
Qwen3.8 W3A4: sneller decoderen op één R9700
De 65K-test van 26 september gebruikte FP8-KV-cache: acht gelijktijdige verzoeken haalden samen 492,1 uitvoertokens per seconde en de gewogen decodesnelheid steeg met 19,9% tot 184,4 tok/s tegenover de vorige MXFP4-release. De latere 4-bit-KV- en 200K-profielen werden afzonderlijk gemeten. In de oorspronkelijke nauwkeurigheidstest met FP8-cache verlaagde W3A4 de score op de geteste MMLU-Pro-subset met 2,86 punten.
Lees de W3A4-benchmark103,29 s per opgewarmde beeldaanvraag
Qwen-Image 2.1 op één Radeon AI PRO R9700
Het gepubliceerde standaardprofiel van v1.0.2 leverde een PNG van 2048 × 2048 af met een mediane aanvraagtijd van 103,29 s na opwarming, gemeten over drie containers. Hetzelfde MXFP4-checkpoint, 40 stappen, guidance 1.0 en een batchgrootte van één. Ongeveer 37% kortere aanvraagtijd dan in de aparte historische v1.0.1-herhaling; de beeldkwaliteit werd gecontroleerd tegenover het exact-profiel.
Lees de beeldbenchmark400,7 tok/s totale doorvoer
Eerder Qwen3.8 MXFP4-resultaat op ROCm 10
De eerdere MXFP4-preset met 65K-context haalde 400,7 tok/s totale doorvoer bij acht gelijktijdige verzoeken en 146,9 tok/s gewogen seriële decodesnelheid. Het aparte artikel behandelt chat met lange context en behoudt de oorspronkelijke winst van 57% tegenover Radiance + DFlash2 met dezelfde instellingen in de vergelijking met 188 verzoeken en 8K-context.
Benchmark en demo16,7% minder wachten
MiniMax H3-video en audio op één Radeon
Een clip van 15 seconden met stereogeluid, gemiddeld opgeslagen in 5 min 33 s tegenover 6 min 39 s voor stock met dezelfde instellingen. Turbo8 op één R9700 van 32 GB, met de volledige aanvraagtijd gemeten na het opwarmen.
Bekijk de clips16,2% minder generatietijd
FLUX.2 klein op Radeon AI PRO R9700
1,054 seconden per beeld met een opgewarmde pipeline, 33,4% minder piekallocatie in Torch en een gratis lokale ComfyUI-workflow. Getest op 1024 × 1024, met vier stappen en een batchgrootte van één.
Lees de benchmark+27% output
Ornith 1.5 op één Radeon-GPU van 32 GB
Paiton met DFlash levert 44,63 outputtokens per seconde op R9700, 27% meer dan de geoptimaliseerde standaard-vLLM-configuratie in de geteste workload met één gebruiker.
Lees de benchmark+21% output
Qwen3.8 op Radeon AI PRO R9700
Meer throughput voor interactieve taken, code en lange contexten op dezelfde Radeon-GPU met 32 GB.
Lees de benchmark405B-model
Versnelling van Llama-3.1-405B
Sneller opstarten en snellere inference voor een open model op frontierniveau.
Casestudy lezen$/1 miljoen tokens
MoE-kernels verslaan H200/B200
MI300X met de Paiton-runtime voor kostenefficiënte MoE-workloads met een lange context.
Lees de benchmark
