[{"data":1,"prerenderedAt":2639},["ShallowReactive",2],{"blog-post-nl-\u002Fblog\u002Fpaiton-qwen38-w3a4-radeon-ai-pro-r9700":3,"blog-posts-sidebar-nl":2073},{"id":4,"title":5,"body":6,"categories":2053,"date":2058,"description":2059,"extension":2060,"heading":2061,"image":2062,"meta":2063,"navigation":1367,"originalUrl":2064,"path":2065,"seo":2066,"slug":2067,"socialImage":2068,"stem":2069,"updated":2070,"video":2071,"__hash__":2072},"blogNl\u002Fblog\u002Fpaiton-qwen38-w3a4-radeon-ai-pro-r9700.md","Qwen3.8 27B op 1 × Radeon AI PRO R9700: 3-bit gewichten, 20% snellere decode",{"type":7,"value":8,"toc":2028},"minimark",[9,23,30,64,79,84,117,130,134,137,152,164,168,172,183,374,377,382,385,390,462,465,469,472,477,582,601,685,689,692,697,745,758,765,768,773,834,847,851,878,927,940,944,972,988,992,996,1007,1010,1014,1017,1036,1040,1047,1056,1060,1067,1082,1086,1089,1102,1106,1109,1114,1198,1211,1218,1245,1249,1259,1282,1291,1300,1304,1318,1618,1625,1633,1640,1658,1679,1715,1732,1736,1748,1752,1774,1777,1800,2024],[10,11,12,16,17,22],"p",{},[13,14,15],"strong",{},"Update van 24 oktober:"," ",[18,19,21],"a",{"href":20},"\u002Fnl\u002Fblog\u002Fpaiton-qwen38-3bit-accuracy-prefix-caching-mtp","Een verdere nauwkeurigheidsupdate voor Qwen3.8 27B"," brengt de 3-bit-gewichten dichter bij de 16-bit-referentie op apart gehouden tekst, zonder wijziging in snelheid of downloadgrootte. Dat artikel behandelt ook Flash Next op twee kaarten. De septemberbenchmarks en hun afwegingen rond nauwkeurigheid hieronder blijven ongewijzigd.",[10,24,25,26,29],{},"Een lokale assistent is nuttiger als hij sneller schrijft, lange documenten sneller verwerkt en ruimte heeft voor meerdere gebruikers tegelijk. Onze Paiton-release brengt die verbeteringen naar ",[13,27,28],{},"Qwen3.8 27B op 1 × Radeon AI PRO R9700 (32 GB)",", zonder een tweede GPU toe te voegen.",[10,31,32,33,36,37,40,41,44,45,56],{},"In de oorspronkelijke benchmark van 26 september steeg de gewogen generatiesnelheid tegenover onze MXFP4-release van 24 september van ",[13,34,35],{},"153,8 naar 184,4 tokens per seconde: 19,9% snellere decode",". Acht gelijktijdige verzoeken leverden samen ",[13,38,39],{},"492,1 tokens per seconde",", tegenover 425,3. De kleinere gewichten boden met de FP8-cache in het 65K-serverprofiel aanvankelijk ",[13,42,43],{},"43,5% meer gerapporteerde cachecapaciteit in tokens",". De huidige image voegt een 4-bit cache toe en vergroot die gerapporteerde capaciteit verder.",[46,47,48],"sup",{},[18,49,55],{"href":50,"ariaDescribedBy":51,"dataFootnoteRef":53,"id":54},"#user-content-fn-model",[52],"footnote-label","","user-content-fnref-model","1",[46,57,58],{},[18,59,63],{"href":60,"ariaDescribedBy":61,"dataFootnoteRef":53,"id":62},"#user-content-fn-release",[52],"user-content-fnref-release","2",[10,65,66,67,70,71,74,75,78],{},"De verandering bestaat uit onze eigen geroteerde ",[13,68,69],{},"3-bit gewichten voor de grote decoderprojecties",", met ",[13,72,73],{},"4-bit activatierekenwerk in geselecteerde lagen tijdens de promptverwerking",". Andere tensors behouden hun bestaande formaat. Daar staat een echte afweging tegenover: de MMLU-Pro-subset voor algemene kennis daalt in de oorspronkelijke vergelijking met MXFP4 met ongeveer drie procentpunten. De verschillen voor rekenen en code zijn in die tests niet te onderscheiden van meetruis, en alle 80 afgebakende lang-contextopzoektests slagen. Als kennisnauwkeurigheid vooropstaat, blijft ",[13,76,77],{},"MXFP4 via één opstartoptie beschikbaar",".",[80,81,83],"h2",{"id":82},"update-van-30-september-één-image-meer-manieren-om-te-draaien","Update van 30 september: één image, meer manieren om te draaien",[10,85,86,87,93,94,97,98,102,103,106,107,110,111],{},"De ",[18,88,92],{"href":89,"rel":90},"https:\u002F\u002Fgithub.com\u002FEliovp-BV\u002Fpaiton-vllm-plugin\u002Fblob\u002F86ff71c4a3ccaa5da410c2b94e1976fab1c6ab87\u002Fmodels\u002FQwen3.8-MXFP4-DFlash2\u002FREADME.md",[91],"nofollow","huidige releasehandleiding"," beschrijft één image, op ",[13,95,96],{},"29 september bijgewerkt naar r2",". De tekstmodus met 65K context ondersteunt nog steeds maximaal acht ingeplande verzoeken. Met W3A4-gewichten staat de nieuwe 4-bit attention-cache standaard aan; ",[99,100,101],"code",{},"--kv-cache fp8"," herstelt de cachekeuze van de oorspronkelijke benchmark. Dezelfde image kan in plaats daarvan ",[13,104,105],{},"één gesprek van 200K tokens met prefixcaching"," draaien, of met ",[99,108,109],{},"--vision"," afbeeldingen ontvangen in de 65K-modus. Deze modi hebben elk hun eigen geheugen- en prestatiekenmerken. Beeldinvoer kan niet worden gecombineerd met de geteste lang-contextmodus.",[46,112,113],{},[18,114,63],{"href":60,"ariaDescribedBy":115,"dataFootnoteRef":53,"id":116},[52],"user-content-fnref-release-2",[10,118,119,120,123,124],{},"De image van 26 september achter de grafieken hieronder kon onder bepaalde gelijktijdige belasting stoppen. De r1-image van 28 september verhielp dat probleem, maar die en eerdere images hadden nog een afzonderlijke fout bij het initialiseren van de DFlash2-draftkop. Daardoor kon de acceptatie van speculatieve tokens op sommige systemen instorten. ",[13,121,122],{},"Gebruik voor nieuwe installaties de r2-image van 29 september."," De launcher legt de image vast via een digest; de installatie hieronder legt ook de repository en gewichten vast. De metingen van 26 september blijven historische metingen, geen nieuwe benchmark van elke r2-modus.",[46,125,126],{},[18,127,63],{"href":60,"ariaDescribedBy":128,"dataFootnoteRef":53,"id":129},[52],"user-content-fnref-release-3",[80,131,133],{"id":132},"wat-verandert-in-dagelijks-gebruik","Wat verandert in dagelijks gebruik",[10,135,136],{},"De release van 26 september combineerde het bestaande MXFP4-pad, de FP8-cache, DFlash2-speculatieve decode en Paitons native AMD-uitvoering binnen vLLM met optionele kleinere W3A4-gewichten. Dat leverde snellere uitvoer, snellere promptverwerking en meer cacheruimte op dezelfde kaart op. De latere image voegt cachecompressie en een keuze tussen modi toe.",[10,138,139,140,143,144,147,148,151],{},"Die voordelen zijn verschillende metingen. ",[13,141,142],{},"Decode"," is de generatie na het eerste token. ",[13,145,146],{},"Totale doorvoer"," is de uitvoer van meerdere gelijktijdige verzoeken samen. ",[13,149,150],{},"Prefill"," is het verwerken van de prompt voordat de generatie begint. Een hogere tokensnelheid in één fase betekent niet automatisch een even grote daling van de volledige verzoektijd.",[10,153,154,155,158,159,163],{},"De 19,9% uit de titel vergelijkt deze release met de ",[13,156,157],{},"MXFP4-image van 24 september",", niet met de oudere Radiance-vergelijking in ons ",[18,160,162],{"href":161},"\u002Fnl\u002Fblog\u002Fpaiton-qwen38-mxfp4-dflash2-r9700","eerdere Qwen3.8-artikel",". Het oorspronkelijke resultaat van 57% in dat artikel blijft een afzonderlijke benchmark met een eigen configuratie.",[80,165,167],{"id":166},"snellere-generatie-in-uiteenlopende-taken","Snellere generatie in uiteenlopende taken",[169,170],"w3a4-figure",{"kind":171},"decode",[10,173,174],{},[175,176,177,178,78],"em",{},"BetterBench 0.6.0, quick-profiel. Generatie na het eerste token, in tokens\u002Fs; hoger is beter. De waarden zijn gemiddelden van twee volledige runs. Het gewogen resultaat stijgt met 19,9% tegenover de vorige release. De winst verschilt per taak en belooft dus niet dat elke prompt 20% sneller genereert. ",[18,179,182],{"href":180,"rel":181},"https:\u002F\u002Fgithub.com\u002FEliovp-BV\u002Fpaiton-vllm-plugin\u002Fblob\u002Fa44044105287da3d040652ea8bcd3927a94a1bf2\u002Fmodels\u002FQwen3.8-MXFP4-DFlash2\u002Fbenchmarks\u002F2026-09-26-w3a4\u002FREADME.md",[91],"Gepubliceerd benchmarkrapport",[184,185,186,209],"table",{},[187,188,189],"thead",{},[190,191,192,196,200,203,206],"tr",{},[193,194,195],"th",{},"Taak",[193,197,199],{"align":198},"right","Vorige MXFP4-release",[193,201,202],{"align":198},"Deze ronde, MXFP4",[193,204,205],{"align":198},"W3A4-release",[193,207,208],{"align":198},"Verschil tegenover vorige",[210,211,212,230,247,262,279,296,313,330,347],"tbody",{},[190,213,214,218,221,224,227],{},[215,216,217],"td",{},"Chat",[215,219,220],{"align":198},"121,2 tok\u002Fs",[215,222,223],{"align":198},"122,9 tok\u002Fs",[215,225,226],{"align":198},"135,8 tok\u002Fs",[215,228,229],{"align":198},"+12,0%",[190,231,232,235,238,241,244],{},[215,233,234],{},"Code",[215,236,237],{"align":198},"179,9 tok\u002Fs",[215,239,240],{"align":198},"182,7 tok\u002Fs",[215,242,243],{"align":198},"226,0 tok\u002Fs",[215,245,246],{"align":198},"+25,6%",[190,248,249,252,254,256,259],{},[215,250,251],{},"Bestandsbewerking",[215,253,237],{"align":198},[215,255,240],{"align":198},[215,257,258],{"align":198},"195,0 tok\u002Fs",[215,260,261],{"align":198},"+8,5%",[190,263,264,267,270,273,276],{},[215,265,266],{},"JSON",[215,268,269],{"align":198},"217,5 tok\u002Fs",[215,271,272],{"align":198},"220,8 tok\u002Fs",[215,274,275],{"align":198},"269,0 tok\u002Fs",[215,277,278],{"align":198},"+23,7%",[190,280,281,284,287,290,293],{},[215,282,283],{},"Rekenen",[215,285,286],{"align":198},"183,8 tok\u002Fs",[215,288,289],{"align":198},"186,5 tok\u002Fs",[215,291,292],{"align":198},"228,9 tok\u002Fs",[215,294,295],{"align":198},"+24,5%",[190,297,298,301,304,307,310],{},[215,299,300],{},"Proza",[215,302,303],{"align":198},"78,5 tok\u002Fs",[215,305,306],{"align":198},"79,6 tok\u002Fs",[215,308,309],{"align":198},"94,7 tok\u002Fs",[215,311,312],{"align":198},"+20,7%",[190,314,315,318,321,324,327],{},[215,316,317],{},"Redeneren",[215,319,320],{"align":198},"117,8 tok\u002Fs",[215,322,323],{"align":198},"119,4 tok\u002Fs",[215,325,326],{"align":198},"133,5 tok\u002Fs",[215,328,329],{"align":198},"+13,3%",[190,331,332,335,338,341,344],{},[215,333,334],{},"Samenvatten",[215,336,337],{"align":198},"138,4 tok\u002Fs",[215,339,340],{"align":198},"140,5 tok\u002Fs",[215,342,343],{"align":198},"158,4 tok\u002Fs",[215,345,346],{"align":198},"+14,4%",[190,348,349,354,359,364,369],{},[215,350,351],{},[13,352,353],{},"Gewogen",[215,355,356],{"align":198},[13,357,358],{},"153,8 tok\u002Fs",[215,360,361],{"align":198},[13,362,363],{},"156,1 tok\u002Fs",[215,365,366],{"align":198},[13,367,368],{},"184,4 tok\u002Fs",[215,370,371],{"align":198},[13,372,373],{},"+19,9%",[10,375,376],{},"De middelste kolom scheidt de kleinere runtimeverbeteringen met MXFP4 van de grotere winst door het nieuwe gewichtformaat. De gewogen decode van het MXFP4-pad van deze ronde ligt ongeveer 1,5% boven de vorige release.",[378,379,381],"h3",{"id":380},"meer-uitvoer-bij-overlappende-verzoeken","Meer uitvoer bij overlappende verzoeken",[169,383],{"kind":384},"concurrency",[10,386,387],{},[175,388,389],{},"Totale gegenereerde tokens\u002Fs, met 48 verzoeken per gelijktijdigheidsniveau; hoger is beter. Dit zijn gezamenlijke serversnelheden, niet de snelheid die elke gebruiker afzonderlijk krijgt. Eén R9700, 65.536 tokens ingestelde context, maximaal acht ingeplande reeksen.",[184,391,392,406],{},[187,393,394],{},[190,395,396,399,401,403],{},[193,397,398],{},"Gelijktijdige verzoeken",[193,400,199],{"align":198},[193,402,205],{"align":198},[193,404,405],{"align":198},"Verschil",[210,407,408,421,434,448],{},[190,409,410,412,415,418],{},[215,411,55],{},[215,413,414],{"align":198},"122,0 tok\u002Fs",[215,416,417],{"align":198},"148,8 tok\u002Fs",[215,419,420],{"align":198},"+22,0%",[190,422,423,425,428,431],{},[215,424,63],{},[215,426,427],{"align":198},"204,2 tok\u002Fs",[215,429,430],{"align":198},"249,3 tok\u002Fs",[215,432,433],{"align":198},"+22,1%",[190,435,436,439,442,445],{},[215,437,438],{},"4",[215,440,441],{"align":198},"308,2 tok\u002Fs",[215,443,444],{"align":198},"368,3 tok\u002Fs",[215,446,447],{"align":198},"+19,5%",[190,449,450,453,456,459],{},[215,451,452],{},"8",[215,454,455],{"align":198},"425,3 tok\u002Fs",[215,457,458],{"align":198},"492,1 tok\u002Fs",[215,460,461],{"align":198},"+15,7%",[10,463,464],{},"Voor een gedeelde lokale assistent kan de GPU zo meer uitvoer leveren terwijl verzoeken overlappen. De precieze winst hangt af van de promptlengtes, uitvoerlengtes en beschikbare cache.",[378,466,468],{"id":467},"ook-de-promptverwerking-wordt-sneller","Ook de promptverwerking wordt sneller",[169,470],{"kind":471},"prefill",[10,473,474],{},[175,475,476],{},"Verwerkte invoertokens per seconde; hoger is beter. De dieptelabels zijn nominale BetterBench-instellingen, geen exacte promptlengtes. De grootste nominale 64K-werklast heeft mediaan 47.016,5 werkelijke prompttokens. De gemeten wachttijd tot het eerste token staat apart hieronder.",[184,478,479,495],{},[187,480,481],{},[190,482,483,486,489,491,493],{},[193,484,485],{},"Nominale diepte",[193,487,488],{"align":198},"Mediaan werkelijke prompttokens",[193,490,199],{"align":198},[193,492,205],{"align":198},[193,494,405],{"align":198},[210,496,497,514,531,548,565],{},[190,498,499,502,505,508,511],{},[215,500,501],{},"2K",[215,503,504],{"align":198},"1.516,5",[215,506,507],{"align":198},"3.689 tok\u002Fs",[215,509,510],{"align":198},"4.156 tok\u002Fs",[215,512,513],{"align":198},"+12,7%",[190,515,516,519,522,525,528],{},[215,517,518],{},"8K",[215,520,521],{"align":198},"5.894,5",[215,523,524],{"align":198},"3.834 tok\u002Fs",[215,526,527],{"align":198},"4.165 tok\u002Fs",[215,529,530],{"align":198},"+8,6%",[190,532,533,536,539,542,545],{},[215,534,535],{},"16K",[215,537,538],{"align":198},"11.802",[215,540,541],{"align":198},"3.871 tok\u002Fs",[215,543,544],{"align":198},"4.103 tok\u002Fs",[215,546,547],{"align":198},"+6,0%",[190,549,550,553,556,559,562],{},[215,551,552],{},"32K",[215,554,555],{"align":198},"23.549,5",[215,557,558],{"align":198},"3.751 tok\u002Fs",[215,560,561],{"align":198},"3.958 tok\u002Fs",[215,563,564],{"align":198},"+5,5%",[190,566,567,570,573,576,579],{},[215,568,569],{},"64K",[215,571,572],{"align":198},"47.016,5",[215,574,575],{"align":198},"3.455 tok\u002Fs",[215,577,578],{"align":198},"3.629 tok\u002Fs",[215,580,581],{"align":198},"+5,0%",[10,583,584,585,588,589,592,593],{},"De geteste prefill-snelheden verbeteren met ",[13,586,587],{},"5,0–12,7%",". De clientwachttijd tot het eerste token daalt met ",[13,590,591],{},"4,8–10,8%",", op basis van het gemiddelde van de mediane TTFT van beide runs. Een hogere doorvoer en een lagere wachttijd zijn verschillende percentages. Ook planning en andere overhead kunnen de wachttijd beïnvloeden.",[46,594,595],{},[18,596,600],{"href":597,"ariaDescribedBy":598,"dataFootnoteRef":53,"id":599},"#user-content-fn-bench",[52],"user-content-fnref-bench","3",[184,602,603,618],{},[187,604,605],{},[190,606,607,609,612,615],{},[193,608,485],{},[193,610,611],{"align":198},"Vorige TTFT, gemiddelde van runmedianen",[193,613,614],{"align":198},"W3A4 TTFT, gemiddelde van runmedianen",[193,616,617],{"align":198},"Minder wachten",[210,619,620,633,646,659,672],{},[190,621,622,624,627,630],{},[215,623,501],{},[215,625,626],{"align":198},"407,453 ms",[215,628,629],{"align":198},"363,395 ms",[215,631,632],{"align":198},"10,8%",[190,634,635,637,640,643],{},[215,636,518],{},[215,638,639],{"align":198},"1.548,047 ms",[215,641,642],{"align":198},"1.416,748 ms",[215,644,645],{"align":198},"8,5%",[190,647,648,650,653,656],{},[215,649,535],{},[215,651,652],{"align":198},"3.054,554 ms",[215,654,655],{"align":198},"2.877,005 ms",[215,657,658],{"align":198},"5,8%",[190,660,661,663,666,669],{},[215,662,552],{},[215,664,665],{"align":198},"6.270,297 ms",[215,667,668],{"align":198},"5.943,109 ms",[215,670,671],{"align":198},"5,2%",[190,673,674,676,679,682],{},[215,675,569],{},[215,677,678],{"align":198},"13.617,798 ms",[215,680,681],{"align":198},"12.962,238 ms",[215,683,684],{"align":198},"4,8%",[80,686,688],{"id":687},"meer-ruimte-voor-lange-gesprekken","Meer ruimte voor lange gesprekken",[169,690],{"kind":691},"memory",[10,693,694],{},[175,695,696],{},"Oorspronkelijke vergelijking van 26 september met de FP8-cache. Het modelgeheugen daalt van 19,18 naar 15,89 GiB. De launcher gebruikt het vrijgekomen geheugen voor de gesprekscache: van 174.634 naar 250.578 gerapporteerde tokenplaatsen. De huidige standaardinstelling voor W3A4 in de 65K-modus gebruikt in plaats daarvan een 4-bit cache; zie hieronder. Cachecapaciteit is een schatting uit de serverconfiguratie, geen aantal volledig gemeten gesprekken.",[184,698,699,710],{},[187,700,701],{},[190,702,703,706,708],{},[193,704,705],{},"Geheugenonderdeel",[193,707,199],{"align":198},[193,709,205],{"align":198},[210,711,712,723,734],{},[190,713,714,717,720],{},[215,715,716],{},"Modelgeheugen",[215,718,719],{"align":198},"19,18 GiB",[215,721,722],{"align":198},"15,89 GiB",[190,724,725,728,731],{},[215,726,727],{},"Gerapporteerde cachecapaciteit in tokens",[215,729,730],{"align":198},"174.634",[215,732,733],{"align":198},"250.578",[190,735,736,739,742],{},[215,737,738],{},"Omgerekende capaciteit bij 65.536 tokens per reeks",[215,740,741],{"align":198},"Ongeveer 2,7",[215,743,744],{"align":198},"Ongeveer 3,8",[10,746,747,748,751,752],{},"De laatste rij is een ",[13,749,750],{},"omgerekende capaciteitsschatting",", geen bewering dat 3,8 verzoeken kunnen draaien. Prompttekst, chat- en toolopmaak en gegenereerde uitvoer tellen allemaal mee in de context. Acht ingeplande reeksen betekenen evenmin dat acht volledige 65K-gesprekken tegelijk passen.",[46,753,754],{},[18,755,55],{"href":50,"ariaDescribedBy":756,"dataFootnoteRef":53,"id":757},[52],"user-content-fnref-model-2",[10,759,760,761,764],{},"We testten het praktische effect apart met ",[13,762,763],{},"vier prompts van ongeveer 61.400 tokens",", elk met 512 aangevraagde uitvoertokens. De werkelijke promptlengtes lopen van 61.390 tot 61.426 tokens. Met het oorspronkelijke cachebudget passen slechts twee van deze verzoeken tegelijk. Als W3A4 het vrijgekomen geheugen als cache gebruikt, kunnen ze alle vier tegelijk decoderen:",[169,766],{"kind":767},"long-context",[10,769,770],{},[175,771,772],{},"Vier lange verzoeken op één R9700. Voor de volledige batchtijd is lager beter. De controle gebruikt de MXFP4-build van 26 september, niet de image van 24 september. W3A4 met uitgebreide cache verandert het geheugenbudget en gebruikt de uitgebrachte kalibratie. De W3A4-controle met dezelfde cache gebruikte een eerdere kalibratie.",[184,774,775,791],{},[187,776,777],{},[190,778,779,782,785,788],{},[193,780,781],{},"Lang-contextmeting",[193,783,784],{"align":198},"MXFP4",[193,786,787],{"align":198},"W3A4, hetzelfde cachebudget",[193,789,790],{"align":198},"W3A4, uitgebreide cache",[210,792,793,807,820],{},[190,794,795,798,801,804],{},[215,796,797],{},"Decode terwijl alle actieve verzoeken draaien",[215,799,800],{"align":198},"69 tok\u002Fs, 2 actief",[215,802,803],{"align":198},"117 tok\u002Fs, 2 actief",[215,805,806],{"align":198},"199 tok\u002Fs, 4 actief",[190,808,809,812,815,817],{},[215,810,811],{},"Alle vier tegelijk decoderen",[215,813,814],{"align":198},"Nee, twee tegelijk",[215,816,814],{"align":198},[215,818,819],{"align":198},"Ja",[190,821,822,825,828,831],{},[215,823,824],{},"Batchtijd, 4 × 61K-prompts + elk 512 tokens",[215,826,827],{"align":198},"105,6 s",[215,829,830],{"align":198},"92,9 s",[215,832,833],{"align":198},"86,2 s",[10,835,836,837,840,841],{},"De nieuwe gewichten versnellen de decode met twee verzoeken ook zonder extra cache. Het herverdelen van geheugen verkort daarna de wachttijd voor de volledige batch van vier verzoeken. De 199 tok\u002Fs is de gezamenlijke decode ",[13,838,839],{},"terwijl alle vier actief zijn",", niet de doorvoer over de volledige batch. In deze oorspronkelijke test met de FP8-cache was het piekgebruik van de volledige GPU 31,39 GiB met W3A4 tegenover 31,37 GiB voor de MXFP4-controle. Er blijft dus weinig vrije marge op deze kaart. Dit is één lang-contextwerklast, geen algemene garantie voor elk aantal gelijktijdige gebruikers.",[46,842,843],{},[18,844,600],{"href":597,"ariaDescribedBy":845,"dataFootnoteRef":53,"id":846},[52],"user-content-fnref-bench-2",[378,848,850],{"id":849},"de-huidige-65k-modus-een-4-bit-cache-voor-meer-gelijktijdig-werk","De huidige 65K-modus: een 4-bit cache voor meer gelijktijdig werk",[10,852,853,854,857,858,861,862,865,866,868,869,78,872],{},"De nieuwere image bewaart de keys en values van full attention in 4 bits wanneer ",[13,855,856],{},"W3A4-gewichten en de standaard 65K-modus"," zijn geselecteerd. De 4-bit cache is niet de standaard voor MXFP4, de 200K-modus met één verzoek of het desktopprofiel. Daardoor kan de vLLM-planner meer van dezelfde kaart gebruiken; de contextlimiet ",[13,859,860],{},"per verzoek"," verdubbelt niet. Het opstartlog van vLLM meldt ",[13,863,864],{},"393.216 cachetokens",", tegenover ",[13,867,733],{}," met W3A4 plus FP8. Na aftrek van andere status per verzoek stijgt het budget voor attention-tokens bij acht verzoeken van 211.136 naar 358.336, of ",[13,870,871],{},"1,70×",[46,873,874],{},[18,875,63],{"href":60,"ariaDescribedBy":876,"dataFootnoteRef":53,"id":877},[52],"user-content-fnref-release-4",[184,879,880,893],{},[187,881,882],{},[190,883,884,887,890],{},[193,885,886],{},"Aparte 65K-cachetest op één R9700",[193,888,889],{"align":198},"Image 26 sept., W3A4 + FP8",[193,891,892],{"align":198},"Image 28 sept., W3A4 + 4-bit",[210,894,895,906,917],{},[190,896,897,900,903],{},[215,898,899],{},"Vier verzoeken van ongeveer 61K tokens, gezamenlijke decode terwijl alle vier draaien",[215,901,902],{"align":198},"188 tok\u002Fs",[215,904,905],{"align":198},"219 tok\u002Fs",[190,907,908,911,914],{},[215,909,910],{},"Zes verzoeken van ongeveer 61K tokens",[215,912,913],{"align":198},"Niet allemaal tegelijk toegelaten",[215,915,916],{"align":198},"Alle zes, samen 248 tok\u002Fs",[190,918,919,922,924],{},[215,920,921],{},"Acht verzoeken van ongeveer 32K tokens",[215,923,913],{"align":198},[215,925,926],{"align":198},"Alle acht, samen 339 tok\u002Fs",[10,928,929,930,933,934],{},"Dit is ",[13,931,932],{},"gezamenlijke decode terwijl alle verzoeken actief zijn",", geen snelheid per gebruiker of doorvoer over de volledige batch. In deze gepaarde test bedraagt het FP8-resultaat met vier verzoeken 188 tok\u002Fs, tegenover 199 tok\u002Fs in de eerdere test hierboven. Vergelijk de twee configuraties binnen dezelfde test, niet tussen verschillende runs. Deze cachemetingen dateren van vóór de r2-oplossing voor de draftkop. De 4-bit cache verbeterde de decode met één verzoek of de wachttijd tot het eerste token niet meetbaar. Gepaard met de FP8-cache zagen we geen verlies op GSM8K, HumanEval, de MMLU-Pro-subset of de 61K-needle-opzoektest, maar zulke afgebakende controles bewijzen geen identieke kwaliteit. Ook in een test met 24 synthetische sessies van codeagents vielen de verschillen binnen de meetruis.",[46,935,936],{},[18,937,63],{"href":60,"ariaDescribedBy":938,"dataFootnoteRef":53,"id":939},[52],"user-content-fnref-release-5",[378,941,943],{"id":942},"een-afzonderlijke-200k-gespreksmodus-en-optionele-beeldinvoer","Een afzonderlijke 200K-gespreksmodus en optionele beeldinvoer",[10,945,86,946,949,950,953,954,957,958,961,962,965,966],{},[13,947,948],{},"huidige verenigde image"," kan één gesprek van maximaal ",[13,951,952],{},"200.000 tokens in totaal"," draaien, met een FP8-cache van 8 GiB en prefixcaching. De releasehandleiding vermeldt ",[13,955,956],{},"94 seconden tot het eerste token"," voor een nieuwe prompt van 198.989 tokens met W3A4, 102 seconden voor MXFP4 in de verenigde image en 115 seconden voor de vroegere afzonderlijke 200K-image; ze noemt dit geen nieuwe r2-meting. Een vervolgvraag die de ongewijzigde prefix hergebruikt, duurde ",[13,959,960],{},"1,2 seconden",". Op die lengte haalde W3A4 ",[13,963,964],{},"73–78 tokens\u002Fs"," tijdens decode. Het team testte ook een prompt van 215K tokens met een instelling van 220K, maar niet het volledige modelvenster van 262K. De controles met geplante feiten en toolaanroepen slaagden; het is geen brede kwaliteitsbeoordeling van lange gesprekken. Cachehits vereisen een ongewijzigde prefix die nog in het geheugen aanwezig is.",[46,967,968],{},[18,969,63],{"href":60,"ariaDescribedBy":970,"dataFootnoteRef":53,"id":971},[52],"user-content-fnref-release-6",[10,973,974,975,977,978,981,982],{},"Voor beeldinvoer laadt ",[99,976,109],{}," de vision-encoder van het checkpoint, ",[13,979,980],{},"alleen in de 65K-modus",". Die werd gecontroleerd met schermafbeeldingen van code, een falende test, een formulier en een grafiek, ook met acht gelijktijdige beeldverzoeken. De encoder gebruikt geheugen dat anders voor de cache beschikbaar is: de combinatie W3A4 + 4-bit meldt met beeldinvoer 278.050 cachetokens, tegenover 393.216 zonder. Video en beeldinvoer in de lang-contextmodus met prefixcaching zijn niet gekwalificeerd.",[46,983,984],{},[18,985,63],{"href":60,"ariaDescribedBy":986,"dataFootnoteRef":53,"id":987},[52],"user-content-fnref-release-7",[80,989,991],{"id":990},"wat-we-veranderden-en-waarom","Wat we veranderden en waarom",[378,993,995],{"id":994},"eerst-de-bestaande-runtime-voorspelbaar-maken","Eerst de bestaande runtime voorspelbaar maken",[10,997,998,999,1002,1003,1006],{},"Voordat we de gewichten veranderden, onderzochten we serverstarts die ondanks dezelfde configuratie afwisselden tussen ongeveer 28 en 36 ms per speculatieve stap. Door de runtime met ",[99,1000,1001],{},"GPU_MAX_HW_QUEUES=1"," aan één hardware-computewachtrij te koppelen, bleven die starts in de snellere modus. De image bevat die instelling. ",[13,1004,1005],{},"Alle vergelijkingsarmen gebruikten die al",", zodat de winst door deze instelling niet in het hoofdcijfer zit.",[10,1008,1009],{},"We voegden ook de GatedDeltaNet-bewerking voor speculatieve verificatie samen in één native kernel. Die afzonderlijke bewerking werd 23–28% sneller; de gecombineerde runtimeverbeteringen verhogen de volledige gewogen MXFP4-decode met ongeveer 1,5%. Winst in één kernel is niet hetzelfde als winst in de volledige generatie.",[378,1011,1013],{"id":1012},"minder-bytes-lezen-tijdens-generatie","Minder bytes lezen tijdens generatie",[10,1015,1016],{},"Decode op deze kaart wordt vooral begrensd door de geheugenbandbreedte. De vorige kernels zaten al dicht bij de beschikbare bandbreedte. Minder gewichtdata lezen bood daarom meer ruimte dan alleen de planning aanpassen.",[10,1018,1019,1020,1023,1024,1030],{},"De grote lineaire projecties gaan van ongeveer ",[13,1021,1022],{},"4,25 bits per gewicht met MXFP4 naar 3,125 bits met gegroepeerde INT3",". Dit betreft 24,3 miljard decoderprojectiegewichten, niet elke tensor in het 27B-model, en is ruwweg een kwart minder data voor die gewichten. Native Paiton-kernels verwerken de verpakte waarden rechtstreeks. Decode houdt 8-bit FP8-activaties; in de serververgelijking daalt de mediane forwardtijd met één stroom van ongeveer 28,3–28,4 ms naar 22,4–22,5 ms.",[46,1025,1026],{},[18,1027,55],{"href":50,"ariaDescribedBy":1028,"dataFootnoteRef":53,"id":1029},[52],"user-content-fnref-model-3",[46,1031,1032],{},[18,1033,600],{"href":597,"ariaDescribedBy":1034,"dataFootnoteRef":53,"id":1035},[52],"user-content-fnref-bench-3",[378,1037,1039],{"id":1038},"andere-precisie-gebruiken-voor-promptverwerking","Andere precisie gebruiken voor promptverwerking",[10,1041,1042,1043,1046],{},"Promptverwerking heeft een ander knelpunt. Alleen 3-bit gewichten combineren met het oude pad voor 8-bit activaties maakte die fase in onze controles trager. De release gebruikt daarom ",[13,1044,1045],{},"4-bit activatierekenwerk alleen in geselecteerde prefill-projecties",". Tijdens generatie blijven de activaties 8-bit.",[10,1048,1049,1050],{},"Een bloksgewijze Hadamard-rotatie verdeelt grote activatieuitschieters over kleine groepen, zodat promptverwerking met lagere precisie bruikbaar wordt. De gewichten worden in die geroteerde basis gekalibreerd; de runtime past de overeenkomstige activatietransformatie toe. Schalen per groep behoudt meer lokale precisie dan één schaal voor een volledig token. Dit is de openbare methode achter de naam W3A4, geen nieuwe modelarchitectuur.",[46,1051,1052],{},[18,1053,55],{"href":50,"ariaDescribedBy":1054,"dataFootnoteRef":53,"id":1055},[52],"user-content-fnref-model-4",[378,1057,1059],{"id":1058},"onze-eigen-gewichten-kalibreren-en-datalicenties-controleren","Onze eigen gewichten kalibreren en datalicenties controleren",[10,1061,1062,1063,1066],{},"Dit zijn onze eigen met GPTQ gekalibreerde gewichten; een 3-bit model van een derde partij is niet vereist. De kalibratie gebruikt ",[13,1064,1065],{},"292.864 tokens"," uit rekenen, code, wetenschap, webtekst, meertalig materiaal, agenttraces en lange documenten. Het laag-voor-laagproces duurt ongeveer 13 minuten op één AMD Instinct MI355X.",[10,1068,1069,1070,1075,1076,1081],{},"Voor de release vervingen we kalibratiebronnen met niet-commerciële of share-alikevoorwaarden door bronnen met permissieve licenties. De uitgebrachte gewichten gebruiken die definitieve kalibratie. Het ",[18,1071,1074],{"href":1072,"rel":1073},"https:\u002F\u002Fhuggingface.co\u002FEliovpAI\u002FQwen3.8-27B-W3Rot-INT3-Paiton-RDNA4\u002Fblob\u002Fd74ae7d5f5f1b4b45dd12fb1271e3664283a2ec1\u002FCALIBRATION.md",[91],"kalibratierapport"," vermeldt de datasetrevisies en licenties. De ",[18,1077,1080],{"href":1078,"rel":1079},"https:\u002F\u002Fhuggingface.co\u002FEliovpAI\u002FQwen3.8-27B-W3Rot-INT3-Paiton-RDNA4\u002Fblob\u002Fd74ae7d5f5f1b4b45dd12fb1271e3664283a2ec1\u002FTHIRD_PARTY_NOTICES.md",[91],"vermeldingen voor derden"," behouden de verplichte bronvermeldingen.",[378,1083,1085],{"id":1084},"opstarten-en-integriteitscontroles-duidelijk-houden","Opstarten en integriteitscontroles duidelijk houden",[10,1087,1088],{},"De runtime laadt de geroteerde vervangingsgewichten naast het vastgelegde basischeckpoint en controleert hun bestanden via SHA-256. Een apart 3-bit model van derden is niet nodig. We verholpen ook een opwarmprobleem waarbij niet-geïnitialiseerde dummyinvoer vóór het eerste echte verzoek een vlag voor niet-eindige waarden kon activeren. Die vlag wordt na de opwarming gewist, terwijl de strikte controles voor echte verzoeken actief blijven.",[10,1090,1091,1092,1095,1096],{},"Met een opgewarmde runtimecache startte de image van 26 september in ongeveer ",[13,1093,1094],{},"230 seconden",", tegenover ongeveer 210 seconden eerder. De huidige image kan bij de eerste start met een lege runtimecache ongeveer zeven minuten nodig hebben. De winst tijdens opgewarmde uitvoering neemt die eerste voorbereidingstijd niet weg.",[46,1097,1098],{},[18,1099,63],{"href":60,"ariaDescribedBy":1100,"dataFootnoteRef":53,"id":1101},[52],"user-content-fnref-release-8",[80,1103,1105],{"id":1104},"kwaliteit-de-winst-vraagt-een-keuze","Kwaliteit: de winst vraagt een keuze",[169,1107],{"kind":1108},"accuracy",[10,1110,1111],{},[175,1112,1113],{},"Nauwkeurigheid in het draaiende model, met greedy decode, uitgeschakeld denken en identieke vragen. De gepaarde 95%-betrouwbaarheidsintervallen bevatten nul voor GSM8K en HumanEval, maar niet voor de MMLU-Pro-subset. De 80 needle-tests controleren gericht informatie ophalen, niet de volledige kwaliteit bij lange contexten.",[184,1115,1116,1131],{},[187,1117,1118],{},[190,1119,1120,1123,1125,1128],{},[193,1121,1122],{},"Benchmark",[193,1124,784],{"align":198},[193,1126,1127],{"align":198},"W3A4",[193,1129,1130],{},"Verschil en gepaard 95%-betrouwbaarheidsinterval",[210,1132,1133,1151,1168,1185],{},[190,1134,1135,1138,1141,1144],{},[215,1136,1137],{},"GSM8K, 5-shot, 1.319 vragen",[215,1139,1140],{"align":198},"95,68%",[215,1142,1143],{"align":198},"95,30%",[215,1145,1146,1147],{},"−0,38 punten ",[1148,1149,1150],"span",{},"−1,44, +0,68",[190,1152,1153,1156,1159,1162],{},[215,1154,1155],{},"HumanEval pass@1, 164 taken",[215,1157,1158],{"align":198},"95,12%",[215,1160,1161],{"align":198},"93,90%",[215,1163,1164,1165],{},"−1,22 punten ",[1148,1166,1167],{},"−4,99, +2,56",[190,1169,1170,1173,1176,1179],{},[215,1171,1172],{},"MMLU-Pro-subset, 0-shot, 14 × 100 vragen",[215,1174,1175],{"align":198},"62,57%",[215,1177,1178],{"align":198},"59,71%",[215,1180,1181,1182],{},"−2,86 punten ",[1148,1183,1184],{},"−4,81, −0,90",[190,1186,1187,1190,1193,1195],{},[215,1188,1189],{},"Needle-opzoektest op 61.440 tokens, 80 controles",[215,1191,1192],{"align":198},"100%",[215,1194,1192],{"align":198},[215,1196,1197],{},"Geen waargenomen verschil",[10,1199,1200,1201,1204,1205],{},"Rekenen en code blijven dicht bij elkaar in de geteste sets; de intervallen ",[13,1202,1203],{},"bewijzen geen identieke kwaliteit",". Meerkeuzevragen met veel algemene kennis tonen wel een meetbare daling van ongeveer drie punten. Ook de acceptatie van DFlash2 blijft dichtbij, met veranderingen per taak van −0,4% tot +2,8%.",[46,1206,1207],{},[18,1208,55],{"href":50,"ariaDescribedBy":1209,"dataFootnoteRef":53,"id":1210},[52],"user-content-fnref-model-5",[10,1212,1213,1214,1217],{},"Kies voor kennisintensief werk ",[99,1215,1216],{},"--weights mxfp4",". Dat gebruikt het gewichtpad met hogere precisie en krijgt nog steeds de MXFP4-runtimeverbeteringen van deze ronde. W3A4 is nuttig als snellere generatie en meer gesprekscache de gemeten kwaliteitsafweging waard zijn. De uitvoer kan verschillen; we beloven geen identieke antwoorden.",[10,1219,1220,1221,1224,1225,1228,1229,1232,1233,1239],{},"Meertalige kwaliteit, tool-calling en kwaliteit bij langere contexten zijn ",[13,1222,1223],{},"niet gemeten in de oorspronkelijke vergelijking tussen W3A4 en MXFP4",". Die oorspronkelijke doorvoer- en gepaarde nauwkeurigheidsresultaten gelden voor het ",[13,1226,1227],{},"65K-tekstprofiel",", niet voor elke modus van de huidige image. De nieuwere release heeft afzonderlijke, afgebakende controles voor 200K-gesprekken, toolaanroepen en beeldinvoer bij 65K; daaruit volgt geen brede kwaliteitsgelijkheid. W3A4 blijft ",[13,1230,1231],{},"specifiek voor de R9700"," en vereist de Paiton-runtime: standaard-vLLM, Transformers en llama.cpp kunnen de vervangingsgewichten niet zelfstandig laden.",[46,1234,1235],{},[18,1236,55],{"href":50,"ariaDescribedBy":1237,"dataFootnoteRef":53,"id":1238},[52],"user-content-fnref-model-6",[46,1240,1241],{},[18,1242,63],{"href":60,"ariaDescribedBy":1243,"dataFootnoteRef":53,"id":1244},[52],"user-content-fnref-release-9",[80,1246,1248],{"id":1247},"zo-leest-u-deze-resultaten","Zo leest u deze resultaten",[10,1250,1251,1252,1255,1256,78],{},"De prestatievergelijking gebruikt ",[13,1253,1254],{},"één R9700 met een vermogenslimiet van 300 W",", vLLM 0.29, ROCm 10, een context van 65.536 tokens, maximaal acht reeksen, DFlash2 en uitgeschakeld denken. Automatische prefixcaching en n-gram co-drafting staan uit. Elke image draaide in twee nieuwe serverprocessen, afwisselend uitgevoerd, en de tabellen tonen het gemiddelde van die twee runs. BetterBench gebruikte versie 0.6.0 en het quick-profiel. De referentie-image is ",[99,1257,1258],{},"qwen38-rocm10-vllm029-65k-20260924-r3",[10,1260,1261,1262,1265,1266,1269,1270,1276],{},"De oorspronkelijke openbare prestatieruns gebruikten de ",[13,1263,1264],{},"eerdere v3-kalibratie",". De oorspronkelijke nauwkeurigheidscijfers en de run met vier verzoeken en uitgebreide cache gebruiken de ",[13,1267,1268],{},"definitieve, permissief gekalibreerde gewichten",". Het tensorformaat en de runtime zijn identiek, maar niet alle tests gebruiken precies dezelfde gewichtsbytes. Gegenereerde tekst en speculatieve acceptatie kunnen verschillen: W3A4 veranderde zeven van twaalf greedy controleresultaten tegenover MXFP4. Dit zijn metingen van serverdoorvoer, geen tijden voor identieke uitvoer. Procentuele verschillen zijn berekend uit niet-afgeronde metingen; narekenen vanuit de afgeronde tabellen kan daarom licht afwijken.",[46,1271,1272],{},[18,1273,55],{"href":50,"ariaDescribedBy":1274,"dataFootnoteRef":53,"id":1275},[52],"user-content-fnref-model-7",[46,1277,1278],{},[18,1279,600],{"href":597,"ariaDescribedBy":1280,"dataFootnoteRef":53,"id":1281},[52],"user-content-fnref-bench-4",[10,1283,1284,1285,1290],{},"De gewogen decode van BetterBench geeft code 30%, redeneren 20%, proza en JSON elk 15%, en bestandsbewerking en samenvatten elk 10%. Chat en rekenen worden apart getoond en tellen niet mee in het hoofdcijfer. Elke run meet na vaste opwarmverzoeken vijf verzoeken per decodecategorie, 48 per gelijktijdigheidsniveau en acht per nominale prefill-diepte. Bestandsbewerking varieert het meest tussen de twee W3A4-runs: 179,0 en 211,1 tok\u002Fs. Het ",[18,1286,1289],{"href":1287,"rel":1288},"https:\u002F\u002Fgithub.com\u002FEliovp-BV\u002Fpaiton-vllm-plugin\u002Ftree\u002Fa44044105287da3d040652ea8bcd3927a94a1bf2\u002Fmodels\u002FQwen3.8-MXFP4-DFlash2\u002Fbenchmarks\u002F2026-09-26-w3a4",[91],"volledige rapport en de brondata"," bewaren die meetdetails.",[10,1292,1293,1294],{},"De 300 W is de ingestelde vermogenslimiet van de GPU. We hebben geen energieverbruik van het volledige systeem of kosten per token gemeten. Snellere generatie is op zichzelf geen meting van elektriciteitsbesparing. De resultaten hierboven voor de 4-bit cache, 200K en beeldinvoer komen uit afzonderlijke controles, niet uit de oorspronkelijke BetterBench-tabellen. In een vergelijking in de releasehandleiding lag de 65K-prefill van de image van 28 september binnen ±0,3% en de gezamenlijke doorvoer binnen −2,4% tot 0,0% van de image van 26 september. Dat maakt de oorspronkelijke 492,1 tok\u002Fs niet tot een nieuwe meting van r2.",[46,1295,1296],{},[18,1297,63],{"href":60,"ariaDescribedBy":1298,"dataFootnoteRef":53,"id":1299},[52],"user-content-fnref-release-10",[80,1301,1303],{"id":1302},"probeer-het-op-uw-r9700","Probeer het op uw R9700",[10,1305,1306,1307,1311,1312],{},"Gebruik Linux x86-64, Python 3, Docker, de Hugging Face CLI en AMD GPU-toegang. Reken op ongeveer 75 GB schijfruimte voor de image en drie modelpakketten. De commando's hieronder leggen de huidige openbare launchercheckout en de revisies van target, drafter en geroteerde gewichten samen vast. Hebt u de pluginrepository al, gebruik dan een aparte checkout in plaats van lokaal werk te vervangen. De ",[18,1308,1310],{"href":89,"rel":1309},[91],"releasehandleiding"," beschrijft bestaande downloads en andere profielen.",[46,1313,1314],{},[18,1315,63],{"href":60,"ariaDescribedBy":1316,"dataFootnoteRef":53,"id":1317},[52],"user-content-fnref-release-11",[1319,1320,1324],"pre",{"className":1321,"code":1322,"language":1323,"meta":53,"style":53},"language-bash shiki shiki-themes github-light github-dark","git clone https:\u002F\u002Fgithub.com\u002FEliovp-BV\u002Fpaiton-vllm-plugin.git\ncd paiton-vllm-plugin\ngit checkout 86ff71c4a3ccaa5da410c2b94e1976fab1c6ab87\n\nexport PAITON_TARGET_DIR=\"$PWD\u002Fmodel-cache\u002Fqwen38-nvfp4\"\nexport PAITON_DRAFT_DIR=\"$PWD\u002Fmodel-cache\u002Fqwen38-dflash2\"\nexport PAITON_W3ROT_DIR=\"$PWD\u002Fmodel-cache\u002Fqwen38-w3rot-int3\"\nexport PAITON_CACHE_DIR=\"$PWD\u002Fruntime-cache\u002Fqwen38-rocm10-20260928\"\nmkdir -p \"$PAITON_TARGET_DIR\" \"$PAITON_DRAFT_DIR\" \"$PAITON_W3ROT_DIR\" \"$PAITON_CACHE_DIR\"\n\nhf download unsloth\u002FQwen3.8-27B-NVFP4 \\\n  --revision f0b7c9e722f5565102fff8481c99e4d86ae099c7 --local-dir \"$PAITON_TARGET_DIR\"\nhf download tcclaviger\u002FQwen3.8-27B-DFlash2-FP8 \\\n  --revision ee0cb26a8279b7910cc28d82a8a3e15e4728d56f --local-dir \"$PAITON_DRAFT_DIR\"\nhf download EliovpAI\u002FQwen3.8-27B-W3Rot-INT3-Paiton-RDNA4 \\\n  --revision d74ae7d5f5f1b4b45dd12fb1271e3664283a2ec1 --local-dir \"$PAITON_W3ROT_DIR\"\n(cd \"$PAITON_W3ROT_DIR\" && sha256sum -c SHA256SUMS)\n\nbash models\u002FQwen3.8-MXFP4-DFlash2\u002Frun-rocm10.sh\n","bash",[99,1325,1326,1341,1351,1362,1369,1392,1409,1426,1443,1482,1487,1502,1520,1532,1548,1560,1576,1605,1610],{"__ignoreMap":53},[1148,1327,1330,1334,1338],{"class":1328,"line":1329},"line",1,[1148,1331,1333],{"class":1332},"sScJk","git",[1148,1335,1337],{"class":1336},"sZZnC"," clone",[1148,1339,1340],{"class":1336}," https:\u002F\u002Fgithub.com\u002FEliovp-BV\u002Fpaiton-vllm-plugin.git\n",[1148,1342,1344,1348],{"class":1328,"line":1343},2,[1148,1345,1347],{"class":1346},"sj4cs","cd",[1148,1349,1350],{"class":1336}," paiton-vllm-plugin\n",[1148,1352,1354,1356,1359],{"class":1328,"line":1353},3,[1148,1355,1333],{"class":1332},[1148,1357,1358],{"class":1336}," checkout",[1148,1360,1361],{"class":1336}," 86ff71c4a3ccaa5da410c2b94e1976fab1c6ab87\n",[1148,1363,1365],{"class":1328,"line":1364},4,[1148,1366,1368],{"emptyLinePlaceholder":1367},true,"\n",[1148,1370,1372,1376,1380,1383,1386,1389],{"class":1328,"line":1371},5,[1148,1373,1375],{"class":1374},"szBVR","export",[1148,1377,1379],{"class":1378},"sVt8B"," PAITON_TARGET_DIR",[1148,1381,1382],{"class":1374},"=",[1148,1384,1385],{"class":1336},"\"",[1148,1387,1388],{"class":1378},"$PWD",[1148,1390,1391],{"class":1336},"\u002Fmodel-cache\u002Fqwen38-nvfp4\"\n",[1148,1393,1395,1397,1400,1402,1404,1406],{"class":1328,"line":1394},6,[1148,1396,1375],{"class":1374},[1148,1398,1399],{"class":1378}," PAITON_DRAFT_DIR",[1148,1401,1382],{"class":1374},[1148,1403,1385],{"class":1336},[1148,1405,1388],{"class":1378},[1148,1407,1408],{"class":1336},"\u002Fmodel-cache\u002Fqwen38-dflash2\"\n",[1148,1410,1412,1414,1417,1419,1421,1423],{"class":1328,"line":1411},7,[1148,1413,1375],{"class":1374},[1148,1415,1416],{"class":1378}," PAITON_W3ROT_DIR",[1148,1418,1382],{"class":1374},[1148,1420,1385],{"class":1336},[1148,1422,1388],{"class":1378},[1148,1424,1425],{"class":1336},"\u002Fmodel-cache\u002Fqwen38-w3rot-int3\"\n",[1148,1427,1429,1431,1434,1436,1438,1440],{"class":1328,"line":1428},8,[1148,1430,1375],{"class":1374},[1148,1432,1433],{"class":1378}," PAITON_CACHE_DIR",[1148,1435,1382],{"class":1374},[1148,1437,1385],{"class":1336},[1148,1439,1388],{"class":1378},[1148,1441,1442],{"class":1336},"\u002Fruntime-cache\u002Fqwen38-rocm10-20260928\"\n",[1148,1444,1446,1449,1452,1455,1458,1460,1462,1465,1467,1469,1472,1474,1476,1479],{"class":1328,"line":1445},9,[1148,1447,1448],{"class":1332},"mkdir",[1148,1450,1451],{"class":1346}," -p",[1148,1453,1454],{"class":1336}," \"",[1148,1456,1457],{"class":1378},"$PAITON_TARGET_DIR",[1148,1459,1385],{"class":1336},[1148,1461,1454],{"class":1336},[1148,1463,1464],{"class":1378},"$PAITON_DRAFT_DIR",[1148,1466,1385],{"class":1336},[1148,1468,1454],{"class":1336},[1148,1470,1471],{"class":1378},"$PAITON_W3ROT_DIR",[1148,1473,1385],{"class":1336},[1148,1475,1454],{"class":1336},[1148,1477,1478],{"class":1378},"$PAITON_CACHE_DIR",[1148,1480,1481],{"class":1336},"\"\n",[1148,1483,1485],{"class":1328,"line":1484},10,[1148,1486,1368],{"emptyLinePlaceholder":1367},[1148,1488,1490,1493,1496,1499],{"class":1328,"line":1489},11,[1148,1491,1492],{"class":1332},"hf",[1148,1494,1495],{"class":1336}," download",[1148,1497,1498],{"class":1336}," unsloth\u002FQwen3.8-27B-NVFP4",[1148,1500,1501],{"class":1346}," \\\n",[1148,1503,1505,1508,1511,1514,1516,1518],{"class":1328,"line":1504},12,[1148,1506,1507],{"class":1346},"  --revision",[1148,1509,1510],{"class":1336}," f0b7c9e722f5565102fff8481c99e4d86ae099c7",[1148,1512,1513],{"class":1346}," --local-dir",[1148,1515,1454],{"class":1336},[1148,1517,1457],{"class":1378},[1148,1519,1481],{"class":1336},[1148,1521,1523,1525,1527,1530],{"class":1328,"line":1522},13,[1148,1524,1492],{"class":1332},[1148,1526,1495],{"class":1336},[1148,1528,1529],{"class":1336}," tcclaviger\u002FQwen3.8-27B-DFlash2-FP8",[1148,1531,1501],{"class":1346},[1148,1533,1535,1537,1540,1542,1544,1546],{"class":1328,"line":1534},14,[1148,1536,1507],{"class":1346},[1148,1538,1539],{"class":1336}," ee0cb26a8279b7910cc28d82a8a3e15e4728d56f",[1148,1541,1513],{"class":1346},[1148,1543,1454],{"class":1336},[1148,1545,1464],{"class":1378},[1148,1547,1481],{"class":1336},[1148,1549,1551,1553,1555,1558],{"class":1328,"line":1550},15,[1148,1552,1492],{"class":1332},[1148,1554,1495],{"class":1336},[1148,1556,1557],{"class":1336}," EliovpAI\u002FQwen3.8-27B-W3Rot-INT3-Paiton-RDNA4",[1148,1559,1501],{"class":1346},[1148,1561,1563,1565,1568,1570,1572,1574],{"class":1328,"line":1562},16,[1148,1564,1507],{"class":1346},[1148,1566,1567],{"class":1336}," d74ae7d5f5f1b4b45dd12fb1271e3664283a2ec1",[1148,1569,1513],{"class":1346},[1148,1571,1454],{"class":1336},[1148,1573,1471],{"class":1378},[1148,1575,1481],{"class":1336},[1148,1577,1579,1582,1584,1586,1588,1590,1593,1596,1599,1602],{"class":1328,"line":1578},17,[1148,1580,1581],{"class":1378},"(",[1148,1583,1347],{"class":1346},[1148,1585,1454],{"class":1336},[1148,1587,1471],{"class":1378},[1148,1589,1385],{"class":1336},[1148,1591,1592],{"class":1378}," && ",[1148,1594,1595],{"class":1332},"sha256sum",[1148,1597,1598],{"class":1346}," -c",[1148,1600,1601],{"class":1336}," SHA256SUMS",[1148,1603,1604],{"class":1378},")\n",[1148,1606,1608],{"class":1328,"line":1607},18,[1148,1609,1368],{"emptyLinePlaceholder":1367},[1148,1611,1613,1615],{"class":1328,"line":1612},19,[1148,1614,1323],{"class":1332},[1148,1616,1617],{"class":1336}," models\u002FQwen3.8-MXFP4-DFlash2\u002Frun-rocm10.sh\n",[10,1619,1620,1621,1624],{},"De huidige gecombineerde image die deze launcher selecteert, is ",[99,1622,1623],{},"ghcr.io\u002Feliovp\u002Fpaiton-vllm-plugin:qwen38-rocm10-vllm029-20260929-r2",". De onveranderlijke digest is:",[1319,1626,1631],{"className":1627,"code":1629,"language":1630,"meta":53},[1628],"language-text","sha256:1195f31329966b3dc4e8e2d17327d339827b3d2b09165f9969b053a6fc2db045\n","text",[99,1632,1629],{"__ignoreMap":53},[10,1634,1635,1636,1639],{},"Als ",[99,1637,1638],{},"PAITON_W3ROT_DIR"," is ingesteld, selecteert de launcher de geroteerde 3-bit gewichten en in de 65K-modus de 4-bit cache. Zonder die variabele draait hij MXFP4. Stop de eerste server voordat u een andere modus kiest of MXFP4 selecteert met:",[1319,1641,1643],{"className":1321,"code":1642,"language":1323,"meta":53,"style":53},"bash models\u002FQwen3.8-MXFP4-DFlash2\u002Frun-rocm10.sh --weights mxfp4\n",[99,1644,1645],{"__ignoreMap":53},[1148,1646,1647,1649,1652,1655],{"class":1328,"line":1329},[1148,1648,1323],{"class":1332},[1148,1650,1651],{"class":1336}," models\u002FQwen3.8-MXFP4-DFlash2\u002Frun-rocm10.sh",[1148,1653,1654],{"class":1346}," --weights",[1148,1656,1657],{"class":1336}," mxfp4\n",[10,1659,1660,1661,1664,1665,1667,1668,1670,1671,1674,1675,1678],{},"Voor één lang gesprek start u dezelfde launcher in plaats daarvan met ",[99,1662,1663],{},"--context 200000","; voor beeldinvoer in de 65K-modus gebruikt u ",[99,1666,109],{},". Draai slechts één modus tegelijk op de GPU. Voeg ",[99,1669,101],{}," aan het 65K-commando toe om het oorspronkelijke FP8-cacheprofiel met W3A4 te herstellen. Zodra de server klaar is, biedt hij de OpenAI-compatibele API op ",[99,1672,1673],{},"http:\u002F\u002F127.0.0.1:18982\u002Fv1"," aan met de modelnaam ",[99,1676,1677],{},"Qwen3.8",". Stuur in een tweede terminal een streamingverzoek:",[1319,1680,1682],{"className":1321,"code":1681,"language":1323,"meta":53,"style":53},"curl --fail http:\u002F\u002F127.0.0.1:18982\u002Fv1\u002Fchat\u002Fcompletions \\\n  -H 'Content-Type: application\u002Fjson' \\\n  -d '{\"model\":\"Qwen3.8\",\"messages\":[{\"role\":\"user\",\"content\":\"Write a short Python function that removes duplicates while keeping their original order.\"}],\"temperature\":0,\"max_tokens\":256,\"stream\":true,\"chat_template_kwargs\":{\"enable_thinking\":false}}'\n",[99,1683,1684,1697,1707],{"__ignoreMap":53},[1148,1685,1686,1689,1692,1695],{"class":1328,"line":1329},[1148,1687,1688],{"class":1332},"curl",[1148,1690,1691],{"class":1346}," --fail",[1148,1693,1694],{"class":1336}," http:\u002F\u002F127.0.0.1:18982\u002Fv1\u002Fchat\u002Fcompletions",[1148,1696,1501],{"class":1346},[1148,1698,1699,1702,1705],{"class":1328,"line":1343},[1148,1700,1701],{"class":1346},"  -H",[1148,1703,1704],{"class":1336}," 'Content-Type: application\u002Fjson'",[1148,1706,1501],{"class":1346},[1148,1708,1709,1712],{"class":1328,"line":1353},[1148,1710,1711],{"class":1346},"  -d",[1148,1713,1714],{"class":1336}," '{\"model\":\"Qwen3.8\",\"messages\":[{\"role\":\"user\",\"content\":\"Write a short Python function that removes duplicates while keeping their original order.\"}],\"temperature\":0,\"max_tokens\":256,\"stream\":true,\"chat_template_kwargs\":{\"enable_thinking\":false}}'\n",[10,1716,1717,1718,1721,1722,1725,1726],{},"Deze commando's starten het ",[13,1719,1720],{},"modelspecifieke W3A4-Dockerprofiel met DFlash2",". De kortere native preset ",[99,1723,1724],{},"paiton serve qwen38-nvfp4"," is een andere configuratie zonder speculatieve decode en laadt deze 3-bit gewichten niet.",[46,1727,1728],{},[18,1729,63],{"href":60,"ariaDescribedBy":1730,"dataFootnoteRef":53,"id":1731},[52],"user-content-fnref-release-12",[80,1733,1735],{"id":1734},"wat-volgt","Wat volgt",[10,1737,1738,1739,78,1742],{},"De 4-bit cache levert nu bruikbare extra capaciteit in de gekwalificeerde 65K-modus met W3A4. Hij verandert het 200K-profiel met één verzoek niet en bewijst geen ondersteuning voor het volledige 262K-venster. Het volledige modelvenster en een adaptief langer speculatief blok blijven onderzoekspistes, ",[13,1740,1741],{},"geen gepubliceerde instellingen van deze release",[46,1743,1744],{},[18,1745,63],{"href":60,"ariaDescribedBy":1746,"dataFootnoteRef":53,"id":1747},[52],"user-content-fnref-release-13",[80,1749,1751],{"id":1750},"credits-en-licenties","Credits en licenties",[10,1753,1754,1755,1758,1759,78,1762,1768],{},"Qwen3.8 27B is van het Qwen-team. Het vastgelegde targetcheckpoint komt van Unsloth en de DFlash2-drafter van tcclaviger, voortbouwend op het DFlash2-werk van z-lab. De uitgebrachte geroteerde gewichten zijn een gekwantiseerde afgeleide onder Apache-2.0. De modelkaart vermeldt ook Apache-2.0 voor die upstreamcheckpoints. De openbare methode bouwt voort op ",[13,1756,1757],{},"GPTQ en GSQ",". vLLM biedt de serverbasis en BetterBench de generatietaken. De openbare runtimehandleiding vermeldt ",[13,1760,1761],{},"Radiance en StillDeadcode\u002Flibr4d voor aangepaste kerneltechnieken",[46,1763,1764],{},[18,1765,55],{"href":50,"ariaDescribedBy":1766,"dataFootnoteRef":53,"id":1767},[52],"user-content-fnref-model-8",[46,1769,1770],{},[18,1771,63],{"href":60,"ariaDescribedBy":1772,"dataFootnoteRef":53,"id":1773},[52],"user-content-fnref-release-14",[10,1775,1776],{},"Voor de openbare adapter, modelgewichten en verpakte native runtime gelden afzonderlijke voorwaarden. De Apache-2.0-licentie van de gewichten is geen algemene licentie voor propriëtaire compiler- of implementatiecode. Kalibratiedatasets behouden ook hun bronvermeldingsvereisten en, waar van toepassing, de Common Crawl-voorwaarden. Bekijk de gepubliceerde vermeldingen vóór inzet.",[10,1778,1779,1780,1784,1785,1788,1789,1794,1795,1799],{},"Ontdek ",[18,1781,1783],{"href":1782},"\u002Fnl\u002Fproducts\u002Fpaiton","Paiton",", lees de ",[18,1786,1787],{"href":161},"vorige Qwen3.8-releasestory",", volg de ",[18,1790,1793],{"href":1791,"rel":1792},"https:\u002F\u002Fwww.reddit.com\u002Fr\u002FROCm\u002Fcomments\u002F1wrjoj9\u002F500_toks_from_one_r9700_qwen38_27b_now_does_492\u002F",[91],"discussie en praktijkmeldingen van gebruikers"," of ",[18,1796,1798],{"href":1797},"\u002Fnl\u002Fcontact","neem contact op"," om een lokale AMD AI-werklast te bespreken.",[1801,1802,1805,1810],"section",{"className":1803,"dataFootnotes":53},[1804],"footnotes",[80,1806,1809],{"className":1807,"id":52},[1808],"sr-only","Footnotes",[1811,1812,1813,1882,1991],"ol",{},[1814,1815,1817,1822,1823,16,1830,16,1837,16,1844,16,1851,16,1859,16,1867,16,1875],"li",{"id":1816},"user-content-fn-model",[18,1818,1821],{"href":1819,"rel":1820},"https:\u002F\u002Fhuggingface.co\u002FEliovpAI\u002FQwen3.8-27B-W3Rot-INT3-Paiton-RDNA4\u002Fblob\u002Fd74ae7d5f5f1b4b45dd12fb1271e3664283a2ec1\u002FREADME.md",[91],"Huidige openbare W3Rot INT3-modelkaart, vastgelegde revisie",". ",[18,1824,1829],{"href":1825,"ariaLabel":1826,"className":1827,"dataFootnoteBackref":53},"#user-content-fnref-model","Back to reference 1",[1828],"data-footnote-backref","↩",[18,1831,1829,1835],{"href":1832,"ariaLabel":1833,"className":1834,"dataFootnoteBackref":53},"#user-content-fnref-model-2","Back to reference 1-2",[1828],[46,1836,63],{},[18,1838,1829,1842],{"href":1839,"ariaLabel":1840,"className":1841,"dataFootnoteBackref":53},"#user-content-fnref-model-3","Back to reference 1-3",[1828],[46,1843,600],{},[18,1845,1829,1849],{"href":1846,"ariaLabel":1847,"className":1848,"dataFootnoteBackref":53},"#user-content-fnref-model-4","Back to reference 1-4",[1828],[46,1850,438],{},[18,1852,1829,1856],{"href":1853,"ariaLabel":1854,"className":1855,"dataFootnoteBackref":53},"#user-content-fnref-model-5","Back to reference 1-5",[1828],[46,1857,1858],{},"5",[18,1860,1829,1864],{"href":1861,"ariaLabel":1862,"className":1863,"dataFootnoteBackref":53},"#user-content-fnref-model-6","Back to reference 1-6",[1828],[46,1865,1866],{},"6",[18,1868,1829,1872],{"href":1869,"ariaLabel":1870,"className":1871,"dataFootnoteBackref":53},"#user-content-fnref-model-7","Back to reference 1-7",[1828],[46,1873,1874],{},"7",[18,1876,1829,1880],{"href":1877,"ariaLabel":1878,"className":1879,"dataFootnoteBackref":53},"#user-content-fnref-model-8","Back to reference 1-8",[1828],[46,1881,452],{},[1814,1883,1885,1822,1889,16,1894,16,1901,16,1908,16,1915,16,1922,16,1929,16,1936,16,1943,16,1951,16,1959,16,1967,16,1975,16,1983],{"id":1884},"user-content-fn-release",[18,1886,1888],{"href":89,"rel":1887},[91],"Huidige openbare modelspecifieke release- en installatiehandleiding, vastgelegde checkout",[18,1890,1829],{"href":1891,"ariaLabel":1892,"className":1893,"dataFootnoteBackref":53},"#user-content-fnref-release","Back to reference 2",[1828],[18,1895,1829,1899],{"href":1896,"ariaLabel":1897,"className":1898,"dataFootnoteBackref":53},"#user-content-fnref-release-2","Back to reference 2-2",[1828],[46,1900,63],{},[18,1902,1829,1906],{"href":1903,"ariaLabel":1904,"className":1905,"dataFootnoteBackref":53},"#user-content-fnref-release-3","Back to reference 2-3",[1828],[46,1907,600],{},[18,1909,1829,1913],{"href":1910,"ariaLabel":1911,"className":1912,"dataFootnoteBackref":53},"#user-content-fnref-release-4","Back to reference 2-4",[1828],[46,1914,438],{},[18,1916,1829,1920],{"href":1917,"ariaLabel":1918,"className":1919,"dataFootnoteBackref":53},"#user-content-fnref-release-5","Back to reference 2-5",[1828],[46,1921,1858],{},[18,1923,1829,1927],{"href":1924,"ariaLabel":1925,"className":1926,"dataFootnoteBackref":53},"#user-content-fnref-release-6","Back to reference 2-6",[1828],[46,1928,1866],{},[18,1930,1829,1934],{"href":1931,"ariaLabel":1932,"className":1933,"dataFootnoteBackref":53},"#user-content-fnref-release-7","Back to reference 2-7",[1828],[46,1935,1874],{},[18,1937,1829,1941],{"href":1938,"ariaLabel":1939,"className":1940,"dataFootnoteBackref":53},"#user-content-fnref-release-8","Back to reference 2-8",[1828],[46,1942,452],{},[18,1944,1829,1948],{"href":1945,"ariaLabel":1946,"className":1947,"dataFootnoteBackref":53},"#user-content-fnref-release-9","Back to reference 2-9",[1828],[46,1949,1950],{},"9",[18,1952,1829,1956],{"href":1953,"ariaLabel":1954,"className":1955,"dataFootnoteBackref":53},"#user-content-fnref-release-10","Back to reference 2-10",[1828],[46,1957,1958],{},"10",[18,1960,1829,1964],{"href":1961,"ariaLabel":1962,"className":1963,"dataFootnoteBackref":53},"#user-content-fnref-release-11","Back to reference 2-11",[1828],[46,1965,1966],{},"11",[18,1968,1829,1972],{"href":1969,"ariaLabel":1970,"className":1971,"dataFootnoteBackref":53},"#user-content-fnref-release-12","Back to reference 2-12",[1828],[46,1973,1974],{},"12",[18,1976,1829,1980],{"href":1977,"ariaLabel":1978,"className":1979,"dataFootnoteBackref":53},"#user-content-fnref-release-13","Back to reference 2-13",[1828],[46,1981,1982],{},"13",[18,1984,1829,1988],{"href":1985,"ariaLabel":1986,"className":1987,"dataFootnoteBackref":53},"#user-content-fnref-release-14","Back to reference 2-14",[1828],[46,1989,1990],{},"14",[1814,1992,1994,1822,1998,16,2003,16,2010,16,2017],{"id":1993},"user-content-fn-bench",[18,1995,1997],{"href":1287,"rel":1996},[91],"W3A4-benchmarkrapport van 26 september en machineleesbare resultaten",[18,1999,1829],{"href":2000,"ariaLabel":2001,"className":2002,"dataFootnoteBackref":53},"#user-content-fnref-bench","Back to reference 3",[1828],[18,2004,1829,2008],{"href":2005,"ariaLabel":2006,"className":2007,"dataFootnoteBackref":53},"#user-content-fnref-bench-2","Back to reference 3-2",[1828],[46,2009,63],{},[18,2011,1829,2015],{"href":2012,"ariaLabel":2013,"className":2014,"dataFootnoteBackref":53},"#user-content-fnref-bench-3","Back to reference 3-3",[1828],[46,2016,600],{},[18,2018,1829,2022],{"href":2019,"ariaLabel":2020,"className":2021,"dataFootnoteBackref":53},"#user-content-fnref-bench-4","Back to reference 3-4",[1828],[46,2023,438],{},[2025,2026,2027],"style",{},"html pre.shiki code .sScJk, html code.shiki .sScJk{--shiki-default:#6F42C1;--shiki-dark:#B392F0}html pre.shiki code .sZZnC, html code.shiki .sZZnC{--shiki-default:#032F62;--shiki-dark:#9ECBFF}html pre.shiki code .sj4cs, html code.shiki .sj4cs{--shiki-default:#005CC5;--shiki-dark:#79B8FF}html pre.shiki code .szBVR, html code.shiki .szBVR{--shiki-default:#D73A49;--shiki-dark:#F97583}html pre.shiki code .sVt8B, html code.shiki .sVt8B{--shiki-default:#24292E;--shiki-dark:#E1E4E8}html .default .shiki span {color: var(--shiki-default);background: var(--shiki-default-bg);font-style: var(--shiki-default-font-style);font-weight: var(--shiki-default-font-weight);text-decoration: var(--shiki-default-text-decoration);}html .shiki span {color: var(--shiki-default);background: var(--shiki-default-bg);font-style: var(--shiki-default-font-style);font-weight: var(--shiki-default-font-weight);text-decoration: var(--shiki-default-text-decoration);}html .dark .shiki span {color: var(--shiki-dark);background: var(--shiki-dark-bg);font-style: var(--shiki-dark-font-style);font-weight: var(--shiki-dark-font-weight);text-decoration: var(--shiki-dark-text-decoration);}html.dark .shiki span {color: var(--shiki-dark);background: var(--shiki-dark-bg);font-style: var(--shiki-dark-font-style);font-weight: var(--shiki-dark-font-weight);text-decoration: var(--shiki-dark-text-decoration);}",{"title":53,"searchDepth":1343,"depth":1343,"links":2029},[2030,2031,2032,2036,2040,2047,2048,2049,2050,2051,2052],{"id":82,"depth":1343,"text":83},{"id":132,"depth":1343,"text":133},{"id":166,"depth":1343,"text":167,"children":2033},[2034,2035],{"id":380,"depth":1353,"text":381},{"id":467,"depth":1353,"text":468},{"id":687,"depth":1343,"text":688,"children":2037},[2038,2039],{"id":849,"depth":1353,"text":850},{"id":942,"depth":1353,"text":943},{"id":990,"depth":1343,"text":991,"children":2041},[2042,2043,2044,2045,2046],{"id":994,"depth":1353,"text":995},{"id":1012,"depth":1353,"text":1013},{"id":1038,"depth":1353,"text":1039},{"id":1058,"depth":1353,"text":1059},{"id":1084,"depth":1353,"text":1085},{"id":1104,"depth":1343,"text":1105},{"id":1247,"depth":1343,"text":1248},{"id":1302,"depth":1343,"text":1303},{"id":1734,"depth":1343,"text":1735},{"id":1750,"depth":1343,"text":1751},{"id":52,"depth":1343,"text":1809},[1783,2054,2055,2056,2057],"AMD Radeon","Lokale AI","Qwen","Kwantisatie","2026-09-27T09:00:00Z","Qwen3.8 27B op één R9700: 19,9% snellere gewogen decode, een nieuwe 4-bit cache, 200K-context en optionele beeldinvoer. Metingen en Paiton-installatie.","md","3-bit gewichten. 20% snellere decode. 1 × Radeon AI PRO R9700.","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-qwen38-w3a4\u002Fhero-nl.webp",{},"https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-qwen38-w3a4-radeon-ai-pro-r9700","\u002Fblog\u002Fpaiton-qwen38-w3a4-radeon-ai-pro-r9700",{"title":5,"description":2059},"paiton-qwen38-w3a4-radeon-ai-pro-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-qwen38-w3a4\u002Fsocial-nl.webp","blog\u002Fpaiton-qwen38-w3a4-radeon-ai-pro-r9700","2026-09-30T17:40:00Z",null,"r_m_xDEYXauY0HydAGLd_Cs8pJVkGIyMX6l_hWzNlcM",[2074,2084,2096,2105,2114,2129,2138,2147,2149,2159,2171,2181,2193,2203,2216,2225,2237,2268,2280,2302,2320,2339,2358,2375,2392,2403,2419,2434,2446,2455,2463,2478,2490,2501,2512,2522,2535,2545,2558,2569,2579,2590,2599,2611,2621,2630],{"path":2075,"title":2076,"description":2077,"date":2078,"slug":2079,"image":2080,"originalUrl":2081,"categories":2082},"\u002Fblog\u002Fpaiton-idol-radeon-ai-pro-r9700","De Radeon AI PRO R9700 doet ook 3D: Idol in 16,4 seconden","Idol maakt een 3D Gaussian splat in 16,44 seconden op één Radeon AI PRO R9700 met Paiton, tegenover 39,22 seconden voor standaard-Idol op dezelfde GPU.","2026-11-06T09:00:00Z","paiton-idol-radeon-ai-pro-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-idol\u002Fhero-nl.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-idol-radeon-ai-pro-r9700",[1783,2054,2055,2083],"3D-generatie",{"path":2085,"title":2086,"description":2087,"date":2088,"slug":2089,"image":2090,"originalUrl":2091,"categories":2092},"\u002Fblog\u002Fpaiton-deepseek-v41-flash-amd-instinct-mi350p","Deepseek V4.1 Flash op één MI350P","DeepSeek V4.1 Flash op één MI350P met 144 GB: 77,9 tokens\u002Fs bij één verzoek en 1.107,6 in een batch van 512, met Paiton en expertberekeningen op CPU.","2026-11-03T12:00:00Z","paiton-deepseek-v41-flash-amd-instinct-mi350p","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-deepseek-v41\u002Fhero-nl.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-deepseek-v41-flash-amd-instinct-mi350p",[1783,2093,2094,2095,2057],"AMD Instinct","AI-inferentie","DeepSeek",{"path":2097,"title":2098,"description":2099,"date":2100,"slug":2101,"image":2102,"originalUrl":2103,"categories":2104},"\u002Fblog\u002Fpaiton-qwen38-flash-next-amd-instinct-mi350p","Qwen3.8 Flash Next op MI350P: dubbel zo snel | Paiton","Qwen3.8 Flash Next op één AMD MI350P: 2,24× de decodesnelheid van de geteste vLLM-configuratie bij één verzoek en circa 2,2 miljoen gedeelde KV-cachetokens.","2026-10-30T12:00:00Z","paiton-qwen38-flash-next-amd-instinct-mi350p","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-mi350p\u002Fhero-nl.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-qwen38-flash-next-amd-instinct-mi350p",[1783,2093,2094,2056,2057],{"path":2106,"title":2107,"description":2108,"date":2109,"slug":2110,"image":2111,"originalUrl":2112,"categories":2113},"\u002Fblog\u002Fpaiton-qwen38-3bit-accuracy-prefix-caching-mtp","Qwen3.8 Flash Next: 3-bit dicht bij 16-bit nauwkeurigheid, met MTP-prefixcaching","Paitons nieuwe 3-bit Qwen3.8-gewichten benaderen 16-bit taakscores op twee R9700-kaarten. Native MTP-prefixcaching hervat een prompt van 200K in 0,68 seconde. Resultaten, grenzen en installatie.","2026-10-24T18:45:00Z","paiton-qwen38-3bit-accuracy-prefix-caching-mtp","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-qwen38-3bit-mtp\u002Fhero-nl.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-qwen38-3bit-accuracy-prefix-caching-mtp",[1783,2054,2055,2056,2057],{"path":2115,"title":2116,"description":2117,"date":2118,"slug":2119,"image":2120,"originalUrl":2121,"categories":2122},"\u002Fblog\u002Fnvidia-dsx-pod-vera-rubin-modular-data-centers","Nvidia confirms the modular DC direction","NVIDIA DSX POD brengt Vera Rubin AI-fabrieken naar modulaire datacenters. ElioVP bespreekt terreinvoorbereiding, koeling en de aanpak achter ModFlex.","2026-10-21T13:00:00Z","nvidia-dsx-pod-vera-rubin-modular-data-centers","\u002Fasset\u002Fimages\u002Fblog\u002Fnvidia-dsx-pod-modflex\u002Fhero.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fnvidia-dsx-pod-vera-rubin-modular-data-centers",[2123,2124,2125,2126,2127,2128],"Modular DC","AI-infrastructuur","ModFlex","NVIDIA","Vera Rubin","Vloeistofkoeling",{"path":2130,"title":2131,"description":2132,"date":2133,"slug":2134,"image":2135,"originalUrl":2136,"categories":2137},"\u002Fblog\u002Fpaiton-qwen38-flash-next-4bit-radeon-ai-pro-r9700","Qwen3.8 Flash Next in 4-bit op 2 × Radeon R9700: getest tegenover 16-bit","Paiton draait Qwen3.8 Flash Next in 4-bit op twee R9700-kaarten: 96,8% GSM8K, 96,3% HumanEval, 189,8 tokens\u002Fs en een optionele RAM-prefixcache. Kwaliteit, snelheid en installatie.","2026-10-12T15:00:00Z","paiton-qwen38-flash-next-4bit-radeon-ai-pro-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-qwen38-flash-next-4bit\u002Fhero-nl.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-qwen38-flash-next-4bit-radeon-ai-pro-r9700",[1783,2054,2055,2056,2057],{"path":2139,"title":2140,"description":2141,"date":2142,"slug":2143,"image":2144,"originalUrl":2145,"categories":2146},"\u002Fblog\u002Fpaiton-qwen38-flash-next-radeon-ai-pro-r9700","Qwen3.8 Flash Next op 2 × Radeon AI PRO R9700: 216 tokens\u002Fs, 200K-context","Paiton draait Qwen3.8 Flash Next met 3-bit experts op twee R9700-kaarten: 216,3 tokens\u002Fs, 565,1 tokens\u002Fs samen en een aparte 200K-modus. Metingen, kwaliteit en installatie.","2026-10-10T10:30:00Z","paiton-qwen38-flash-next-radeon-ai-pro-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-qwen38-flash-next\u002Fhero-nl.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-qwen38-flash-next-radeon-ai-pro-r9700",[1783,2054,2055,2056,2057],{"path":2065,"title":5,"description":2059,"date":2058,"slug":2067,"image":2062,"originalUrl":2064,"categories":2148},[1783,2054,2055,2056,2057],{"path":2150,"title":2151,"description":2152,"date":2153,"slug":2154,"image":2155,"originalUrl":2156,"categories":2157},"\u002Fblog\u002Fpaiton-qwen-image-21-radeon-ai-pro-r9700","Qwen-Image 2.1 op 1 × Radeon AI PRO R9700: 2048×2048-beelden in 103 seconden","Genereer lokaal Qwen-Image 2.1-beelden van 2048×2048 pixels met 1 × Radeon AI PRO R9700. De Paiton v1.0.2-container mat 103,29 seconden per opgewarmd verzoek, inclusief de PNG-respons.","2026-09-23T09:00:00Z","paiton-qwen-image-21-radeon-ai-pro-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-qwen-image-21\u002Fhero-nl.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-qwen-image-21-radeon-ai-pro-r9700",[1783,2054,2055,2158,2056],"Beeldgeneratie",{"path":2160,"title":2161,"description":2162,"date":2163,"slug":2164,"image":2165,"originalUrl":2166,"categories":2167},"\u002Fblog\u002Fpaiton-qwen38-mxfp4-dflash2-r9700","Qwen3.8: 400,7 tok\u002Fs op één R9700 | Paiton","Qwen3.8 op één R9700: 400,7 tok\u002Fs met ROCm 10 en vLLM 0.29, plus publieke 200K\u002F220K-chatprofielen. Benchmarks, beperkingen en startopdrachten.","2026-09-16T07:30:00Z","paiton-qwen38-mxfp4-dflash2-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-qwen38-mxfp4\u002Fupdate-2026-09-19\u002Fhero.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-qwen38-mxfp4-dflash2-r9700",[1783,2054,2055,2094,2168,2169,2170],"Inferentie-optimalisatie","Grote taalmodellen","vLLM",{"path":2172,"title":2173,"description":2174,"date":2175,"slug":2176,"image":2177,"originalUrl":2178,"categories":2179},"\u002Fblog\u002Fpaiton-qwen38-neo-gguf-vllm-r9700","Qwen3.8 GGUF in vLLM: sneller antwoord op één Radeon","Draai de originele NEO CODER MAX GGUF met Paiton in vLLM op een R9700. Bekijk de gemeten responstijden, beeldinvoer en lokale installatie.","2026-09-14T07:30:00Z","paiton-qwen38-neo-gguf-vllm-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-neo-gguf\u002F00-hero-neo-gguf-r9700.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-qwen38-neo-gguf-vllm-r9700",[1783,2054,2055,2180,2170],"GGUF",{"path":2182,"title":2183,"description":2184,"date":2185,"slug":2186,"image":2187,"originalUrl":2188,"categories":2189},"\u002Fblog\u002Fpaiton-minimax-h3-radeon-ai-pro-r9700","MiniMax H3 op Radeon: 15 seconden video met stereogeluid","Paiton genereert lokaal 15 seconden MiniMax H3-video met stereogeluid op één Radeon AI PRO R9700 in 5 min 33 s, met 16,7% minder wachttijd dan stock.","2026-09-09T07:30:00Z","paiton-minimax-h3-radeon-ai-pro-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-minimax-h3\u002F00-featured-minimax-h3-r9700.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-minimax-h3-radeon-ai-pro-r9700",[1783,2054,2055,2190,2191,2192],"Videogeneratie","MiniMax H3","ComfyUI",{"path":2194,"title":2195,"description":2196,"date":2197,"slug":2198,"image":2199,"originalUrl":2200,"categories":2201},"\u002Fblog\u002Fpaiton-flux2-klein-radeon-ai-pro-r9700","Lokale FLUX.2 klein op Radeon AI PRO R9700: sneller beelden genereren met minder VRAM","Paiton genereert FLUX.2 klein-beelden van 1024 × 1024 in 1,054 seconden op een R9700, met 16,2% minder generatietijd en 33,4% minder piekallocatie in Torch.","2026-09-07T09:00:00","paiton-flux2-klein-radeon-ai-pro-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-flux2-klein\u002Ffox-paiton.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-flux2-klein-radeon-ai-pro-r9700",[1783,2054,2055,2158,2202,2192],"FLUX",{"path":2204,"title":2205,"description":2206,"date":2207,"slug":2208,"image":2209,"originalUrl":2210,"categories":2211},"\u002Fblog\u002Fpaiton-ornith15-radeon-ai-pro-r9700","Ornith 1.5 haalt 44,6 tok\u002Fs op één Radeon AI PRO R9700","Paiton draait Ornith 1.5 35B A3B op één Radeon AI PRO R9700 met 44,63 outputtokens per seconde, 27% sneller en met 21,3% lagere gemodelleerde kosten.","2026-09-05T09:00:00","paiton-ornith15-radeon-ai-pro-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-ornith15\u002F00-featured-ornith15-r9700.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-ornith15-radeon-ai-pro-r9700",[1783,2212,2054,2094,2213,2214,2168,2169,2170,2215],"Kunstmatige intelligentie","GPU-prestaties","Inferentielatentie","Kostenefficiëntie",{"path":2217,"title":2218,"description":2219,"date":2220,"slug":2221,"image":2222,"originalUrl":2223,"categories":2224},"\u002Fblog\u002Fpaiton-qwen38-radeon-ai-pro-r9700","Paiton: 21% meer Qwen3.8-doorvoer op Radeon AI PRO R9700","Paiton draait AMD's Qwen3.8 27B op één Radeon AI PRO R9700 met 39,77 outputtokens per seconde. Dat levert 21% meer throughput en 17,4% lagere gemodelleerde kosten op.","2026-09-04T09:00:00","paiton-qwen38-radeon-ai-pro-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-r9700\u002F00-featured-paiton-r9700.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-qwen38-radeon-ai-pro-r9700",[1783,2212,2054,2094,2213,2214,2168,2169,2170,2215],{"path":2226,"title":2227,"description":2228,"date":2229,"slug":2230,"image":2231,"originalUrl":2071,"categories":2232},"\u002Fblog\u002Fai-data-center-power-requirements-gpu-per-megawatt","Stroomvereisten voor AI-datacenters: de GPU-per-MW-illusie","Waarom verschillen GPU-aantallen per megawatt? Lees hoe PUE, piekbelasting, opslag, netwerken en koeling de inzetbare AI-capaciteit bepalen.","2026-07-27T23:52:00","ai-data-center-power-requirements-gpu-per-megawatt","\u002Fasset\u002Fimages\u002Fblog\u002Fai-data-center-power-requirements-gpu-per-megawatt\u002Fgpu-per-megawatt-illusion.webp",[2233,2124,2234,2125,2235,2236],"Alle","Datacenters","HPC","AMD Helios",{"path":2238,"title":2239,"description":2240,"date":2241,"slug":2242,"image":2243,"originalUrl":2244,"categories":2245},"\u002Fblog\u002Fpaiton-returns-to-its-diffusion-roots-optimizing-wan2-2-t2v-a14b-on-amd-mi355x","Wan2.2-videogeneratie: Paiton op AMD MI355X","Vergelijk Wan2.2-videogeneratie op AMD MI355X met Paiton en NVIDIA B200 via Diffusers. Lees hoe we diffusiemodellen optimaliseren.","2026-06-10T14:04:04","paiton-returns-to-its-diffusion-roots-optimizing-wan2-2-t2v-a14b-on-amd-mi355x","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fpaitonwan2.webp","https:\u002F\u002Feliovp.com\u002Fpaiton-returns-to-its-diffusion-roots-optimizing-wan2-2-t2v-a14b-on-amd-mi355x\u002F",[2233,2212,1783,2246,2247,2248,2249,2250,2251,2252,2253,2254,2255,2256,2257,2258,2259,2126,2260,2261,1783,2262,2263,2264,2265,2266,2267],"14B","AMD","B200","Benchmarks","Blackwell","Compute","Diffusie","Eliovp","Generatieve AI","GPU","Hardware","Inferentie","Instinct","MI355x","On-premises","Optimalisatie","Soevereine AI","T2V","Tekst-naar-video","Tuning","Video-generatie","Wan2.2",{"path":2269,"title":2270,"description":2271,"date":2272,"slug":2273,"image":2274,"originalUrl":2275,"categories":2276},"\u002Fblog\u002Ffrom-the-attic-to-the-front-page-eliovp-recognized-as-a-pioneer-in-chip-optimization-data-center-infrastructure","ElioVP in De Tijd: chipoptimalisatie en datacenters","Lees hoe De Tijd ElioVP belicht, van de oorsprong in chipoptimalisatie tot het werk aan modulaire datacenters en koeling voor hoge vermogensdichtheid.","2026-02-10T20:48:12","from-the-attic-to-the-front-page-eliovp-recognized-as-a-pioneer-in-chip-optimization-data-center-infrastructure","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fphysicalnewspaper.webp","https:\u002F\u002Feliovp.com\u002Ffrom-the-attic-to-the-front-page-eliovp-recognized-as-a-pioneer-in-chip-optimization-data-center-infrastructure\u002F",[2233,2212,2277,2278,2247,2279,2277,2126],"Modulaire DC","Niet gecategoriseerd","De Tijd",{"path":2281,"title":2282,"description":2283,"date":2284,"slug":2285,"image":2286,"originalUrl":2287,"categories":2288},"\u002Fblog\u002Fprivacy-is-geen-it-probleem-meer-het-is-een-strategische-prioriteit","AI en privacy: een strategische prioriteit in de Benelux","Privacyrisico's van generatieve AI, vertrouwen, dataopslag en governance. Waarom bedrijven in de Benelux veilige AI strategisch moeten benaderen.","2026-01-29T13:51:11","privacy-is-geen-it-probleem-meer-het-is-een-strategische-prioriteit","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fheaderimage.webp","https:\u002F\u002Feliovp.com\u002Fprivacy-is-geen-it-probleem-meer-het-is-een-strategische-prioriteit\u002F",[2233,2212,2289,2278,2290,2291,2292,2293,2294,2295,2296,2297,2253,2298,2254,2299,2300,2301],"Trending","AI Act","Antropomorfisme","AVG","Benelux","ChatGPT","Cyberbeveiliging","Databeheer","Gegevensbeveiliging","GDPR","Microsoft Copilot","Privacy","Shadow AI",{"path":2303,"title":2304,"description":2305,"date":2306,"slug":2307,"image":2308,"originalUrl":2309,"categories":2310},"\u002Fblog\u002Fitsme-bij-ons-is-het-its-not-me-en-dit-is-waarom","Waarom wij itsme niet gebruiken: privacy en soevereiniteit","Waarom ElioVP itsme niet gebruikt: onze afwegingen rond identiteitsmetadata, cloudafhankelijkheid, privacy en datasoevereiniteit.","2025-11-27T09:32:14","itsme-bij-ons-is-het-its-not-me-en-dit-is-waarom","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Ffrontimage.webp","https:\u002F\u002Feliovp.com\u002Fitsme-bij-ons-is-het-its-not-me-en-dit-is-waarom\u002F",[2233,2311,2312,2313,2295,2314,2315,2316,2298,2317,2318,2319,2300],"AWS","Belgian Mobile ID","CLOUD Act","Datasoevereiniteit","Digitale identiteit","eIDAS","itsme","Liberty Global","MyGov.be",{"path":2321,"title":2322,"description":2323,"date":2324,"slug":2325,"image":2326,"originalUrl":2327,"categories":2328},"\u002Fblog\u002Ffield-report-the-reality-of-building-agentic-ai-in-2025","Praktijkrapport: de realiteit van Agentic AI bouwen in 2025","Praktijklessen over lokale AI-agents in 2025 gaan in op workflowontwerp, observability, modeltraining, hallucinaties en GPU-geheugenlimieten.","2025-11-25T14:03:39","field-report-the-reality-of-building-agentic-ai-in-2025","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Ffieldreport.webp","https:\u002F\u002Feliovp.com\u002Ffield-report-the-reality-of-building-agentic-ai-in-2025\u002F",[2233,2212,2329,2289,2330,2331,2332,2333,2334,2335,2336,2337,2262,2338],"Oplossingen","Agentic AI","AI-techniek","AI-strategie","Autonome agenten","Bedrijfs-AI","Lokale LLM","Modelverfijning","AI op locatie","VRAM-optimalisatie",{"path":2340,"title":2341,"description":2342,"date":2343,"slug":2344,"image":2345,"originalUrl":2346,"categories":2347},"\u002Fblog\u002Fthe-synthetic-unicorn-bubble","De synthetische unicornzeepbel","Een analyse van investeringsrisico’s bij AI-neoclouds: circulaire financiering, infrastructuurclaims, contractvoorwaarden en due diligence.","2025-11-24T19:22:28","the-synthetic-unicorn-bubble","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fsyntheticunicorn.webp","https:\u002F\u002Feliovp.com\u002Fthe-synthetic-unicorn-bubble\u002F",[2233,2212,2289,2348,2349,2350,2351,2352,2353,2354,2355,2356,2357],"AI Infrastructure","AI Neocloud","Circulaire financiering","GPU Cloud","Beleggingsrisico's","Opstartwaardering","Synthetische bubbel","Technische analyse","Vaporware","Durfkapitaal",{"path":2359,"title":2360,"description":2361,"date":2362,"slug":2363,"image":2364,"originalUrl":2365,"categories":2366},"\u002Fblog\u002Fbuilding-the-engine-for-the-ai-race-the-4-month-path-to-nvidia-gb300-nvl72-power","NVIDIA GB300 NVL72: modulair datacenter in vier maanden","Ontdek een modulair datacenterontwerp voor NVIDIA GB300 NVL72, met redundante voeding, hybride koeling en een bouwplanning van vier maanden.","2025-11-20T14:10:19","building-the-engine-for-the-ai-race-the-4-month-path-to-nvidia-gb300-nvl72-power","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fsuperpodmodflexfrontimage.webp","https:\u002F\u002Feliovp.com\u002Fbuilding-the-engine-for-the-ai-race-the-4-month-path-to-nvidia-gb300-nvl72-power\u002F",[2233,2277,2278,2367,2124,2368,2369,2128,2370,2371,2372,2373,2374],"150 kW-rack","DLC","Hoge dichtheid","Modulair datacenter","NVIDIA Blackwell Ultra","NVIDIA GB300","NVL72","Snelle implementatie",{"path":2376,"title":2377,"description":2378,"date":2379,"slug":2380,"image":2381,"originalUrl":2382,"categories":2383},"\u002Fblog\u002Fwhy-cuda-translation-wont-unlock-amds-real-potential","CUDA-vertaling versus AMD-gerichte optimalisatie","Waarom CUDA-compatibiliteit niet hetzelfde is als AMD-prestaties: over ROCm, HIP, kerneloptimalisatie en hardwaregerichte afstemming.","2025-11-12T14:48:37","why-cuda-translation-wont-unlock-amds-real-potential","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fchatgpt-image-nov-11-2025-09_16_10-pm-1.webp","https:\u002F\u002Feliovp.com\u002Fwhy-cuda-translation-wont-unlock-amds-real-potential\u002F",[2233,2212,1783,2278,2384,2212,2385,2386,2387,2388,2389,2390,1783,2391],"AMD MI300X","CUDA-vertaling","FP8","GPU-optimalisatie","High-performance computing","HIP","Kerneltuning","ROCm",{"path":2393,"title":2394,"description":2395,"date":2396,"slug":2397,"image":2398,"originalUrl":2399,"categories":2400},"\u002Fblog\u002Fpaiton-the-simplest-way-to-supercharge-ai-inference","Paiton: snellere AI-inferentie in uw bestaande stack","Lees hoe Paiton aansluit op bestaande inferentiestacks, met AMD MI300X-benchmarks en vergelijkingen van prestaties per dollar.","2025-11-11T10:31:22","paiton-the-simplest-way-to-supercharge-ai-inference","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fpaiton-powaaah.webp","https:\u002F\u002Feliovp.com\u002Fpaiton-the-simplest-way-to-supercharge-ai-inference\u002F",[2233,2212,1783,2094,2093,2384,2215,2401,2168,2390,1783,2402,2170],"Hoge throughput","SGLang",{"path":2404,"title":2405,"description":2406,"date":2407,"slug":2408,"image":2409,"originalUrl":2410,"categories":2411},"\u002Fblog\u002Fstop-overpaying-paiton-mi300x-moe-beats-h200-b200-on-1m-tokens","Paiton MoE-benchmarks: MI300X versus H200 en B200","Vergelijk Qwen3-30B-A3B MoE-benchmarks van MI300X met Paiton, H200 en B200: throughput en kosten per miljoen tokens.","2025-09-26T13:36:18","stop-overpaying-paiton-mi300x-moe-beats-h200-b200-on-1m-tokens","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fhulkvshulkpaitonwins.webp","https:\u002F\u002Feliovp.com\u002Fstop-overpaying-paiton-mi300x-moe-beats-h200-b200-on-1m-tokens\u002F",[2233,2212,1783,2412,2384,2413,2168,2414,2415,2416,2417,1783,2418],"AI-benchmarks","Kosten per token","Mixture of Experts","MoE","NVIDIA B200","NVIDIA H200","Qwen3",{"path":2420,"title":2421,"description":2422,"date":2423,"slug":2424,"image":2425,"originalUrl":2426,"categories":2427},"\u002Fblog\u002Fagentic-ai-but-make-it-local-from-inbox-to-insight-to-action-en","Lokale Agentic AI: van inbox naar actie","Lokale AI-agents zetten e-mails, documenten en beelden om in tickets, rapporten en acties, met modellen op maat van uw gegevens en systemen.","2025-09-16T13:09:00","agentic-ai-but-make-it-local-from-inbox-to-insight-to-action-en","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Ffrontfotoblog.webp","https:\u002F\u002Feliovp.com\u002Fagentic-ai-but-make-it-local-from-inbox-to-insight-to-action-en\u002F",[2233,2212,2329,2278,2330,2428,2429,2430,2431,2335,2337,2262,2432,2433],"Schadedetectie","Documentverwerking","E-mailautomatisering","Factuurextractie","Ticketautomatisering","Workflowautomatisering",{"path":2435,"title":2436,"description":2437,"date":2438,"slug":2439,"image":2440,"originalUrl":2441,"categories":2442},"\u002Fblog\u002Fmi300x-fp8-data-parallel-benchmarks-8-64-gpus-h200-left-behind-b200-within-reach","MI300X FP8-benchmarks: GPU-partitionering met Paiton","Bekijk hoe Paiton presteert met Llama 3.1 8B FP8 op gepartitioneerde MI300X-GPU's, vergeleken met NVIDIA H200 en B200.","2025-07-31T13:32:57","mi300x-fp8-data-parallel-benchmarks-8-64-gpus-h200-left-behind-b200-within-reach","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fimage-2-1.webp","https:\u002F\u002Feliovp.com\u002Fmi300x-fp8-data%e2%80%91parallel-benchmarks-8-64-gpus-h200-left-behind-b200-within-reach\u002F",[2233,2212,1783,2278,2443,2247,2248,2444,2445,2259,2126,1783,2170],"AI","H200","MI300X",{"path":2447,"title":2448,"description":2449,"date":2450,"slug":2451,"image":2452,"originalUrl":2453,"categories":2454},"\u002Fblog\u002Fapplicable-ai-for-businesses","Toepasbare AI voor bedrijven","Ontdek hoe ElioVP lokale AI voor bedrijfsprocessen bouwt, met modeltraining op maat en automatische schadedetectie voor de logistiek.","2025-07-09T21:35:30","applicable-ai-for-businesses","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fscherm_afbeelding-2025-07-09-om-23.30.17.webp","https:\u002F\u002Feliovp.com\u002Fapplicable-ai-for-businesses\u002F",[2233,2212,2329,2330,2428,2429,2430,2431,2335,2337,2262,2432,2433],{"path":2456,"title":2457,"description":2458,"date":2459,"slug":2460,"image":53,"originalUrl":2461,"categories":2462},"\u002Fblog\u002Fintroducing-paitons-free-evaluation-models","Maak kennis met de gratis evaluatiemodellen van Paiton","Test Paiton met gratis evaluatiemodellen voor AMD-GPU's. Vergelijk de prestaties voor tekst, beeldanalyse en beeldgeneratie met uw eigen workloads.","2025-07-07T11:26:13","introducing-paitons-free-evaluation-models","https:\u002F\u002Feliovp.com\u002Fintroducing-paitons-free-evaluation-models\u002F",[2233,2212,1783],{"path":2464,"title":2465,"description":2466,"date":2467,"slug":2468,"image":2469,"originalUrl":2470,"categories":2471},"\u002Fblog\u002Fpaiton-dramatically-faster-startup-and-performance-for-llama-3-1-405b","Llama 3.1 405B: sneller starten met Paiton op MI300X","Bekijk Paiton-benchmarks voor Llama 3.1 405B op acht AMD MI300X-GPU's, met opstarttijd, tensorparallelisme, throughput en latency.","2025-06-12T20:15:23","paiton-dramatically-faster-startup-and-performance-for-llama-3-1-405b","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fservingscreenshot.webp","https:\u002F\u002Feliovp.com\u002Fpaiton-dramatically-faster-startup-and-performance-for-llama-3-1-405b\u002F",[2233,2212,1783,2278,2094,2384,2472,2386,2473,2474,2475,1783,2476,2477],"Koude start","Grafiekcompilatie","Llama 3.1 405B","LLM-optimalisatie","Opstartlatentie","Tensor-parallellisme",{"path":2479,"title":2480,"description":2481,"date":2482,"slug":2483,"image":2484,"originalUrl":2485,"categories":2486},"\u002Fblog\u002Fpaiton-fp8-beats-nvidias-h200-on-amds-mi300x","Paiton FP8 verslaat NVIDIA's H200 op AMD's MI300X","Vergelijk Paiton op AMD MI300X met NVIDIA H200 voor Llama 3.1 70B FP8: throughput, wachttijd tot het eerste token en latency bij diverse batchgroottes.","2025-06-08T19:12:40","paiton-fp8-beats-nvidias-h200-on-amds-mi300x","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fblognewfp8.webp","https:\u002F\u002Feliovp.com\u002Fpaiton-fp8-beats-nvidias-h200-on-amds-mi300x\u002F",[2233,2212,1783,2278,2384,2487,2334,2254,2213,2214,2169,2474,2488,2489],"Koude startoptimalisatie","Model serving","vLLM-optimalisatie",{"path":2491,"title":2492,"description":2493,"date":2494,"slug":2495,"image":2496,"originalUrl":2497,"categories":2498},"\u002Fblog\u002Fmi300x-vs-h200-vs-rx-7900-xtx-vs-tenstorrent-n300s-with-vllm","MI300X, H200, RX 7900 XTX en n300s: vLLM-benchmarks","Vergelijk MI300X, H200, RX 7900 XTX en Tenstorrent n300s met vLLM: throughput, gemodelleerde tokenkosten en hardwarebeperkingen voor Llama 3 8B.","2025-05-09T14:03:58","mi300x-vs-h200-vs-rx-7900-xtx-vs-tenstorrent-n300s-with-vllm","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fcomparisontenstor.webp","https:\u002F\u002Feliovp.com\u002Fmi300x-vs-h200-vs-rx-7900-xtx-vs-tenstorrent-n300s-with-vllm\u002F",[2233,2212,1783,2329,2278,2247,2445,2126,2499,2500],"RX7900XTX","tenstorrent",{"path":2502,"title":2503,"description":2504,"date":2505,"slug":2506,"image":2507,"originalUrl":2508,"categories":2509},"\u002Fblog\u002Fclusterpl-empowering-gpu-cluster-investors-with-real-world-financial-insights","ClusterP&L: financiële modellen voor GPU-clusters","Ontdek hoe ClusterP&L kosten, rendement en investeringsscenario's voor GPU-clusters modelleert, met risicoanalyses en exporteerbare rapporten.","2025-05-03T10:52:22","clusterpl-empowering-gpu-cluster-investors-with-real-world-financial-insights","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fcomparisonscenarios.webp","https:\u002F\u002Feliovp.com\u002Fclusterpl-empowering-gpu-cluster-investors-with-real-world-financial-insights\u002F",[2233,2212,2277,2329,2248,2444,2510,2126,2511],"MI325X","P&L-calculator",{"path":2513,"title":2514,"description":2515,"date":2516,"slug":2517,"image":2518,"originalUrl":2519,"categories":2520},"\u002Fblog\u002Fcranking-out-faster-tokens-for-fewer-dollars-amd-mi300x-vs-nvidia-h200","AMD MI300X versus NVIDIA H200: Qwen3-32B met Paiton","Vergelijk Qwen3-32B-benchmarks op AMD MI300X met Paiton en NVIDIA H200, met resultaten voor throughput, latency en hardwarekosten.","2025-05-02T21:10:30","cranking-out-faster-tokens-for-fewer-dollars-amd-mi300x-vs-nvidia-h200","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002F3ac59a73-2466-4422-b7e5-ef2e4a8ca58e.webp","https:\u002F\u002Feliovp.com\u002Fcranking-out-faster-tokens-for-fewer-dollars-amd-mi300x-vs-nvidia-h200\u002F",[2233,2212,1783,2443,2247,2444,2521,2126,1783,2170],"MI300",{"path":2523,"title":2524,"description":2525,"date":2526,"slug":2527,"image":2528,"originalUrl":2529,"categories":2530},"\u002Fblog\u002Fpower-meets-precision-high-density-modular-data-center-for-nvidia-nvl-deployments-1-2-mw","Modulaire datacenters voor NVIDIA NVL: 1 tot 2 MW","Ontdek modulaire datacenterontwerpen voor NVIDIA NVL-systemen, met aandacht voor vermogen, vloeistofkoeling, redundantie en uitrolplanning.","2025-05-02T14:09:59","power-meets-precision-high-density-modular-data-center-for-nvidia-nvl-deployments-1-2-mw","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Feliovp_critical-1mw-pod_rev-2_transparent.webp","https:\u002F\u002Feliovp.com\u002Fpower-meets-precision-high-density-modular-data-center-for-nvidia-nvl-deployments-1-2-mw\u002F",[2233,2277,2531,2348,2369,2235,2128,2370,2532,2533,2373,2534],"1-2MW datacenter","NVIDIA Blackwell","NVIDIA NVL","Precisiekoeling",{"path":2536,"title":2537,"description":2538,"date":2539,"slug":2540,"image":2541,"originalUrl":2542,"categories":2543},"\u002Fblog\u002Fexamining-ai-agents-in-the-medical-field-ai-that-speaks-dicom","AI-agents in de medische wereld: AI die DICOM spreekt","Ontdek een lokale AI-agent die DICOM-gegevens opzoekt en bekijk tests van beeldmodellen met geanonimiseerde medische beelden.","2025-04-11T14:45:48","examining-ai-agents-in-the-medical-field-ai-that-speaks-dicom","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fhealthcareblog-1.webp","https:\u002F\u002Feliovp.com\u002Fexamining-ai-agents-in-the-medical-field-ai-that-speaks-dicom\u002F",[2233,2212,2329,2278,2443,2247,2544],"Zorg",{"path":2546,"title":2547,"description":2548,"date":2549,"slug":2550,"image":2551,"originalUrl":2552,"categories":2553},"\u002Fblog\u002Feliovp-bv-your-trusted-partner-for-supply-chain-resilience-amidst-new-u-s-tariffs","Amerikaanse invoerheffingen en AI-leveringszekerheid in 2025","Lees ElioVP's visie uit april 2025 op Amerikaanse invoerheffingen en leveringszekerheid voor AI-servers, HPC-systemen en modulaire datacenters.","2025-04-04T10:01:27","eliovp-bv-your-trusted-partner-for-supply-chain-resilience-amidst-new-u-s-tariffs","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Ftariffsshipping.webp","https:\u002F\u002Feliovp.com\u002Feliovp-bv-your-trusted-partner-for-supply-chain-resilience-amidst-new-u-s-tariffs\u002F",[2233,2289,2443,2247,2554,2555,2556,2557],"Invoer","Taiwan","Invoerheffingen","Trump",{"path":2559,"title":2560,"description":2561,"date":2562,"slug":2563,"image":2564,"originalUrl":2565,"categories":2566},"\u002Fblog\u002Fwhy-ai-agents-are-the-future","Waarom AI-agenten de toekomst zijn","Ontdek AI-agents voor ERP, CRM, financiën en klantondersteuning, met praktijkvoorbeelden en een traject van procesanalyse tot pilot en uitrol.","2025-03-23T22:06:59","why-ai-agents-are-the-future","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Ferp2.jpeg","https:\u002F\u002Feliovp.com\u002Fwhy-ai-agents-are-the-future\u002F",[2233,2212,2329,2443,2567,2568],"AI-agenten","ERP",{"path":2570,"title":2571,"description":2572,"date":2573,"slug":2574,"image":2575,"originalUrl":2576,"categories":2577},"\u002Fblog\u002Fthe-rise-of-open-source-ai-model-optimization","De opkomst van open-source AI-modeloptimalisatie","Verken trends in opensource-AI-optimalisatie: kwantisatie, mixture-of-experts-modellen, hardwaregerichte afstemming, RAG en edge-AI.","2025-03-22T20:59:23","the-rise-of-open-source-ai-model-optimization","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Friseofopensource.jpeg","https:\u002F\u002Feliovp.com\u002Fthe-rise-of-open-source-ai-model-optimization\u002F",[2233,2212,2289,2578,2247,2255,2126],"AI-nieuws",{"path":2580,"title":2581,"description":2582,"date":2583,"slug":2584,"image":2585,"originalUrl":2586,"categories":2587},"\u002Fblog\u002Fintroducing-our-benchmarking-tool-powered-by-dstack","Maak kennis met onze benchmarktool, gebouwd op dstack","Ontdek onze benchmarktool met dstack: herhaalbare vLLM-tests, automatische parameterreeksen en prestatierapporten voor lokale GPU's en de cloud.","2025-03-20T14:21:59","introducing-our-benchmarking-tool-powered-by-dstack","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fbenchmarktool.jpeg","https:\u002F\u002Feliovp.com\u002Fintroducing-our-benchmarking-tool-powered-by-dstack\u002F",[2233,2212,1783,2443,2247,2588,2589,2445,1783],"benchmark","LLM",{"path":2591,"title":2592,"description":2593,"date":2594,"slug":2595,"image":2596,"originalUrl":2597,"categories":2598},"\u002Fblog\u002Foptimizing-qwq-32b-by-qwen-amd-mi300x-vs-nvidia-h200","QwQ-32B optimaliseren (door Qwen): AMD MI300X versus NVIDIA H200","Vergelijk throughput en latency van QwQ-32B op AMD MI300X met Paiton en NVIDIA H200, bij kleine batches en meer gelijktijdige aanvragen.","2025-03-19T21:41:44","optimizing-qwq-32b-by-qwen-amd-mi300x-vs-nvidia-h200","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fpaiton4.jpeg","https:\u002F\u002Feliovp.com\u002Foptimizing-qwq-32b-by-qwen-amd-mi300x-vs-nvidia-h200\u002F",[2233,2212,1783],{"path":2600,"title":2601,"description":2602,"date":2603,"slug":2604,"image":2605,"originalUrl":2606,"categories":2607},"\u002Fblog\u002Feliovp-featured-on-amd-tech-talk-podcast","Eliovp te gast in de AMD Tech Talk-podcast","Beluister Elio Van Puyvelde en Jim Greene in de AMD Tech Talk-podcast over het ontstaan van ElioVP en de hardware- en softwarediensten voor AI.","2025-03-19T07:53:39","eliovp-featured-on-amd-tech-talk-podcast","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Ftechtalkjimgreene.jpeg","https:\u002F\u002Feliovp.com\u002Feliovp-featured-on-amd-tech-talk-podcast\u002F",[2233,2247,2608,2609,2610],"Jim Greene","Podcast","Tech Talk",{"path":2612,"title":2613,"description":2614,"date":2615,"slug":2616,"image":2617,"originalUrl":2618,"categories":2619},"\u002Fblog\u002Ffurther-optimizing-amd-powered-inference-with-paiton","AMD-inferentie verder optimaliseren met Paiton","Bekijk Paiton-benchmarks voor DeepSeek R1 Distill Llama 8B op AMD MI300X, gericht op throughput en latency bij kleinere batchgroottes.","2025-03-13T06:18:30","further-optimizing-amd-powered-inference-with-paiton","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fpaitonpost3.webp","https:\u002F\u002Feliovp.com\u002Ffurther-optimizing-amd-powered-inference-with-paiton\u002F",[2233,2212,1783,2247,2095,2620,2444,2445,2510,1783,2170],"H100",{"path":2622,"title":2623,"description":2624,"date":2625,"slug":2626,"image":2627,"originalUrl":2628,"categories":2629},"\u002Fblog\u002Fa-first-look-at-paiton-in-action-deepseek-r1-distill-llama-3-1-8b","Paiton-benchmarks: DeepSeek R1 Distill Llama 3.1 8B","Vergelijk standaard- en Paiton-versies van DeepSeek R1 Distill Llama 3.1 8B op AMD MI300X, met benchmarks voor throughput en latency.","2025-01-31T09:11:02","a-first-look-at-paiton-in-action-deepseek-r1-distill-llama-3-1-8b","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fpaitonpost2.webp","https:\u002F\u002Feliovp.com\u002Fa-first-look-at-paiton-in-action-deepseek-r1-distill-llama-3-1-8b\u002F",[2233,2212,1783,2247,2095,2620,2444,2445,2510,1783,2170],{"path":2631,"title":2632,"description":2633,"date":2634,"slug":2635,"image":2636,"originalUrl":2637,"categories":2638},"\u002Fblog\u002Fai-model-optimization-with-paiton","AI-modeloptimalisatie met Paiton","Lees hoe Paiton modelcompilatie, aangepaste kernels en kernelfusie inzet om AI-inferentie op AMD GPU's te optimaliseren.","2025-01-30T19:53:25","ai-model-optimization-with-paiton","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fpaitonpost1.webp","https:\u002F\u002Feliovp.com\u002Fai-model-optimization-with-paiton\u002F",[2233,2212,1783,2247,2620,2444,2445,2510,1783,2170],1793962346678]