[{"data":1,"prerenderedAt":2017},["ShallowReactive",2],{"blog-post-nl-\u002Fblog\u002Fpaiton-deepseek-v41-flash-amd-instinct-mi350p":3,"blog-posts-sidebar-nl":1451},{"id":4,"title":5,"body":6,"categories":1432,"date":1437,"description":1438,"extension":1439,"heading":5,"image":1440,"meta":1441,"navigation":1442,"originalUrl":1443,"path":1444,"seo":1445,"slug":1446,"socialImage":1447,"stem":1448,"updated":1449,"video":1449,"__hash__":1450},"blogNl\u002Fblog\u002Fpaiton-deepseek-v41-flash-amd-instinct-mi350p.md","Deepseek V4.1 Flash op één MI350P",{"type":7,"value":8,"toc":1411},"minimark",[9,13,22,38,43,128,139,150,156,161,164,167,170,181,184,188,191,194,198,204,268,271,275,278,281,286,342,360,364,370,380,448,454,459,475,487,491,494,585,591,594,598,601,647,650,653,657,664,667,672,801,804,807,811,826,829,834,958,961,965,980,983,988,1110,1113,1117,1135,1150,1157,1161,1164,1167,1172,1243,1246,1249,1264,1275,1279,1290,1299,1303,1324,1336,1343,1353,1369,1382,1385,1393,1398,1402,1405],[10,11,12],"p",{},"We wilden weten hoeveel we uit één GPU konden halen. Steeds meer projecten vinden manieren om enorme modellen te draaien door een deel van de gewichten in systeemgeheugen of op schijf te bewaren, in plaats van alles in GPU-geheugen te moeten passen. Dat wilden we ook op CDNA4 onderzoeken.",[10,14,15,16,21],{},"We hadden al iets vergelijkbaars gedaan met ",[17,18,20],"a",{"href":19},"\u002Fnl\u002Fblog\u002Fpaiton-qwen38-flash-next-radeon-ai-pro-r9700","Qwen3.8 Flash Next op twee Radeon AI PRO R9700's",", waarbij minder gebruikte experts in systeemgeheugen bleven. Deze keer kozen we een compleet ander, veel zwaarder model: DeepSeek V4.1 Flash. De hardwaregrens was één MI350P, ondersteund door een stevige CPU-host, geen rack vol GPU's.",[10,23,24,25,29,30,33,34,37],{},"En we zijn behoorlijk blij met het resultaat. ",[26,27,28],"strong",{},"DeepSeek V4.1 Flash genereert met Paiton 77,9 tokens per seconde voor één verzoek op die ene MI350P."," Bij 64 gelijktijdige verzoeken meet LocalMaxxing ",[26,31,32],{},"709,6 tokens\u002Fs in totaal",". Een afzonderlijk profiel voor batchverwerking haalt ",[26,35,36],{},"1.107,6 uitvoertokens\u002Fs over 512 verzoeken met lange antwoorden",".",[10,39,40],{},[26,41,42],{},"In dit artikel",[44,45,46,53,59,65,71,82,98,104,110,116,122],"ul",{},[47,48,49],"li",{},[17,50,52],{"href":51},"#het-nuttigste-werk-op-de-gpu-houden","Hardware en kwantisatie",[47,54,55],{},[17,56,58],{"href":57},"#twee-profielen-voor-verschillend-werk","Servingprofielen en cachecapaciteit",[47,60,61],{},[17,62,64],{"href":63},"#decodesnelheid-zonder-promptverwerking","Decodesnelheid en prefill",[47,66,67],{},[17,68,70],{"href":69},"#hoe-dit-zich-verhoudt-tot-een-rtx-pro-6000","Vergelijking met de RTX PRO 6000",[47,72,73,77,78],{},[17,74,76],{"href":75},"#meer-resultaten-op-%C3%A9%C3%A9n-machine","RTX 5090, RTX 3090 en Mac Studio",", plus ",[17,79,81],{"href":80},"#wat-verandert-er-met-meer-gpus","configuraties met meerdere GPU's",[47,83,84,88,89,93,94],{},[17,85,87],{"href":86},"#wat-als-verzoeken-tegelijk-binnenkomen","Gelijktijdige verzoeken",", ",[17,90,92],{"href":91},"#lange-invoer-belast-serving-zwaarder","lange invoer"," en ",[17,95,97],{"href":96},"#lange-antwoorden-verhogen-de-totale-uitvoer","lange antwoorden",[47,99,100],{},[17,101,103],{"href":102},"#vermogen-de-limiet-is-niet-het-verbruik","Energieverbruik",[47,105,106],{},[17,107,109],{"href":108},"#hoe-dicht-blijven-de-voorspellingen-bij-het-origineel","Nauwkeurigheid en terugzoektests",[47,111,112],{},[17,113,115],{"href":114},"#wat-gebeurde-er-met-standaardengines","Pogingen met standaard-vLLM en SGLang",[47,117,118],{},[17,119,121],{"href":120},"#bekijk-de-metingen","Gewichten, brondata en opname",[47,123,124],{},[17,125,127],{"href":126},"#een-tokenfabriek-bouwen-op-amd","Bespreek je tokenfabriek",[10,129,130,131,134,135,138],{},"Dat laatste cijfer geldt voor batchwerk, niet voor vlotte chat. Elk verzoek genereert ongeveer 2,3 tokens\u002Fs nadat het mediaan drie minuten op zijn eerste token heeft gewacht. Alle MI350P-metingen gebruiken een ",[26,132,133],{},"GPU-vermogenslimiet van 450 W"," en een host met ",[26,136,137],{},"circa 290 GB aan modeldata in het geheugen",". De CPU's berekenen de experts die niet op de GPU passen. “Eén GPU” betekent niet dat de GPU al het werk doet.",[10,140,141,142,145,146,149],{},"Het model is DeepSeek-V4.1-Flash-1017. Het oorspronkelijke checkpoint beslaat ",[26,143,144],{},"475 GiB",", veel meer dan de ",[26,147,148],{},"144 GB HBM"," op deze kaart. Het resultaat komt dus van een andere opslag en uitvoering van het model, niet doordat het volledige oorspronkelijke model op de kaart past.",[10,151,152,155],{},[26,153,154],{},"Paiton is ons framework voor AI-optimalisatie op AMD-hardware."," Deze metingen gebruiken de propriëtaire native CDNA4-runtime, die niet bij de openbare gewichten zit. Alleen de kwantisatie downloaden levert geen werkende standaard-vLLM-installatie op, en ook niet alles wat nodig is om deze resultaten te reproduceren.",[157,158,160],"h2",{"id":159},"het-nuttigste-werk-op-de-gpu-houden","Het nuttigste werk op de GPU houden",[10,162,163],{},"Het oorspronkelijke checkpoint bevat circa 269 GiB aan routed experts, 189 GiB aan engram-opzoektabellen en 17 GiB aan overige onderdelen. We comprimeren selectief in plaats van elk gewicht te veranderen.",[10,165,166],{},"We houden daarom de meest gebruikte experts op de GPU. De 3.000 vaakst gebruikte experts behouden hun oorspronkelijke 4-bitwaarden. De volgende 2.812 gebruiken ons 3-bitformaat, met inclusief schalen circa 3,3 bits per gewicht. Nog eens 9.548 experts blijven in hun oorspronkelijke 4-bitformaat in hostgeheugen. Een groep van 1.024 GPU-slots volgt de experts die de lopende verzoeken gebruiken.",[10,168,169],{},"Tijdens tekstgeneratie berekenen de host-CPU's de minder gebruikte experts ter plaatse. Alleen hun invoer en uitvoer gaan over PCIe, niet telkens de volledige expertgewichten. Voor lange prompts streamt de runtime deze experts wel naar de GPU: de grotere batch maakt dat dan zinvol. De engram-tabellen blijven in hostgeheugen, gecomprimeerd in een 4-bitformaat per rij.",[10,171,172,173,176,177,180],{},"De geteste machine heeft ",[26,174,175],{},"twee AMD EPYC 9654-CPU's",", met de MI350P via PCIe Gen5 x16. Het uitgebrachte hostprofiel B gebruikt ongeveer ",[26,178,179],{},"287,5 GB voor het model",", inclusief hostexperts, gecomprimeerde engram-tabellen en vastgezette buffers. Dat is een modelallocatie, geen specificatie voor het minimale totale systeemgeheugen. Het besturingssysteem, laden en andere processen hebben ook ruimte nodig.",[10,182,183],{},"Afzonderlijke enginediagnostiek wijst bij zwaardere decodelast op CPU-berekeningen en hostgeheugenbandbreedte als beperkingen. Voldoende RAM alleen garandeert deze snelheid niet. Een andere host of een tweede MI350P hebben we niet gemeten.",[157,185,187],{"id":186},"twee-profielen-voor-verschillend-werk","Twee profielen voor verschillend werk",[10,189,190],{},"Het interactieve profiel reserveert 64 verzoekslots, elk ingesteld op maximaal 70.000 tokens. Het gebruikt de eigen speculatieve drafter van het model voor maximaal twaalf lopende verzoeken. Die stelt twee tokens voor, die het hoofdmodel samen controleert. We hebben voor deze releasemetingen niet vastgelegd welk deel van de voorstellen werd aanvaard.",[10,192,193],{},"Het tokenfabriekprofiel schakelt drafting uit en verlaagt de limiet per verzoek naar 12.288 tokens, zodat er 512 slots passen. Het geeft voorrang aan de totale hoeveelheid verwerkt werk boven de snelheid van een individueel antwoord.",[195,196],"ds41-figure",{"kind":197},"cache",[10,199,200],{},[201,202,203],"em",{},"Fysieke KV-cachecapaciteit zoals gerapporteerd door de runtime. Slotbudgetten zijn configuratielimieten, geen gemeten gelijktijdige gesprekken van maximale lengte.",[205,206,207,230],"table",{},[208,209,210],"thead",{},[211,212,213,217,221,224,227],"tr",{},[214,215,216],"th",{},"Profiel",[214,218,220],{"align":219},"right","Fysieke cache, tokens",[214,222,223],{"align":219},"Verzoekslots",[214,225,226],{"align":219},"Limiet per verzoek",[214,228,229],{"align":219},"Ingesteld slotbudget",[231,232,233,251],"tbody",{},[211,234,235,239,242,245,248],{},[236,237,238],"td",{},"Interactief",[236,240,241],{"align":219},"4.484.095",[236,243,244],{"align":219},"64",[236,246,247],{"align":219},"70.000",[236,249,250],{"align":219},"4.480.000",[211,252,253,256,259,262,265],{},[236,254,255],{},"Tokenfabriek",[236,257,258],{"align":219},"6.324.224",[236,260,261],{"align":219},"512",[236,263,264],{"align":219},"12.288",[236,266,267],{"align":219},"6.291.456",[10,269,270],{},"De KV-cache bewaart de werktoestand voor verwerkte tokens. Geen van beide totalen is een contextvenster voor één verzoek. We hebben ook geen 64 gelijktijdige gesprekken van 70K tokens of 512 gelijktijdige verzoeken van maximale lengte getest. Hun slots reserveren is iets anders dan die belasting meten.",[157,272,274],{"id":273},"decodesnelheid-zonder-promptverwerking","Decodesnelheid zonder promptverwerking",[10,276,277],{},"LocalMaxxing meet aanhoudende tekstgeneratie vanuit een lege context, zonder de promptverwerking die een servingtest wel meeneemt.",[195,279],{"kind":280},"decode",[10,282,283],{},[201,284,285],{},"Totale uitvoertokens\u002Fs in LocalMaxxing. Eén MI350P met een ingestelde limiet van 450 W; hoger is beter. Dit zijn geen end-to-end verzoeksnelheden.",[205,287,288,314],{},[208,289,290],{},[211,291,292,294,297,300,303,306,309,312],{},[214,293,87],{},[214,295,296],{"align":219},"1",[214,298,299],{"align":219},"2",[214,301,302],{"align":219},"4",[214,304,305],{"align":219},"8",[214,307,308],{"align":219},"16",[214,310,311],{"align":219},"32",[214,313,244],{"align":219},[231,315,316],{},[211,317,318,321,324,327,330,333,336,339],{},[236,319,320],{},"Uitvoertokens\u002Fs",[236,322,323],{"align":219},"77,9",[236,325,326],{"align":219},"112,7",[236,328,329],{"align":219},"166,9",[236,331,332],{"align":219},"241,4",[236,334,335],{"align":219},"377,9",[236,337,338],{"align":219},"518,4",[236,340,341],{"align":219},"709,6",[10,343,344,345,348,349,352,353,93,356,359],{},"Promptverwerking, of prefill, haalt ",[26,346,347],{},"4.366 invoertokens\u002Fs"," voor een prompt van 8.119 tokens en ",[26,350,351],{},"4.227"," voor een prompt van 63.742 tokens. De gemeten tijden tot het eerste token zijn respectievelijk ",[26,354,355],{},"1,86 seconden",[26,357,358],{},"15,08 seconden",". Dit zijn tests met één prompt, geen latenties bij gelijktijdige aankomsten.",[157,361,363],{"id":362},"hoe-dit-zich-verhoudt-tot-een-rtx-pro-6000","Hoe dit zich verhoudt tot een RTX PRO 6000",[10,365,366,369],{},[26,367,368],{},"We behouden de oorspronkelijke 4-bitwaarden voor de meeste routed experts, in plaats van te vertrekken van een 2-bit Q2_K-checkpoint."," Onze eigen 3-bitlaag comprimeert een geselecteerde groep GPU-experts. Dat onderscheid telt even zwaar als het aantal tokens per seconde: een sneller antwoord helpt alleen als het model nog steeds het antwoord geeft dat je nodig hebt.",[10,371,372,373,379],{},"De openbare ",[17,374,378],{"href":375,"rel":376},"https:\u002F\u002Fgithub.com\u002Finferencekey\u002Fdeepseek-one-gpu\u002Fblob\u002F41fa317b1f04dc87075c224c915b7e8c29735bb0\u002Fdocs\u002FRESULTS.md",[377],"nofollow","deepseek-one-gpu-resultaten"," bieden een bruikbare referentie op één kaart. Die configuratie gebruikt een RTX PRO 6000 Blackwell met expertberekeningen op de CPU en een Q2_K-checkpoint. Hieronder staan afzonderlijk gerapporteerde decodemetingen, geen GPU-benchmark onder gelijke omstandigheden:",[205,381,382,394],{},[208,383,384],{},[211,385,386,388,391],{},[214,387],{},[214,389,390],{},"Paiton \u002F 1 × MI350P",[214,392,393],{},"deepseek-one-gpu \u002F 1 × RTX PRO 6000",[231,395,396,407,418,428,438],{},[211,397,398,401,404],{},[236,399,400],{},"GPU-geheugen",[236,402,403],{},"144 GB",[236,405,406],{},"96 GB",[211,408,409,412,415],{},[236,410,411],{},"Expertgewichten",[236,413,414],{},"Oorspronkelijke FP4 voor de meeste experts; eigen 3-bitlaag op GPU",[236,416,417],{},"Q2_K-checkpoint, door de auteurs omschreven als 2-bit",[211,419,420,423,425],{},[236,421,422],{},"Eén verzoek, uitvoertokens\u002Fs",[236,424,323],{},[236,426,427],{},"63,11",[211,429,430,433,435],{},[236,431,432],{},"Vier verzoeken, totale uitvoertokens\u002Fs",[236,434,329],{},[236,436,437],{},"127,58",[211,439,440,443,445],{},[236,441,442],{},"Acht verzoeken, totale uitvoertokens\u002Fs",[236,444,332],{},[236,446,447],{},"152,53",[10,449,450,453],{},[26,451,452],{},"Paiton rapporteert hier hogere decodesnelheden en behoudt tegelijk meer precisie in de expertgewichten."," De metingen verschillen: wij gebruiken LocalMaxxing met lege context en meetvakken van dertig seconden. De RTX-resultaten middelen drie vensters van vijftien seconden, na het lezen van ongeveer 16K tokens per verzoek. Ook de CPU's, geheugencapaciteit en checkpoints verschillen. De RTX-metingen met één en vier verzoeken gebruiken een EPYC 9575F; die met acht een EPYC 9655. Wij gebruiken twee EPYC 9654's. Deze cijfers isoleren de GPU niet en meten geen gecontroleerde Paiton-versnelling.",[455,456,458],"h3",{"id":457},"waarom-we-meer-precisie-behouden","Waarom we meer precisie behouden",[10,460,461,462,88,465,93,468,471,472,37],{},"Onze servingchecks meten circa ",[26,463,464],{},"0,031 chat-KL",[26,466,467],{},"0,042–0,044 lange-context-KL",[26,469,470],{},"94–95% overeenkomst voor het volgende token"," ten opzichte van het oorspronkelijke model. De terugzoektests vinden ook elke geteste wachtzin. De steekproefgroottes en beperkingen staan in de ",[17,473,474],{"href":108},"sectie over nauwkeurigheid hieronder",[10,476,477,478,483,484],{},"Het ",[17,479,482],{"href":480,"rel":481},"https:\u002F\u002Fgithub.com\u002Finferencekey\u002Fdeepseek-one-gpu\u002Fblob\u002F41fa317b1f04dc87075c224c915b7e8c29735bb0\u002FREADME.md#quality",[377],"kwaliteitsverslag van het RTX-project"," meet daarentegen taken, waaronder GSM8K en HumanEval, tegenover de DeepSeek-API. Wij hebben diezelfde tests niet uitgevoerd voor deze release en het RTX-project publiceert geen overeenkomstige KL-meting. ",[26,485,486],{},"Onze selectieve kwantisatie behoudt meer oorspronkelijke precisie in de expertgewichten. Een cijfermatige claim dat ze nauwkeuriger is dan Q2_K vraagt nog een gezamenlijke evaluatie.",[455,488,490],{"id":489},"meer-resultaten-op-één-machine","Meer resultaten op één machine",[10,492,493],{},"Dezelfde modelfamilie draait ook op kleinere NVIDIA-kaarten en Apple Silicon. Deze verslagen maken andere afwegingen tussen expertprecisie, GPU-geheugen, systeemgeheugen en SSD-toegang. Hieronder staan metingen van de auteurs, geen herhalingen op onze testmachine.",[205,495,496,512],{},[208,497,498],{},[211,499,500,503,506,509],{},[214,501,502],{},"Configuratie en bron",[214,504,505],{},"Gewichten en geheugen",[214,507,508],{"align":219},"Gerapporteerde uitvoer bij één verzoek",[214,510,511],{},"Testcontext",[231,513,514,531,549,567],{},[211,515,516,520,523,528],{},[236,517,518],{},[26,519,390],{},[236,521,522],{},"Meeste experts behouden oorspronkelijke FP4; geselecteerde GPU-experts gebruiken 3-bit. 144 GB GPU-geheugen, circa 290 GB hostmodeldata",[236,524,525],{"align":219},[26,526,527],{},"77,9 tok\u002Fs",[236,529,530],{},"LocalMaxxing, lege startcontext, meetvakken van dertig seconden; twee EPYC 9654-CPU's berekenen minder gebruikte experts",[211,532,533,540,543,546],{},[236,534,535],{},[17,536,539],{"href":537,"rel":538},"https:\u002F\u002Fdev.to\u002Fseppegadeyne\u002Frun-deepseek-v41-flash-748b-locally-with-project-maya-on-one-rtx-5090-4i4a",[377],"RTX 5090 \u002F Project Maya",[236,541,542],{},"Maya-S-experts in 2–3 bit; 32 GB VRAM, 128 GB RAM, NVMe-offload",[236,544,545],{"align":219},"26,3–26,7 tok\u002Fs",[236,547,548],{},"Update van de auteur op 29 oktober, Maya 1.1.27, drafting uit; Ryzen 9 9950X3D",[211,550,551,558,561,564],{},[236,552,553],{},[17,554,557],{"href":555,"rel":556},"https:\u002F\u002Fgithub.com\u002Fsybil-solutions\u002Fdsv41-flash-offload\u002Fblob\u002F08802b6fe00101830d75733d2a7c2dd386e121e3\u002FREADME.md",[377],"RTX 3090 \u002F dsv41-flash-offload",[236,559,560],{},"EXL3-experts in 3-bit; 24 GB VRAM, gemeten host met 503 GiB DDR4; Engram op NVMe",[236,562,563],{"align":219},"19,3 tok\u002Fs",[236,565,566],{},"Gepubliceerde D141-standaard; EPYC 7443P. Rapporteert ook 26,6 totale tok\u002Fs bij vier streams",[211,568,569,576,579,582],{},[236,570,571],{},[17,572,575],{"href":573,"rel":574},"https:\u002F\u002Fhuggingface.co\u002Frapid-mlx\u002FDeepSeek-V4.1-Flash-1017-MLX\u002Fblob\u002Ff385ddc5cd3bf11582c0c38632223d9338af672b\u002FREADME.md",[377],"Mac Studio M3 Ultra \u002F Rapid-MLX",[236,577,578],{},"Routed experts in gemengde 2–3 bit; 256 GB gedeeld geheugen; 4-bit-Engram op SSD",[236,580,581],{"align":219},"34,3–42,7 tok\u002Fs",[236,583,584],{},"Standaard draftingdiepte twee, prompts van circa 0,7–1K tokens en 256 uitvoertokens; tot 49,0 tok\u002Fs voor code bij draftingdiepte vier",[10,586,587,590],{},[26,588,589],{},"Onze aanpak laat meer oorspronkelijke expertgewichten intact, in plaats van alle routed experts naar 2–3 bit te kwantiseren."," De configuraties met kleinere kaarten gebruiken veel minder GPU-geheugen. De RTX 5090-host heeft ook aanzienlijk minder RAM. Hun lagere snelheden bewijzen geen geïsoleerd nadeel van de GPU of software.",[10,592,593],{},"Kwaliteitscijfers vragen dezelfde zorg. Rapid-MLX rapporteert 0,260 KL en 85,1% top-1-overeenkomst op een aparte testset van 19.456 posities, met KL over de volledige woordenschat. Onze circa 0,031 chat-KL en 95% overeenkomst komen van 1.767 posities met top-64-bucket-KL. Die verschillende tests bewijzen geen nauwkeurigheidsverhouding. De 0,0068 KL van het RTX 3090-project vergelijkt een uitvoeringspad met hetzelfde gekwantiseerde pakket, niet het kwantisatieverlies tegenover het oorspronkelijke model.",[455,595,597],{"id":596},"wat-verandert-er-met-meer-gpus","Wat verandert er met meer GPU's?",[10,599,600],{},"Meer kaarten kunnen aanzienlijk hogere snelheden opleveren, maar passen bij een ander hardwarebudget. Dit zijn resultaten van de volledige configuratie, niet per GPU.",[205,602,603,615],{},[208,604,605],{},[211,606,607,609,612],{},[214,608,502],{},[214,610,611],{},"Modelplaatsing",[214,613,614],{},"Afzonderlijk gerapporteerd resultaat",[231,616,617,632],{},[211,618,619,626,629],{},[236,620,621],{},[17,622,625],{"href":623,"rel":624},"https:\u002F\u002Fhuggingface.co\u002Fdiffbot\u002FDeepSeek-V4.1-Flash-EXL3-3bpw-2x-RTX-PRO-6000\u002Fblob\u002F451f7dcb8ecb0502a963f3314e16b34c5a8ce5ae\u002FREADME.md",[377],"2 × RTX PRO 6000 \u002F Diffbot",[236,627,628],{},"Samen 192 GB VRAM; gekalibreerde EXL3-experts in 3-bit, een derde in vastgezet hostgeheugen",[236,630,631],{},"Agentic replay met één stream: 224,1 tok\u002Fs met expertberekeningen op GPU, of 261,8 met de optionele CPU-runtime",[211,633,634,641,644],{},[236,635,636],{},[17,637,640],{"href":638,"rel":639},"https:\u002F\u002Flambda.ai\u002Finference-models\u002Fdeepseek-ai\u002Fdeepseek-v4.1-flash",[377],"4 × B200 \u002F Lambda",[236,642,643],{},"Officieel checkpoint, vLLM TP4, vijf speculatieve tokens",[236,645,646],{},"Circa 8K invoer \u002F 1K uitvoer: 374,8 totale uitvoertokens\u002Fs bij één verzoek; 3.713,9 bij 64 en 4.858,7 bij 256",[10,648,649],{},"Doordat Diffbot experts in hostgeheugen houdt, is de tweekaartsmeting geen volledig VRAM-residente installatie. Lambda's cijfers omvatten promptverwerking over 512 prompts per gelijktijdigheidsniveau, anders dan onze LocalMaxxing-decodematrix. Geen van beide is een vergelijking onder gelijke omstandigheden met onze run op één kaart.",[10,651,652],{},"Voor een latentiegevoelige dienst kunnen de extra GPU's de moeite waard zijn. Ons resultaat beantwoordt een andere vraag: wat kan één MI350P met een krachtige CPU-host, terwijl het grootste deel van de oorspronkelijke expertprecisie behouden blijft?",[157,654,656],{"id":655},"wat-als-verzoeken-tegelijk-binnenkomen","Wat als verzoeken tegelijk binnenkomen?",[10,658,659,660,663],{},"De servingtest omvat zowel invoerverwerking als tekstgeneratie. Hier betekent ",[26,661,662],{},"1K 1.024 tokens",". Verzoeken gebruiken verschillende vensters uit brontekst, greedy generatie en vaste uitvoerlengtes, waarbij EOS wordt genegeerd. Het zijn gelijktijdige synthetische verzoeken, geen meting met evenveel mensen die een assistent gebruiken.",[195,665],{"kind":666},"serving-short",[10,668,669],{},[201,670,671],{},"1K invoer \u002F 1K uitvoer. Totale doorvoer en mediane decode per verzoek meten verschillende zaken. De tijd tot het eerste token omvat promptverwerking.",[205,673,674,692],{},[208,675,676],{},[211,677,678,680,683,686,689],{},[214,679,216],{},[214,681,682],{"align":219},"Verzoeken",[214,684,685],{"align":219},"Totale uitvoer, tok\u002Fs",[214,687,688],{"align":219},"Decode per verzoek, tok\u002Fs",[214,690,691],{"align":219},"Eerste token, mediaan \u002F steekproef-p99",[231,693,694,709,724,739,754,770,786],{},[211,695,696,698,700,703,706],{},[236,697,238],{},[236,699,296],{"align":219},[236,701,702],{"align":219},"90,7",[236,704,705],{"align":219},"95,4",[236,707,708],{"align":219},"0,69 \u002F 0,77 s",[211,710,711,713,715,718,721],{},[236,712,238],{},[236,714,302],{"align":219},[236,716,717],{"align":219},"154,3",[236,719,720],{"align":219},"42,4",[236,722,723],{"align":219},"0,80 \u002F 2,87 s",[211,725,726,728,730,733,736],{},[236,727,238],{},[236,729,308],{"align":219},[236,731,732],{"align":219},"203,8",[236,734,735],{"align":219},"14,4",[236,737,738],{"align":219},"8,91 \u002F 11,42 s",[211,740,741,743,745,748,751],{},[236,742,238],{},[236,744,244],{"align":219},[236,746,747],{"align":219},"297,2",[236,749,750],{"align":219},"5,2",[236,752,753],{"align":219},"28,25 \u002F 44,64 s",[211,755,756,758,761,764,767],{},[236,757,255],{},[236,759,760],{"align":219},"256",[236,762,763],{"align":219},"542,8",[236,765,766],{"align":219},"2,6",[236,768,769],{"align":219},"91,56 \u002F 178,51 s",[211,771,772,774,777,780,783],{},[236,773,255],{},[236,775,776],{"align":219},"384",[236,778,779],{"align":219},"620,8",[236,781,782],{"align":219},"2,1",[236,784,785],{"align":219},"131,76 \u002F 249,57 s",[211,787,788,790,792,795,798],{},[236,789,255],{},[236,791,261],{"align":219},[236,793,794],{"align":219},"682,5",[236,796,797],{"align":219},"1,7",[236,799,800],{"align":219},"167,90 \u002F 331,24 s",[10,802,803],{},"Eén verzoek begint binnen een seconde te antwoorden. Bij zestien verzoeken duurt dat mediaan bijna negen seconden; bij 64 is het 28 seconden. De kaart produceert meer in totaal, maar elk antwoord wordt trager. Bij 512 fabrieksverzoeken nadert de wachttijd drie minuten.",[10,805,806],{},"Decode per verzoek wordt afgeleid van de mediane tijd per uitvoertoken na het eerste token. Het is niet de totale doorvoer gedeeld door het aantal verzoeken. Steekproef-p99 beschrijft deze vastgelegde verzoeken, geen populatiepercentiel of productiegarantie. Wisselende aankomsten, promptlengtes, toolaanroepen en scheduling vragen om een eigen capaciteitstest.",[157,808,810],{"id":809},"lange-invoer-belast-serving-zwaarder","Lange invoer belast serving zwaarder",[10,812,813,814,817,818,821,822,825],{},"Bij 8K invoer en een antwoord van 1K gaat meer tijd naar promptverwerking. Bij 64 verzoeken bereikt de interactieve mediane wachttijd ",[26,815,816],{},"70,45 seconden",". Bij 512 fabrieksverzoeken is dat ",[26,819,820],{},"586,39 seconden",", bijna ",[26,823,824],{},"9,8 minuten",", met een steekproef-p99 van ongeveer 19,9 minuten.",[195,827],{"kind":828},"serving-long-input",[10,830,831],{},[201,832,833],{},"8K invoer \u002F 1K uitvoer. De langere prompt verhoogt de tijd tot het eerste token sterk, vooral in het batchprofiel.",[205,835,836,851],{},[208,837,838],{},[211,839,840,842,844,846,848],{},[214,841,216],{},[214,843,682],{"align":219},[214,845,685],{"align":219},[214,847,688],{"align":219},[214,849,850],{"align":219},"Mediaan eerste token",[231,852,853,868,883,898,913,928,943],{},[211,854,855,857,859,862,865],{},[236,856,238],{},[236,858,296],{"align":219},[236,860,861],{"align":219},"79,5",[236,863,864],{"align":219},"95,2",[236,866,867],{"align":219},"1,83 s",[211,869,870,872,874,877,880],{},[236,871,238],{},[236,873,302],{"align":219},[236,875,876],{"align":219},"129,8",[236,878,879],{"align":219},"39,9",[236,881,882],{"align":219},"3,87 s",[211,884,885,887,889,892,895],{},[236,886,238],{},[236,888,308],{"align":219},[236,890,891],{"align":219},"151,1",[236,893,894],{"align":219},"12,1",[236,896,897],{"align":219},"17,09 s",[211,899,900,902,904,907,910],{},[236,901,238],{},[236,903,244],{"align":219},[236,905,906],{"align":219},"201,6",[236,908,909],{"align":219},"4,0",[236,911,912],{"align":219},"70,45 s",[211,914,915,917,919,922,925],{},[236,916,255],{},[236,918,760],{"align":219},[236,920,921],{"align":219},"299,1",[236,923,924],{"align":219},"1,8",[236,926,927],{"align":219},"285,42 s",[211,929,930,932,934,937,940],{},[236,931,255],{},[236,933,776],{"align":219},[236,935,936],{"align":219},"317,8",[236,938,939],{"align":219},"1,3",[236,941,942],{"align":219},"434,14 s",[211,944,945,947,949,952,955],{},[236,946,255],{},[236,948,261],{"align":219},[236,950,951],{"align":219},"328,9",[236,953,954],{"align":219},"1,1",[236,956,957],{"align":219},"586,39 s",[10,959,960],{},"Een prefillmeting met één prompt voorspelt niet de latentie voor een wachtrij met lange documenten. Dit batchprofiel past niet bij iemand die onmiddellijk antwoord verwacht.",[157,962,964],{"id":963},"lange-antwoorden-verhogen-de-totale-uitvoer","Lange antwoorden verhogen de totale uitvoer",[10,966,967,968,971,972,975,976,979],{},"Bij 1K invoer en 8K uitvoer wordt de promptverwerking over veel meer gegenereerde tekst verdeeld. De fabriek haalt ",[26,969,970],{},"1.107,6 tokens\u002Fs bij 512 verzoeken",", tegenover 682,5 voor korte antwoorden. De individuele generatie blijft steken op ",[26,973,974],{},"2,3 tokens\u002Fs",", na een mediane wachttijd van ",[26,977,978],{},"180,84 seconden"," tot het eerste token.",[195,981],{"kind":982},"serving-long-output",[10,984,985],{},[201,986,987],{},"1K invoer \u002F 8K uitvoer. Meer totale uitvoer maakt een individueel batchverzoek nog niet interactief.",[205,989,990,1004],{},[208,991,992],{},[211,993,994,996,998,1000,1002],{},[214,995,216],{},[214,997,682],{"align":219},[214,999,685],{"align":219},[214,1001,688],{"align":219},[214,1003,850],{"align":219},[231,1005,1006,1021,1036,1051,1066,1081,1095],{},[211,1007,1008,1010,1012,1015,1018],{},[236,1009,238],{},[236,1011,296],{"align":219},[236,1013,1014],{"align":219},"109,0",[236,1016,1017],{"align":219},"120,0",[236,1019,1020],{"align":219},"0,72 s",[211,1022,1023,1025,1027,1030,1033],{},[236,1024,238],{},[236,1026,302],{"align":219},[236,1028,1029],{"align":219},"199,3",[236,1031,1032],{"align":219},"52,3",[236,1034,1035],{"align":219},"2,99 s",[211,1037,1038,1040,1042,1045,1048],{},[236,1039,238],{},[236,1041,308],{"align":219},[236,1043,1044],{"align":219},"243,6",[236,1046,1047],{"align":219},"15,4",[236,1049,1050],{"align":219},"11,02 s",[211,1052,1053,1055,1057,1060,1063],{},[236,1054,238],{},[236,1056,244],{"align":219},[236,1058,1059],{"align":219},"370,5",[236,1061,1062],{"align":219},"5,9",[236,1064,1065],{"align":219},"29,09 s",[211,1067,1068,1070,1072,1075,1078],{},[236,1069,255],{},[236,1071,760],{"align":219},[236,1073,1074],{"align":219},"813,2",[236,1076,1077],{"align":219},"3,3",[236,1079,1080],{"align":219},"92,90 s",[211,1082,1083,1085,1087,1090,1092],{},[236,1084,255],{},[236,1086,776],{"align":219},[236,1088,1089],{"align":219},"953,4",[236,1091,766],{"align":219},[236,1093,1094],{"align":219},"138,96 s",[211,1096,1097,1099,1101,1104,1107],{},[236,1098,255],{},[236,1100,261],{"align":219},[236,1102,1103],{"align":219},"1.107,6",[236,1105,1106],{"align":219},"2,3",[236,1108,1109],{"align":219},"180,84 s",[10,1111,1112],{},"Offline samenvattingen, evaluaties en datageneratie kunnen die afweging verdragen. Een interactieve codeerassistent doorgaans niet. Het bruikbare werkpunt hangt af van de uitvoerlengte en aanvaardbare wachttijd, niet alleen van het hoogste doorvoercijfer.",[157,1114,1116],{"id":1115},"vermogen-de-limiet-is-niet-het-verbruik","Vermogen: de limiet is niet het verbruik",[10,1118,1119,1120,1123,1124,1127,1128,1131,1132,37],{},"De ",[26,1121,1122],{},"instelling van 450 W is een GPU-vermogenslimiet",", geen bewering dat de GPU voortdurend 450 W verbruikt. Bij 512 fabrieksverzoeken is het gemiddelde GPU-vermogen ",[26,1125,1126],{},"212,5 W"," voor 1K \u002F 1K en ",[26,1129,1130],{},"214,7 W"," voor 1K \u002F 8K. Gecombineerd met de uitvoer komt dat neer op ongeveer ",[26,1133,1134],{},"0,086 en 0,054 Wh per 1.000 uitvoertokens",[10,1136,1137,1138,1141,1142,1145,1146,1149],{},"De fabrieksmeting met lange invoer verbruikt meer, gemiddeld ",[26,1139,1140],{},"273,4 W"," bij 512 verzoeken, terwijl er minder uitvoer is. Interactieve 1K \u002F 1K-metingen komen uit op gemiddeld ",[26,1143,1144],{},"251,8 W"," bij één verzoek en ",[26,1147,1148],{},"207,6 W"," bij 64. Meer batching kan de GPU-energie per token dus verbeteren terwijl individuele antwoorden vertragen.",[10,1151,1152,1153,1156],{},"Deze cijfers omvatten ",[26,1154,1155],{},"alleen de energie van de GPU-kaart",". Ze sluiten de twee CPU's die offloaded experts berekenen, systeemgeheugen, opslag, voedingsverliezen en koeling uit. Zonder metingen van het hele systeem tonen ze geen totale energiekosten of financieel rendement aan.",[157,1158,1160],{"id":1159},"hoe-dicht-blijven-de-voorspellingen-bij-het-origineel","Hoe dicht blijven de voorspellingen bij het origineel?",[10,1162,1163],{},"We vergelijken teacher-forced voorspellingen van het volgende token met het oorspronkelijke model op twee MI355X-GPU's. KL-divergentie meet het verschil tussen kansverdelingen; nul betekent identiek. De diagnostiek groepeert de 64 waarschijnlijkste referentietokens en de resterende kansmassa. Top-1-overeenkomst kijkt of beide configuraties hetzelfde waarschijnlijkste volgende token kiezen.",[195,1165],{"kind":1166},"accuracy",[10,1168,1169],{},[201,1170,1171],{},"Voorspellingschecks tijdens serving met acht gelijktijdige verzoeken, behalve de apart aangeduide chatcheck met 512. Dit zijn geen accuratessecijfers voor antwoorden op taken.",[205,1173,1174,1193],{},[208,1175,1176],{},[211,1177,1178,1181,1184,1187,1190],{},[214,1179,1180],{},"Profiel \u002F check",[214,1182,1183],{"align":219},"Chat-KL",[214,1185,1186],{"align":219},"Chat-top-1",[214,1188,1189],{"align":219},"Lange-context-KL",[214,1191,1192],{"align":219},"Lange-context-top-1",[231,1194,1195,1212,1228],{},[211,1196,1197,1200,1203,1206,1209],{},[236,1198,1199],{},"Interactief, c8",[236,1201,1202],{"align":219},"0,0307",[236,1204,1205],{"align":219},"95,0%",[236,1207,1208],{"align":219},"0,0438",[236,1210,1211],{"align":219},"94,2%",[211,1213,1214,1217,1220,1223,1226],{},[236,1215,1216],{},"Tokenfabriek, c8",[236,1218,1219],{"align":219},"0,0311",[236,1221,1222],{"align":219},"94,5%",[236,1224,1225],{"align":219},"0,0418",[236,1227,1211],{"align":219},[211,1229,1230,1233,1236,1238,1241],{},[236,1231,1232],{},"Tokenfabriek, c512",[236,1234,1235],{"align":219},"0,0306",[236,1237,1222],{"align":219},[236,1239,1240],{"align":219},"Niet gemeten",[236,1242,1240],{"align":219},[10,1244,1245],{},"Chat omvat 1.767 beoordeelde posities. De lange-contextcheck omvat 1.000 posities uit veertig gesprekken. De profielnamen beschrijven serverconfiguraties, geen bewijs dat elke kwaliteitstest met 64 of 512 verzoeken liep. Een tokenovereenkomst van 95% betekent niet dat 95% van de antwoorden correct is. We hebben voor deze release geen taakbenchmarks uitgevoerd voor wiskunde, programmeren, kennis, meertaligheid of toolgebruik.",[10,1247,1248],{},"Herhaalde runs verschillen ook licht door de rekenwijze en discrete expertrouting. De gepubliceerde interactieve ruischecks geven 0,0039 KL voor chat en 0,0033 voor lange context, maar gebruikten een oudere prefillchunk van 16K in plaats van de uitgebrachte 8K. Fabrieksherhalingen geven 0,0006 en 0,0086. Ze helpen de diagnostiek te begrijpen, maar zijn niet voor elke rij een passende controle van de releasebuild.",[10,1250,1251,1252,1255,1256,1259,1260,1263],{},"Het lange-contextresultaat heeft een belangrijke beperking. Onze interne grens is ",[26,1253,1254],{},"0,045 KL",". De gemeten servingchecks op 1.000 posities blijven daaronder. Op een grotere set van 171.200 posities vermeldt de modelkaart ",[26,1257,1258],{},"0,0444 uit een rekenemulator",", met een projectie van ongeveer ",[26,1261,1262],{},"0,0456 tijdens serving",", net boven de grens. Dat is een projectie, geen meting van de draaiende server over de volledige set. Ruwe emulatorresultaten voor die hele set ontbreken in de openbare bewijsbestanden.",[10,1265,1266,1267,1270,1271,1274],{},"Terugzoektests vonden alle ",[26,1268,1269],{},"twaalf verborgen wachtzinnen"," in interactieve prompts tot 68.160 tokens en alle ",[26,1272,1273],{},"zes"," fabriekswachtzinnen tot 11.033 tokens. Dat ondersteunt deze specifieke terugzoektest, niet algemene nauwkeurigheid bij lange documenten.",[157,1276,1278],{"id":1277},"wat-gebeurde-er-met-standaardengines","Wat gebeurde er met standaardengines?",[10,1280,1281,1282,1285,1286,1289],{},"Onze gepubliceerde samenvatting van standaardconfiguraties betreft het oorspronkelijke checkpoint op dezelfde MI350P-host. ",[26,1283,1284],{},"vLLM 0.33.0"," beantwoordt uiteindelijk kleine prompts via zijn referentie-MoE-pad aan ongeveer ",[26,1287,1288],{},"0,2 tokens\u002Fs",", na 35 tot 47 minuten laden. Een prompt van 1.024 tokens loopt vervolgens vast door GPU-geheugentekort. De geteste snelle MoE-paden passen evenmin. SGLang 0.5.23 en de geteste ROCm-preview lopen tijdens het laden tegen geheugentekort aan.",[10,1291,1292,1293,1298],{},"Deze pogingen leverden geen bruikbare standaard-servingbaseline voor deze kaart op. Ze bewijzen niet dat elke mogelijke configuratie faalt. Het ",[17,1294,1297],{"href":1295,"rel":1296},"https:\u002F\u002Fhuggingface.co\u002FEliovpAI\u002FDeepSeek-V4.1-Flash-Paiton-CDNA4\u002Ftree\u002F2dd8058eab24484c9e2a54884244d68c825ccd7c\u002Fproof\u002Fstock-attempts",[377],"openbare bewijsmateriaal voor deze pogingen"," bevat een samenvatting, OOM-fragmenten en een klein verzoekbestand, geen volledige commando's, complete containerdigests en geheugentraces voor elke poging.",[157,1300,1302],{"id":1301},"bekijk-de-metingen","Bekijk de metingen",[10,1304,1119,1305,1310,1311,1315,1316,1319,1320,1323],{},[17,1306,1309],{"href":1307,"rel":1308},"https:\u002F\u002Fhuggingface.co\u002FEliovpAI\u002FDeepSeek-V4.1-Flash-Paiton-CDNA4\u002Ftree\u002F2dd8058eab24484c9e2a54884244d68c825ccd7c",[377],"openbare gewichten en modelkaart"," zijn vastgezet op revisie ",[1312,1313,1314],"code",{},"2dd8058e",". De afgeleide bestanden gebruiken de MIT-licentie, net als het oorspronkelijke model. Dit is een ",[26,1317,1318],{},"patch van 135,8 GiB",", geen zelfstandig model: de runtime heeft ook het oorspronkelijke ",[26,1321,1322],{},"checkpoint van 475 GiB"," nodig. Standaardengines kunnen ons 3-bitexpertformaat en onze plaatsingskaart niet rechtstreeks laden.",[10,1325,1119,1326,1331,1332,1335],{},[17,1327,1330],{"href":1328,"rel":1329},"https:\u002F\u002Fhuggingface.co\u002FEliovpAI\u002FDeepSeek-V4.1-Flash-Paiton-CDNA4\u002Ftree\u002F2dd8058eab24484c9e2a54884244d68c825ccd7c\u002Fproof",[377],"proof-map"," bevat LocalMaxxing-matrices, servingrecords per verzoek, vermogenslogs, kwaliteitschecks en de oorspronkelijke terminalopname. We hebben ",[26,1333,1334],{},"68 bewijsbestanden gecontroleerd aan de hand van het SHA-256-manifest",". Dat bevestigt bestandsintegriteit, geen onafhankelijke validatie van het experiment. De openbare logs maken inspectie mogelijk, maar de propriëtaire runtime en ontbrekende evaluatiebestanden verhinderen volledige onafhankelijke reproductie.",[10,1337,1338],{},[1339,1340],"img",{"alt":1341,"src":1342},"Oorspronkelijke LocalMaxxing-resultaattabellen van de Paiton-run op één MI350P, met 77,9 tokens\u002Fs bij één verzoek en 709,6 bij 64.","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-deepseek-v41\u002Finteractive-lmx-tables.png",[10,1344,1345],{},[201,1346,1347,1348,1352],{},"Ongewijzigde benchmarkscreenshot. De ",[17,1349,1351],{"href":1350},"\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-deepseek-v41\u002Flmx-live.gif","oorspronkelijke geanimeerde terminalopname"," toont een afzonderlijke live run, niet de geselecteerde hoofdmatrix.",[10,1354,1355,1356,1359,1360,1363,1364,1368],{},"LocalMaxxing gebruikt ",[1312,1357,1358],{},"lmx"," 0.1.54 en ",[1312,1361,1362],{},"llm-inference-bench"," 0.7.7, met decodevakken van dertig seconden. We draaiden drie volledige matrices op de opgewarmde server en selecteerden de volledige run met de mediane single-request-decode. De servingtest gebruikt een aparte streamingclient en twee opwarmrondes. ",[17,1365,1367],{"href":1366},"\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-deepseek-v41\u002Fresults.json","Grafiekdata en bronpaden"," houden de tests gescheiden.",[10,1370,1371,1372,1376,1377,1381],{},"Ons ",[17,1373,1375],{"href":1374},"\u002Fnl\u002Fblog\u002Fpaiton-qwen38-flash-next-amd-instinct-mi350p","vorige MI350P-artikel"," behandelt Qwen3.8 Flash Next met veel minder hostberekeningen. Het ",[17,1378,1380],{"href":1379},"\u002Fnl\u002Fblog\u002Fpaiton-qwen38-w3a4-radeon-ai-pro-r9700","Radeon-werk op RDNA4"," onderzoekt een ander model en geheugenbudget. Beide volgen dezelfde Paiton-aanpak: opslagformaat en uitvoering samen kiezen, en daarna het resultaat op de doelhardware meten.",[10,1383,1384],{},"Voor DeepSeek maakt deze release een groot model bruikbaar met één MI350P en een stevige CPU-host. Ze vervangt niet de latentie van een volledig op GPU's draaiende installatie. De volgende nuttige checks zijn energieverbruik van de hele host, taakkwaliteit en een gemeten configuratie met twee kaarten.",[10,1386,1387,1388,1392],{},"Lees meer over ",[17,1389,1391],{"href":1390},"\u002Fnl\u002Fproducts\u002Fpaiton","Paiton"," of bekijk het gelinkte bewijsmateriaal voordat je een servingprofiel kiest.",[10,1394,1395],{},[201,1396,1397],{},"Cover: AI-gegenereerde redactionele illustratie, geen productfoto of benchmarkopname.",[157,1399,1401],{"id":1400},"een-tokenfabriek-bouwen-op-amd","Een tokenfabriek bouwen op AMD?",[10,1403,1404],{},"Plan je batchinferentie of draai je al modellen op AMD-hardware? We helpen je graag doorvoer, latentie en geheugengrenzen met jouw werklast in kaart te brengen.",[10,1406,1407,37],{},[17,1408,1410],{"href":1409},"\u002Fnl\u002Fcontact","Laten we praten over je tokenfabriek",{"title":1412,"searchDepth":1413,"depth":1413,"links":1414},"",2,[1415,1416,1417,1418,1424,1425,1426,1427,1428,1429,1430,1431],{"id":159,"depth":1413,"text":160},{"id":186,"depth":1413,"text":187},{"id":273,"depth":1413,"text":274},{"id":362,"depth":1413,"text":363,"children":1419},[1420,1422,1423],{"id":457,"depth":1421,"text":458},3,{"id":489,"depth":1421,"text":490},{"id":596,"depth":1421,"text":597},{"id":655,"depth":1413,"text":656},{"id":809,"depth":1413,"text":810},{"id":963,"depth":1413,"text":964},{"id":1115,"depth":1413,"text":1116},{"id":1159,"depth":1413,"text":1160},{"id":1277,"depth":1413,"text":1278},{"id":1301,"depth":1413,"text":1302},{"id":1400,"depth":1413,"text":1401},[1391,1433,1434,1435,1436],"AMD Instinct","AI-inferentie","DeepSeek","Kwantisatie","2026-11-03T12:00:00Z","DeepSeek V4.1 Flash op één MI350P met 144 GB: 77,9 tokens\u002Fs bij één verzoek en 1.107,6 in een batch van 512, met Paiton en expertberekeningen op CPU.","md","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-deepseek-v41\u002Fhero-nl.webp",{},true,"https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-deepseek-v41-flash-amd-instinct-mi350p","\u002Fblog\u002Fpaiton-deepseek-v41-flash-amd-instinct-mi350p",{"title":5,"description":1438},"paiton-deepseek-v41-flash-amd-instinct-mi350p","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-deepseek-v41\u002Fsocial-nl.webp","blog\u002Fpaiton-deepseek-v41-flash-amd-instinct-mi350p",null,"TShLcol6lJHK8xWCb7iLbLugZHDhLjmNONu1Ad6EPbw",[1452,1464,1466,1476,1485,1500,1509,1518,1527,1537,1549,1559,1571,1581,1594,1603,1615,1646,1658,1680,1698,1717,1736,1753,1770,1781,1797,1812,1824,1833,1841,1856,1868,1879,1890,1900,1913,1923,1936,1947,1957,1968,1977,1989,1999,2008],{"path":1453,"title":1454,"description":1455,"date":1456,"slug":1457,"image":1458,"originalUrl":1459,"categories":1460},"\u002Fblog\u002Fpaiton-idol-radeon-ai-pro-r9700","De Radeon AI PRO R9700 doet ook 3D: Idol in 16,4 seconden","Idol maakt een 3D Gaussian splat in 16,44 seconden op één Radeon AI PRO R9700 met Paiton, tegenover 39,22 seconden voor standaard-Idol op dezelfde GPU.","2026-11-06T09:00:00Z","paiton-idol-radeon-ai-pro-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-idol\u002Fhero-nl.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-idol-radeon-ai-pro-r9700",[1391,1461,1462,1463],"AMD Radeon","Lokale AI","3D-generatie",{"path":1444,"title":5,"description":1438,"date":1437,"slug":1446,"image":1440,"originalUrl":1443,"categories":1465},[1391,1433,1434,1435,1436],{"path":1467,"title":1468,"description":1469,"date":1470,"slug":1471,"image":1472,"originalUrl":1473,"categories":1474},"\u002Fblog\u002Fpaiton-qwen38-flash-next-amd-instinct-mi350p","Qwen3.8 Flash Next op MI350P: dubbel zo snel | Paiton","Qwen3.8 Flash Next op één AMD MI350P: 2,24× de decodesnelheid van de geteste vLLM-configuratie bij één verzoek en circa 2,2 miljoen gedeelde KV-cachetokens.","2026-10-30T12:00:00Z","paiton-qwen38-flash-next-amd-instinct-mi350p","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-mi350p\u002Fhero-nl.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-qwen38-flash-next-amd-instinct-mi350p",[1391,1433,1434,1475,1436],"Qwen",{"path":1477,"title":1478,"description":1479,"date":1480,"slug":1481,"image":1482,"originalUrl":1483,"categories":1484},"\u002Fblog\u002Fpaiton-qwen38-3bit-accuracy-prefix-caching-mtp","Qwen3.8 Flash Next: 3-bit dicht bij 16-bit nauwkeurigheid, met MTP-prefixcaching","Paitons nieuwe 3-bit Qwen3.8-gewichten benaderen 16-bit taakscores op twee R9700-kaarten. Native MTP-prefixcaching hervat een prompt van 200K in 0,68 seconde. Resultaten, grenzen en installatie.","2026-10-24T18:45:00Z","paiton-qwen38-3bit-accuracy-prefix-caching-mtp","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-qwen38-3bit-mtp\u002Fhero-nl.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-qwen38-3bit-accuracy-prefix-caching-mtp",[1391,1461,1462,1475,1436],{"path":1486,"title":1487,"description":1488,"date":1489,"slug":1490,"image":1491,"originalUrl":1492,"categories":1493},"\u002Fblog\u002Fnvidia-dsx-pod-vera-rubin-modular-data-centers","Nvidia confirms the modular DC direction","NVIDIA DSX POD brengt Vera Rubin AI-fabrieken naar modulaire datacenters. ElioVP bespreekt terreinvoorbereiding, koeling en de aanpak achter ModFlex.","2026-10-21T13:00:00Z","nvidia-dsx-pod-vera-rubin-modular-data-centers","\u002Fasset\u002Fimages\u002Fblog\u002Fnvidia-dsx-pod-modflex\u002Fhero.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fnvidia-dsx-pod-vera-rubin-modular-data-centers",[1494,1495,1496,1497,1498,1499],"Modular DC","AI-infrastructuur","ModFlex","NVIDIA","Vera Rubin","Vloeistofkoeling",{"path":1501,"title":1502,"description":1503,"date":1504,"slug":1505,"image":1506,"originalUrl":1507,"categories":1508},"\u002Fblog\u002Fpaiton-qwen38-flash-next-4bit-radeon-ai-pro-r9700","Qwen3.8 Flash Next in 4-bit op 2 × Radeon R9700: getest tegenover 16-bit","Paiton draait Qwen3.8 Flash Next in 4-bit op twee R9700-kaarten: 96,8% GSM8K, 96,3% HumanEval, 189,8 tokens\u002Fs en een optionele RAM-prefixcache. Kwaliteit, snelheid en installatie.","2026-10-12T15:00:00Z","paiton-qwen38-flash-next-4bit-radeon-ai-pro-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-qwen38-flash-next-4bit\u002Fhero-nl.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-qwen38-flash-next-4bit-radeon-ai-pro-r9700",[1391,1461,1462,1475,1436],{"path":1510,"title":1511,"description":1512,"date":1513,"slug":1514,"image":1515,"originalUrl":1516,"categories":1517},"\u002Fblog\u002Fpaiton-qwen38-flash-next-radeon-ai-pro-r9700","Qwen3.8 Flash Next op 2 × Radeon AI PRO R9700: 216 tokens\u002Fs, 200K-context","Paiton draait Qwen3.8 Flash Next met 3-bit experts op twee R9700-kaarten: 216,3 tokens\u002Fs, 565,1 tokens\u002Fs samen en een aparte 200K-modus. Metingen, kwaliteit en installatie.","2026-10-10T10:30:00Z","paiton-qwen38-flash-next-radeon-ai-pro-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-qwen38-flash-next\u002Fhero-nl.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-qwen38-flash-next-radeon-ai-pro-r9700",[1391,1461,1462,1475,1436],{"path":1519,"title":1520,"description":1521,"date":1522,"slug":1523,"image":1524,"originalUrl":1525,"categories":1526},"\u002Fblog\u002Fpaiton-qwen38-w3a4-radeon-ai-pro-r9700","Qwen3.8 27B op 1 × Radeon AI PRO R9700: 3-bit gewichten, 20% snellere decode","Qwen3.8 27B op één R9700: 19,9% snellere gewogen decode, een nieuwe 4-bit cache, 200K-context en optionele beeldinvoer. Metingen en Paiton-installatie.","2026-09-27T09:00:00Z","paiton-qwen38-w3a4-radeon-ai-pro-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-qwen38-w3a4\u002Fhero-nl.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-qwen38-w3a4-radeon-ai-pro-r9700",[1391,1461,1462,1475,1436],{"path":1528,"title":1529,"description":1530,"date":1531,"slug":1532,"image":1533,"originalUrl":1534,"categories":1535},"\u002Fblog\u002Fpaiton-qwen-image-21-radeon-ai-pro-r9700","Qwen-Image 2.1 op 1 × Radeon AI PRO R9700: 2048×2048-beelden in 103 seconden","Genereer lokaal Qwen-Image 2.1-beelden van 2048×2048 pixels met 1 × Radeon AI PRO R9700. De Paiton v1.0.2-container mat 103,29 seconden per opgewarmd verzoek, inclusief de PNG-respons.","2026-09-23T09:00:00Z","paiton-qwen-image-21-radeon-ai-pro-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-qwen-image-21\u002Fhero-nl.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-qwen-image-21-radeon-ai-pro-r9700",[1391,1461,1462,1536,1475],"Beeldgeneratie",{"path":1538,"title":1539,"description":1540,"date":1541,"slug":1542,"image":1543,"originalUrl":1544,"categories":1545},"\u002Fblog\u002Fpaiton-qwen38-mxfp4-dflash2-r9700","Qwen3.8: 400,7 tok\u002Fs op één R9700 | Paiton","Qwen3.8 op één R9700: 400,7 tok\u002Fs met ROCm 10 en vLLM 0.29, plus publieke 200K\u002F220K-chatprofielen. Benchmarks, beperkingen en startopdrachten.","2026-09-16T07:30:00Z","paiton-qwen38-mxfp4-dflash2-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-qwen38-mxfp4\u002Fupdate-2026-09-19\u002Fhero.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-qwen38-mxfp4-dflash2-r9700",[1391,1461,1462,1434,1546,1547,1548],"Inferentie-optimalisatie","Grote taalmodellen","vLLM",{"path":1550,"title":1551,"description":1552,"date":1553,"slug":1554,"image":1555,"originalUrl":1556,"categories":1557},"\u002Fblog\u002Fpaiton-qwen38-neo-gguf-vllm-r9700","Qwen3.8 GGUF in vLLM: sneller antwoord op één Radeon","Draai de originele NEO CODER MAX GGUF met Paiton in vLLM op een R9700. Bekijk de gemeten responstijden, beeldinvoer en lokale installatie.","2026-09-14T07:30:00Z","paiton-qwen38-neo-gguf-vllm-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-neo-gguf\u002F00-hero-neo-gguf-r9700.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-qwen38-neo-gguf-vllm-r9700",[1391,1461,1462,1558,1548],"GGUF",{"path":1560,"title":1561,"description":1562,"date":1563,"slug":1564,"image":1565,"originalUrl":1566,"categories":1567},"\u002Fblog\u002Fpaiton-minimax-h3-radeon-ai-pro-r9700","MiniMax H3 op Radeon: 15 seconden video met stereogeluid","Paiton genereert lokaal 15 seconden MiniMax H3-video met stereogeluid op één Radeon AI PRO R9700 in 5 min 33 s, met 16,7% minder wachttijd dan stock.","2026-09-09T07:30:00Z","paiton-minimax-h3-radeon-ai-pro-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-minimax-h3\u002F00-featured-minimax-h3-r9700.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-minimax-h3-radeon-ai-pro-r9700",[1391,1461,1462,1568,1569,1570],"Videogeneratie","MiniMax H3","ComfyUI",{"path":1572,"title":1573,"description":1574,"date":1575,"slug":1576,"image":1577,"originalUrl":1578,"categories":1579},"\u002Fblog\u002Fpaiton-flux2-klein-radeon-ai-pro-r9700","Lokale FLUX.2 klein op Radeon AI PRO R9700: sneller beelden genereren met minder VRAM","Paiton genereert FLUX.2 klein-beelden van 1024 × 1024 in 1,054 seconden op een R9700, met 16,2% minder generatietijd en 33,4% minder piekallocatie in Torch.","2026-09-07T09:00:00","paiton-flux2-klein-radeon-ai-pro-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-flux2-klein\u002Ffox-paiton.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-flux2-klein-radeon-ai-pro-r9700",[1391,1461,1462,1536,1580,1570],"FLUX",{"path":1582,"title":1583,"description":1584,"date":1585,"slug":1586,"image":1587,"originalUrl":1588,"categories":1589},"\u002Fblog\u002Fpaiton-ornith15-radeon-ai-pro-r9700","Ornith 1.5 haalt 44,6 tok\u002Fs op één Radeon AI PRO R9700","Paiton draait Ornith 1.5 35B A3B op één Radeon AI PRO R9700 met 44,63 outputtokens per seconde, 27% sneller en met 21,3% lagere gemodelleerde kosten.","2026-09-05T09:00:00","paiton-ornith15-radeon-ai-pro-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-ornith15\u002F00-featured-ornith15-r9700.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-ornith15-radeon-ai-pro-r9700",[1391,1590,1461,1434,1591,1592,1546,1547,1548,1593],"Kunstmatige intelligentie","GPU-prestaties","Inferentielatentie","Kostenefficiëntie",{"path":1595,"title":1596,"description":1597,"date":1598,"slug":1599,"image":1600,"originalUrl":1601,"categories":1602},"\u002Fblog\u002Fpaiton-qwen38-radeon-ai-pro-r9700","Paiton: 21% meer Qwen3.8-doorvoer op Radeon AI PRO R9700","Paiton draait AMD's Qwen3.8 27B op één Radeon AI PRO R9700 met 39,77 outputtokens per seconde. Dat levert 21% meer throughput en 17,4% lagere gemodelleerde kosten op.","2026-09-04T09:00:00","paiton-qwen38-radeon-ai-pro-r9700","\u002Fasset\u002Fimages\u002Fblog\u002Fpaiton-r9700\u002F00-featured-paiton-r9700.webp","https:\u002F\u002Feliovp.com\u002Fblog\u002Fpaiton-qwen38-radeon-ai-pro-r9700",[1391,1590,1461,1434,1591,1592,1546,1547,1548,1593],{"path":1604,"title":1605,"description":1606,"date":1607,"slug":1608,"image":1609,"originalUrl":1449,"categories":1610},"\u002Fblog\u002Fai-data-center-power-requirements-gpu-per-megawatt","Stroomvereisten voor AI-datacenters: de GPU-per-MW-illusie","Waarom verschillen GPU-aantallen per megawatt? Lees hoe PUE, piekbelasting, opslag, netwerken en koeling de inzetbare AI-capaciteit bepalen.","2026-07-27T23:52:00","ai-data-center-power-requirements-gpu-per-megawatt","\u002Fasset\u002Fimages\u002Fblog\u002Fai-data-center-power-requirements-gpu-per-megawatt\u002Fgpu-per-megawatt-illusion.webp",[1611,1495,1612,1496,1613,1614],"Alle","Datacenters","HPC","AMD Helios",{"path":1616,"title":1617,"description":1618,"date":1619,"slug":1620,"image":1621,"originalUrl":1622,"categories":1623},"\u002Fblog\u002Fpaiton-returns-to-its-diffusion-roots-optimizing-wan2-2-t2v-a14b-on-amd-mi355x","Wan2.2-videogeneratie: Paiton op AMD MI355X","Vergelijk Wan2.2-videogeneratie op AMD MI355X met Paiton en NVIDIA B200 via Diffusers. Lees hoe we diffusiemodellen optimaliseren.","2026-06-10T14:04:04","paiton-returns-to-its-diffusion-roots-optimizing-wan2-2-t2v-a14b-on-amd-mi355x","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fpaitonwan2.webp","https:\u002F\u002Feliovp.com\u002Fpaiton-returns-to-its-diffusion-roots-optimizing-wan2-2-t2v-a14b-on-amd-mi355x\u002F",[1611,1590,1391,1624,1625,1626,1627,1628,1629,1630,1631,1632,1633,1634,1635,1636,1637,1497,1638,1639,1391,1640,1641,1642,1643,1644,1645],"14B","AMD","B200","Benchmarks","Blackwell","Compute","Diffusie","Eliovp","Generatieve AI","GPU","Hardware","Inferentie","Instinct","MI355x","On-premises","Optimalisatie","Soevereine AI","T2V","Tekst-naar-video","Tuning","Video-generatie","Wan2.2",{"path":1647,"title":1648,"description":1649,"date":1650,"slug":1651,"image":1652,"originalUrl":1653,"categories":1654},"\u002Fblog\u002Ffrom-the-attic-to-the-front-page-eliovp-recognized-as-a-pioneer-in-chip-optimization-data-center-infrastructure","ElioVP in De Tijd: chipoptimalisatie en datacenters","Lees hoe De Tijd ElioVP belicht, van de oorsprong in chipoptimalisatie tot het werk aan modulaire datacenters en koeling voor hoge vermogensdichtheid.","2026-02-10T20:48:12","from-the-attic-to-the-front-page-eliovp-recognized-as-a-pioneer-in-chip-optimization-data-center-infrastructure","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fphysicalnewspaper.webp","https:\u002F\u002Feliovp.com\u002Ffrom-the-attic-to-the-front-page-eliovp-recognized-as-a-pioneer-in-chip-optimization-data-center-infrastructure\u002F",[1611,1590,1655,1656,1625,1657,1655,1497],"Modulaire DC","Niet gecategoriseerd","De Tijd",{"path":1659,"title":1660,"description":1661,"date":1662,"slug":1663,"image":1664,"originalUrl":1665,"categories":1666},"\u002Fblog\u002Fprivacy-is-geen-it-probleem-meer-het-is-een-strategische-prioriteit","AI en privacy: een strategische prioriteit in de Benelux","Privacyrisico's van generatieve AI, vertrouwen, dataopslag en governance. Waarom bedrijven in de Benelux veilige AI strategisch moeten benaderen.","2026-01-29T13:51:11","privacy-is-geen-it-probleem-meer-het-is-een-strategische-prioriteit","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fheaderimage.webp","https:\u002F\u002Feliovp.com\u002Fprivacy-is-geen-it-probleem-meer-het-is-een-strategische-prioriteit\u002F",[1611,1590,1667,1656,1668,1669,1670,1671,1672,1673,1674,1675,1631,1676,1632,1677,1678,1679],"Trending","AI Act","Antropomorfisme","AVG","Benelux","ChatGPT","Cyberbeveiliging","Databeheer","Gegevensbeveiliging","GDPR","Microsoft Copilot","Privacy","Shadow AI",{"path":1681,"title":1682,"description":1683,"date":1684,"slug":1685,"image":1686,"originalUrl":1687,"categories":1688},"\u002Fblog\u002Fitsme-bij-ons-is-het-its-not-me-en-dit-is-waarom","Waarom wij itsme niet gebruiken: privacy en soevereiniteit","Waarom ElioVP itsme niet gebruikt: onze afwegingen rond identiteitsmetadata, cloudafhankelijkheid, privacy en datasoevereiniteit.","2025-11-27T09:32:14","itsme-bij-ons-is-het-its-not-me-en-dit-is-waarom","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Ffrontimage.webp","https:\u002F\u002Feliovp.com\u002Fitsme-bij-ons-is-het-its-not-me-en-dit-is-waarom\u002F",[1611,1689,1690,1691,1673,1692,1693,1694,1676,1695,1696,1697,1678],"AWS","Belgian Mobile ID","CLOUD Act","Datasoevereiniteit","Digitale identiteit","eIDAS","itsme","Liberty Global","MyGov.be",{"path":1699,"title":1700,"description":1701,"date":1702,"slug":1703,"image":1704,"originalUrl":1705,"categories":1706},"\u002Fblog\u002Ffield-report-the-reality-of-building-agentic-ai-in-2025","Praktijkrapport: de realiteit van Agentic AI bouwen in 2025","Praktijklessen over lokale AI-agents in 2025 gaan in op workflowontwerp, observability, modeltraining, hallucinaties en GPU-geheugenlimieten.","2025-11-25T14:03:39","field-report-the-reality-of-building-agentic-ai-in-2025","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Ffieldreport.webp","https:\u002F\u002Feliovp.com\u002Ffield-report-the-reality-of-building-agentic-ai-in-2025\u002F",[1611,1590,1707,1667,1708,1709,1710,1711,1712,1713,1714,1715,1640,1716],"Oplossingen","Agentic AI","AI-techniek","AI-strategie","Autonome agenten","Bedrijfs-AI","Lokale LLM","Modelverfijning","AI op locatie","VRAM-optimalisatie",{"path":1718,"title":1719,"description":1720,"date":1721,"slug":1722,"image":1723,"originalUrl":1724,"categories":1725},"\u002Fblog\u002Fthe-synthetic-unicorn-bubble","De synthetische unicornzeepbel","Een analyse van investeringsrisico’s bij AI-neoclouds: circulaire financiering, infrastructuurclaims, contractvoorwaarden en due diligence.","2025-11-24T19:22:28","the-synthetic-unicorn-bubble","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fsyntheticunicorn.webp","https:\u002F\u002Feliovp.com\u002Fthe-synthetic-unicorn-bubble\u002F",[1611,1590,1667,1726,1727,1728,1729,1730,1731,1732,1733,1734,1735],"AI Infrastructure","AI Neocloud","Circulaire financiering","GPU Cloud","Beleggingsrisico's","Opstartwaardering","Synthetische bubbel","Technische analyse","Vaporware","Durfkapitaal",{"path":1737,"title":1738,"description":1739,"date":1740,"slug":1741,"image":1742,"originalUrl":1743,"categories":1744},"\u002Fblog\u002Fbuilding-the-engine-for-the-ai-race-the-4-month-path-to-nvidia-gb300-nvl72-power","NVIDIA GB300 NVL72: modulair datacenter in vier maanden","Ontdek een modulair datacenterontwerp voor NVIDIA GB300 NVL72, met redundante voeding, hybride koeling en een bouwplanning van vier maanden.","2025-11-20T14:10:19","building-the-engine-for-the-ai-race-the-4-month-path-to-nvidia-gb300-nvl72-power","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fsuperpodmodflexfrontimage.webp","https:\u002F\u002Feliovp.com\u002Fbuilding-the-engine-for-the-ai-race-the-4-month-path-to-nvidia-gb300-nvl72-power\u002F",[1611,1655,1656,1745,1495,1746,1747,1499,1748,1749,1750,1751,1752],"150 kW-rack","DLC","Hoge dichtheid","Modulair datacenter","NVIDIA Blackwell Ultra","NVIDIA GB300","NVL72","Snelle implementatie",{"path":1754,"title":1755,"description":1756,"date":1757,"slug":1758,"image":1759,"originalUrl":1760,"categories":1761},"\u002Fblog\u002Fwhy-cuda-translation-wont-unlock-amds-real-potential","CUDA-vertaling versus AMD-gerichte optimalisatie","Waarom CUDA-compatibiliteit niet hetzelfde is als AMD-prestaties: over ROCm, HIP, kerneloptimalisatie en hardwaregerichte afstemming.","2025-11-12T14:48:37","why-cuda-translation-wont-unlock-amds-real-potential","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fchatgpt-image-nov-11-2025-09_16_10-pm-1.webp","https:\u002F\u002Feliovp.com\u002Fwhy-cuda-translation-wont-unlock-amds-real-potential\u002F",[1611,1590,1391,1656,1762,1590,1763,1764,1765,1766,1767,1768,1391,1769],"AMD MI300X","CUDA-vertaling","FP8","GPU-optimalisatie","High-performance computing","HIP","Kerneltuning","ROCm",{"path":1771,"title":1772,"description":1773,"date":1774,"slug":1775,"image":1776,"originalUrl":1777,"categories":1778},"\u002Fblog\u002Fpaiton-the-simplest-way-to-supercharge-ai-inference","Paiton: snellere AI-inferentie in uw bestaande stack","Lees hoe Paiton aansluit op bestaande inferentiestacks, met AMD MI300X-benchmarks en vergelijkingen van prestaties per dollar.","2025-11-11T10:31:22","paiton-the-simplest-way-to-supercharge-ai-inference","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fpaiton-powaaah.webp","https:\u002F\u002Feliovp.com\u002Fpaiton-the-simplest-way-to-supercharge-ai-inference\u002F",[1611,1590,1391,1434,1433,1762,1593,1779,1546,1768,1391,1780,1548],"Hoge throughput","SGLang",{"path":1782,"title":1783,"description":1784,"date":1785,"slug":1786,"image":1787,"originalUrl":1788,"categories":1789},"\u002Fblog\u002Fstop-overpaying-paiton-mi300x-moe-beats-h200-b200-on-1m-tokens","Paiton MoE-benchmarks: MI300X versus H200 en B200","Vergelijk Qwen3-30B-A3B MoE-benchmarks van MI300X met Paiton, H200 en B200: throughput en kosten per miljoen tokens.","2025-09-26T13:36:18","stop-overpaying-paiton-mi300x-moe-beats-h200-b200-on-1m-tokens","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fhulkvshulkpaitonwins.webp","https:\u002F\u002Feliovp.com\u002Fstop-overpaying-paiton-mi300x-moe-beats-h200-b200-on-1m-tokens\u002F",[1611,1590,1391,1790,1762,1791,1546,1792,1793,1794,1795,1391,1796],"AI-benchmarks","Kosten per token","Mixture of Experts","MoE","NVIDIA B200","NVIDIA H200","Qwen3",{"path":1798,"title":1799,"description":1800,"date":1801,"slug":1802,"image":1803,"originalUrl":1804,"categories":1805},"\u002Fblog\u002Fagentic-ai-but-make-it-local-from-inbox-to-insight-to-action-en","Lokale Agentic AI: van inbox naar actie","Lokale AI-agents zetten e-mails, documenten en beelden om in tickets, rapporten en acties, met modellen op maat van uw gegevens en systemen.","2025-09-16T13:09:00","agentic-ai-but-make-it-local-from-inbox-to-insight-to-action-en","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Ffrontfotoblog.webp","https:\u002F\u002Feliovp.com\u002Fagentic-ai-but-make-it-local-from-inbox-to-insight-to-action-en\u002F",[1611,1590,1707,1656,1708,1806,1807,1808,1809,1713,1715,1640,1810,1811],"Schadedetectie","Documentverwerking","E-mailautomatisering","Factuurextractie","Ticketautomatisering","Workflowautomatisering",{"path":1813,"title":1814,"description":1815,"date":1816,"slug":1817,"image":1818,"originalUrl":1819,"categories":1820},"\u002Fblog\u002Fmi300x-fp8-data-parallel-benchmarks-8-64-gpus-h200-left-behind-b200-within-reach","MI300X FP8-benchmarks: GPU-partitionering met Paiton","Bekijk hoe Paiton presteert met Llama 3.1 8B FP8 op gepartitioneerde MI300X-GPU's, vergeleken met NVIDIA H200 en B200.","2025-07-31T13:32:57","mi300x-fp8-data-parallel-benchmarks-8-64-gpus-h200-left-behind-b200-within-reach","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fimage-2-1.webp","https:\u002F\u002Feliovp.com\u002Fmi300x-fp8-data%e2%80%91parallel-benchmarks-8-64-gpus-h200-left-behind-b200-within-reach\u002F",[1611,1590,1391,1656,1821,1625,1626,1822,1823,1637,1497,1391,1548],"AI","H200","MI300X",{"path":1825,"title":1826,"description":1827,"date":1828,"slug":1829,"image":1830,"originalUrl":1831,"categories":1832},"\u002Fblog\u002Fapplicable-ai-for-businesses","Toepasbare AI voor bedrijven","Ontdek hoe ElioVP lokale AI voor bedrijfsprocessen bouwt, met modeltraining op maat en automatische schadedetectie voor de logistiek.","2025-07-09T21:35:30","applicable-ai-for-businesses","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fscherm_afbeelding-2025-07-09-om-23.30.17.webp","https:\u002F\u002Feliovp.com\u002Fapplicable-ai-for-businesses\u002F",[1611,1590,1707,1708,1806,1807,1808,1809,1713,1715,1640,1810,1811],{"path":1834,"title":1835,"description":1836,"date":1837,"slug":1838,"image":1412,"originalUrl":1839,"categories":1840},"\u002Fblog\u002Fintroducing-paitons-free-evaluation-models","Maak kennis met de gratis evaluatiemodellen van Paiton","Test Paiton met gratis evaluatiemodellen voor AMD-GPU's. Vergelijk de prestaties voor tekst, beeldanalyse en beeldgeneratie met uw eigen workloads.","2025-07-07T11:26:13","introducing-paitons-free-evaluation-models","https:\u002F\u002Feliovp.com\u002Fintroducing-paitons-free-evaluation-models\u002F",[1611,1590,1391],{"path":1842,"title":1843,"description":1844,"date":1845,"slug":1846,"image":1847,"originalUrl":1848,"categories":1849},"\u002Fblog\u002Fpaiton-dramatically-faster-startup-and-performance-for-llama-3-1-405b","Llama 3.1 405B: sneller starten met Paiton op MI300X","Bekijk Paiton-benchmarks voor Llama 3.1 405B op acht AMD MI300X-GPU's, met opstarttijd, tensorparallelisme, throughput en latency.","2025-06-12T20:15:23","paiton-dramatically-faster-startup-and-performance-for-llama-3-1-405b","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fservingscreenshot.webp","https:\u002F\u002Feliovp.com\u002Fpaiton-dramatically-faster-startup-and-performance-for-llama-3-1-405b\u002F",[1611,1590,1391,1656,1434,1762,1850,1764,1851,1852,1853,1391,1854,1855],"Koude start","Grafiekcompilatie","Llama 3.1 405B","LLM-optimalisatie","Opstartlatentie","Tensor-parallellisme",{"path":1857,"title":1858,"description":1859,"date":1860,"slug":1861,"image":1862,"originalUrl":1863,"categories":1864},"\u002Fblog\u002Fpaiton-fp8-beats-nvidias-h200-on-amds-mi300x","Paiton FP8 verslaat NVIDIA's H200 op AMD's MI300X","Vergelijk Paiton op AMD MI300X met NVIDIA H200 voor Llama 3.1 70B FP8: throughput, wachttijd tot het eerste token en latency bij diverse batchgroottes.","2025-06-08T19:12:40","paiton-fp8-beats-nvidias-h200-on-amds-mi300x","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fblognewfp8.webp","https:\u002F\u002Feliovp.com\u002Fpaiton-fp8-beats-nvidias-h200-on-amds-mi300x\u002F",[1611,1590,1391,1656,1762,1865,1712,1632,1591,1592,1547,1852,1866,1867],"Koude startoptimalisatie","Model serving","vLLM-optimalisatie",{"path":1869,"title":1870,"description":1871,"date":1872,"slug":1873,"image":1874,"originalUrl":1875,"categories":1876},"\u002Fblog\u002Fmi300x-vs-h200-vs-rx-7900-xtx-vs-tenstorrent-n300s-with-vllm","MI300X, H200, RX 7900 XTX en n300s: vLLM-benchmarks","Vergelijk MI300X, H200, RX 7900 XTX en Tenstorrent n300s met vLLM: throughput, gemodelleerde tokenkosten en hardwarebeperkingen voor Llama 3 8B.","2025-05-09T14:03:58","mi300x-vs-h200-vs-rx-7900-xtx-vs-tenstorrent-n300s-with-vllm","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fcomparisontenstor.webp","https:\u002F\u002Feliovp.com\u002Fmi300x-vs-h200-vs-rx-7900-xtx-vs-tenstorrent-n300s-with-vllm\u002F",[1611,1590,1391,1707,1656,1625,1823,1497,1877,1878],"RX7900XTX","tenstorrent",{"path":1880,"title":1881,"description":1882,"date":1883,"slug":1884,"image":1885,"originalUrl":1886,"categories":1887},"\u002Fblog\u002Fclusterpl-empowering-gpu-cluster-investors-with-real-world-financial-insights","ClusterP&L: financiële modellen voor GPU-clusters","Ontdek hoe ClusterP&L kosten, rendement en investeringsscenario's voor GPU-clusters modelleert, met risicoanalyses en exporteerbare rapporten.","2025-05-03T10:52:22","clusterpl-empowering-gpu-cluster-investors-with-real-world-financial-insights","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fcomparisonscenarios.webp","https:\u002F\u002Feliovp.com\u002Fclusterpl-empowering-gpu-cluster-investors-with-real-world-financial-insights\u002F",[1611,1590,1655,1707,1626,1822,1888,1497,1889],"MI325X","P&L-calculator",{"path":1891,"title":1892,"description":1893,"date":1894,"slug":1895,"image":1896,"originalUrl":1897,"categories":1898},"\u002Fblog\u002Fcranking-out-faster-tokens-for-fewer-dollars-amd-mi300x-vs-nvidia-h200","AMD MI300X versus NVIDIA H200: Qwen3-32B met Paiton","Vergelijk Qwen3-32B-benchmarks op AMD MI300X met Paiton en NVIDIA H200, met resultaten voor throughput, latency en hardwarekosten.","2025-05-02T21:10:30","cranking-out-faster-tokens-for-fewer-dollars-amd-mi300x-vs-nvidia-h200","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002F3ac59a73-2466-4422-b7e5-ef2e4a8ca58e.webp","https:\u002F\u002Feliovp.com\u002Fcranking-out-faster-tokens-for-fewer-dollars-amd-mi300x-vs-nvidia-h200\u002F",[1611,1590,1391,1821,1625,1822,1899,1497,1391,1548],"MI300",{"path":1901,"title":1902,"description":1903,"date":1904,"slug":1905,"image":1906,"originalUrl":1907,"categories":1908},"\u002Fblog\u002Fpower-meets-precision-high-density-modular-data-center-for-nvidia-nvl-deployments-1-2-mw","Modulaire datacenters voor NVIDIA NVL: 1 tot 2 MW","Ontdek modulaire datacenterontwerpen voor NVIDIA NVL-systemen, met aandacht voor vermogen, vloeistofkoeling, redundantie en uitrolplanning.","2025-05-02T14:09:59","power-meets-precision-high-density-modular-data-center-for-nvidia-nvl-deployments-1-2-mw","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Feliovp_critical-1mw-pod_rev-2_transparent.webp","https:\u002F\u002Feliovp.com\u002Fpower-meets-precision-high-density-modular-data-center-for-nvidia-nvl-deployments-1-2-mw\u002F",[1611,1655,1909,1726,1747,1613,1499,1748,1910,1911,1751,1912],"1-2MW datacenter","NVIDIA Blackwell","NVIDIA NVL","Precisiekoeling",{"path":1914,"title":1915,"description":1916,"date":1917,"slug":1918,"image":1919,"originalUrl":1920,"categories":1921},"\u002Fblog\u002Fexamining-ai-agents-in-the-medical-field-ai-that-speaks-dicom","AI-agents in de medische wereld: AI die DICOM spreekt","Ontdek een lokale AI-agent die DICOM-gegevens opzoekt en bekijk tests van beeldmodellen met geanonimiseerde medische beelden.","2025-04-11T14:45:48","examining-ai-agents-in-the-medical-field-ai-that-speaks-dicom","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fhealthcareblog-1.webp","https:\u002F\u002Feliovp.com\u002Fexamining-ai-agents-in-the-medical-field-ai-that-speaks-dicom\u002F",[1611,1590,1707,1656,1821,1625,1922],"Zorg",{"path":1924,"title":1925,"description":1926,"date":1927,"slug":1928,"image":1929,"originalUrl":1930,"categories":1931},"\u002Fblog\u002Feliovp-bv-your-trusted-partner-for-supply-chain-resilience-amidst-new-u-s-tariffs","Amerikaanse invoerheffingen en AI-leveringszekerheid in 2025","Lees ElioVP's visie uit april 2025 op Amerikaanse invoerheffingen en leveringszekerheid voor AI-servers, HPC-systemen en modulaire datacenters.","2025-04-04T10:01:27","eliovp-bv-your-trusted-partner-for-supply-chain-resilience-amidst-new-u-s-tariffs","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Ftariffsshipping.webp","https:\u002F\u002Feliovp.com\u002Feliovp-bv-your-trusted-partner-for-supply-chain-resilience-amidst-new-u-s-tariffs\u002F",[1611,1667,1821,1625,1932,1933,1934,1935],"Invoer","Taiwan","Invoerheffingen","Trump",{"path":1937,"title":1938,"description":1939,"date":1940,"slug":1941,"image":1942,"originalUrl":1943,"categories":1944},"\u002Fblog\u002Fwhy-ai-agents-are-the-future","Waarom AI-agenten de toekomst zijn","Ontdek AI-agents voor ERP, CRM, financiën en klantondersteuning, met praktijkvoorbeelden en een traject van procesanalyse tot pilot en uitrol.","2025-03-23T22:06:59","why-ai-agents-are-the-future","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Ferp2.jpeg","https:\u002F\u002Feliovp.com\u002Fwhy-ai-agents-are-the-future\u002F",[1611,1590,1707,1821,1945,1946],"AI-agenten","ERP",{"path":1948,"title":1949,"description":1950,"date":1951,"slug":1952,"image":1953,"originalUrl":1954,"categories":1955},"\u002Fblog\u002Fthe-rise-of-open-source-ai-model-optimization","De opkomst van open-source AI-modeloptimalisatie","Verken trends in opensource-AI-optimalisatie: kwantisatie, mixture-of-experts-modellen, hardwaregerichte afstemming, RAG en edge-AI.","2025-03-22T20:59:23","the-rise-of-open-source-ai-model-optimization","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Friseofopensource.jpeg","https:\u002F\u002Feliovp.com\u002Fthe-rise-of-open-source-ai-model-optimization\u002F",[1611,1590,1667,1956,1625,1633,1497],"AI-nieuws",{"path":1958,"title":1959,"description":1960,"date":1961,"slug":1962,"image":1963,"originalUrl":1964,"categories":1965},"\u002Fblog\u002Fintroducing-our-benchmarking-tool-powered-by-dstack","Maak kennis met onze benchmarktool, gebouwd op dstack","Ontdek onze benchmarktool met dstack: herhaalbare vLLM-tests, automatische parameterreeksen en prestatierapporten voor lokale GPU's en de cloud.","2025-03-20T14:21:59","introducing-our-benchmarking-tool-powered-by-dstack","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fbenchmarktool.jpeg","https:\u002F\u002Feliovp.com\u002Fintroducing-our-benchmarking-tool-powered-by-dstack\u002F",[1611,1590,1391,1821,1625,1966,1967,1823,1391],"benchmark","LLM",{"path":1969,"title":1970,"description":1971,"date":1972,"slug":1973,"image":1974,"originalUrl":1975,"categories":1976},"\u002Fblog\u002Foptimizing-qwq-32b-by-qwen-amd-mi300x-vs-nvidia-h200","QwQ-32B optimaliseren (door Qwen): AMD MI300X versus NVIDIA H200","Vergelijk throughput en latency van QwQ-32B op AMD MI300X met Paiton en NVIDIA H200, bij kleine batches en meer gelijktijdige aanvragen.","2025-03-19T21:41:44","optimizing-qwq-32b-by-qwen-amd-mi300x-vs-nvidia-h200","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fpaiton4.jpeg","https:\u002F\u002Feliovp.com\u002Foptimizing-qwq-32b-by-qwen-amd-mi300x-vs-nvidia-h200\u002F",[1611,1590,1391],{"path":1978,"title":1979,"description":1980,"date":1981,"slug":1982,"image":1983,"originalUrl":1984,"categories":1985},"\u002Fblog\u002Feliovp-featured-on-amd-tech-talk-podcast","Eliovp te gast in de AMD Tech Talk-podcast","Beluister Elio Van Puyvelde en Jim Greene in de AMD Tech Talk-podcast over het ontstaan van ElioVP en de hardware- en softwarediensten voor AI.","2025-03-19T07:53:39","eliovp-featured-on-amd-tech-talk-podcast","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Ftechtalkjimgreene.jpeg","https:\u002F\u002Feliovp.com\u002Feliovp-featured-on-amd-tech-talk-podcast\u002F",[1611,1625,1986,1987,1988],"Jim Greene","Podcast","Tech Talk",{"path":1990,"title":1991,"description":1992,"date":1993,"slug":1994,"image":1995,"originalUrl":1996,"categories":1997},"\u002Fblog\u002Ffurther-optimizing-amd-powered-inference-with-paiton","AMD-inferentie verder optimaliseren met Paiton","Bekijk Paiton-benchmarks voor DeepSeek R1 Distill Llama 8B op AMD MI300X, gericht op throughput en latency bij kleinere batchgroottes.","2025-03-13T06:18:30","further-optimizing-amd-powered-inference-with-paiton","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fpaitonpost3.webp","https:\u002F\u002Feliovp.com\u002Ffurther-optimizing-amd-powered-inference-with-paiton\u002F",[1611,1590,1391,1625,1435,1998,1822,1823,1888,1391,1548],"H100",{"path":2000,"title":2001,"description":2002,"date":2003,"slug":2004,"image":2005,"originalUrl":2006,"categories":2007},"\u002Fblog\u002Fa-first-look-at-paiton-in-action-deepseek-r1-distill-llama-3-1-8b","Paiton-benchmarks: DeepSeek R1 Distill Llama 3.1 8B","Vergelijk standaard- en Paiton-versies van DeepSeek R1 Distill Llama 3.1 8B op AMD MI300X, met benchmarks voor throughput en latency.","2025-01-31T09:11:02","a-first-look-at-paiton-in-action-deepseek-r1-distill-llama-3-1-8b","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fpaitonpost2.webp","https:\u002F\u002Feliovp.com\u002Fa-first-look-at-paiton-in-action-deepseek-r1-distill-llama-3-1-8b\u002F",[1611,1590,1391,1625,1435,1998,1822,1823,1888,1391,1548],{"path":2009,"title":2010,"description":2011,"date":2012,"slug":2013,"image":2014,"originalUrl":2015,"categories":2016},"\u002Fblog\u002Fai-model-optimization-with-paiton","AI-modeloptimalisatie met Paiton","Lees hoe Paiton modelcompilatie, aangepaste kernels en kernelfusie inzet om AI-inferentie op AMD GPU's te optimaliseren.","2025-01-30T19:53:25","ai-model-optimization-with-paiton","\u002Fasset\u002Fimages\u002Fblog\u002Fimported\u002Fpaitonpost1.webp","https:\u002F\u002Feliovp.com\u002Fai-model-optimization-with-paiton\u002F",[1611,1590,1391,1625,1998,1822,1823,1888,1391,1548],1793962345723]