Fra 7B til 70B+ Modeller: Valg af en Mini PC til lokal AI

Flere mennesker begynder at køre AI-modeller lokalt. Lokale LLM'er, AI-kodningsværktøjer, private RAG-vidensbaser, AI-agenter, billedgenerering og dokumentanalyse kan alle køre på din egen hardware uden konstant at sende alle filer eller arbejdsdata til en tredjeparts cloud-tjeneste.

Det gør en Mini PC til lokal AI en mere og mere praktisk mulighed.

Sammenlignet med en stor traditionel AI Workstation kan en Mini PC med høj hukommelse fungere som en hverdagscomputer, en lokal LLM-server, en AI-udviklingsmaskine og en hjemmelab-knude. Nogle modeller tilbyder også 64GB, 96GB eller endda 128GB hukommelse, flere NVMe SSDs, OCuLink og hurtigere netværk, hvilket giver plads til at tilføje en ekstern GPU eller en AI NAS senere.

Hvorvidt en Mini PC kan håndtere din lokale AI-opgaver, kommer ned til et par mere specifikke spørgsmål:

1. Planlægger du at køre en 7B, 14B, 30B eller 70B model?
2. Hvilket kvantiseringsformat vil du bruge?
3. Hvor meget hukommelse er der egentlig tilgængelig?
4. Hvor meget hukommelse kan GPU få adgang til?
5. Hvilken slags hukommelsesbåndbredde giver systemet?
6. Bruger din software hovedsageligt CPU, GPU eller NPU?
7. Afhænger din arbejdsgang af NVIDIA CUDA?
8. Hvor meget SSD plads har dine modeller, RAG database og videnbase brug for?

Så i stedet for blot at spørge "Hvilken er den mest kraftfulde AI Mini PC?", er et mere brugbart spørgsmål "Hvilke lokale modeller og AI-arbejdsgange vil jeg faktisk køre, og hvilken hardware har de brug for?"

Hvilken slags Mini PC har 7B, 30B og 70B modeller brug for?

Parameterantal oversættes ikke direkte til hukommelsesbrug. Kvantisering, kontekstlængde, KV-cache, inferensramme, operativsystem og enhver anden software, der kører på samme tid, påvirker alle det endelige krav.

Nogle 70B-modeller kan passe inden for det teoretiske område af et 64GB-system, når det først er kvantificeret til 4-bit, men operativsystemet, KV-cachen, konteksten, RAG-databasen og andre applikationer har også brug for hukommelse.

Hvis en 70B-class lokal LLM vil være en fast del af din arbejdsopgave, er 96GB eller 128GB normalt et mere praktisk langsigtet valg end en konfiguration, der kun lige passer til selve modellen.

Hvilke åbne modeller giver mening på en Mini PC?

7B–14B: Et godt sted at starte med lokal AI

Dette interval fungerer godt til lokal chat, dokumentresuméer, grundlæggende AI-assistenter, simple RAG, lettere AI-kodning og eksperimenter i hjemmet.

Hvis du kun lige er startet med Ollama, LM Studio eller et andet lokal LLM-værktøj, er der ingen grund til at hoppe direkte til en 128GB AI Workstation. En 32GB Mini PC kan allerede understøtte et komplet testmiljø til lokal AI, mens den stadig fungerer som en normal kontor-, udviklings- eller hjemmeunderholdningsmaskine.

Det bringer denne form for system tættere på Daglig pc + udviklings-pc + lokal AI på begynderniveau end en dedikeret AI-server.

20B–32B: Et af de mest nyttige områder for personlig lokal AI

Når modellerne når op i 20B–32B-klassen, findes der flere muligheder, som direkte matcher praktiske arbejdsopgaver.

1. Mistral Small 24B: nyttig til generel chat, funktionsopkald og lokale agenter.

2. Qwen3-30B-A3B: nyttig til ræsonnement, kodning, flersproget arbejde og agentarbejdsgange.

3. Qwen2.5-Coder-32B: mere fokuseret på kodegenerering, kodeforståelse og AI-kodning.

4. DeepSeek-R1-Distill-Qwen-32B: mere fokuseret på ræsonnementstunge opgaver.

Det er værd at skelne mellem a Dense-model og en MoE-model her. Qwen3-30B-A3B er ikke en konventionel tæt 30B-model, hvor alle parametre er involveret i hvert inferenstrin.

Ifølge Qwens officielle modeloplysninger har den ca 30.5B samlede parametre, med ca. 3.3B aktiveret pr. token. Det er en Mixture-of-Experts (MoE) model. MoE reducerer antallet af parametre involveret i hvert inferenstrin, men de fulde modelvægte optager stadig lagerplads og hukommelse, så det bør ikke behandles, som om det blot var en 3.3B-model, når man estimerer hardwarekrav.

Det er også derfor, at "30B" eller "32B" i et modelnavn ikke er nok alene til at forudsige oplevelsen. Modelarkitektur og kvantisering betyder også noget.

For lokal AI-kodning, private RAG, personlige vidensbaser og AI-agenter, 30B-class lokal LLM rækkevidde er særligt interessant. Det er også her en 64GB Mini PC begynder at give mening som en ægte Personlig udvikling af lokal AI arbejdsstation i stedet for blot en pc med mange RAM.

70B: Lokale assistenter af højere kvalitet og større RAG-systemer

70B-modeller har normalt brug for betydeligt mere hukommelse. Et godt eksempel er Llama 3.3 70B Instruct. Meta placerer det som en 70B flersproget tekstmodel med understøttelse af engelsk, tysk, fransk, italiensk, portugisisk og spansk blandt de understøttede sprog. Det gør det særligt relevant for europæiske anvendelser af lokal AI.

For eksempel kan en produktions- eller ingeniørvirksomhed i Tyskland opbevare produktmanualer, vedligeholdelses- og reparationsdokumentation, kvalitetskontrolmateriale, interne processer, produktkendskab, kundespørgsmål og eftersalgsregistre i sin egen lokale videnbase.

Disse dokumenter kan strække sig over engelsk, tysk, fransk og italiensk. En 70B-class flersproget lokal LLM kan sidde oven på RAG-systemet for at søge, opsummere og organisere materialet.

I den opsætning håndterer en Mini PC eller AI Workstation til lokal AI AI-databehandling.

En NAS håndtag Modeller + dokumenter + RAG vidensbase + projekter + sikkerhedskopier.

Det skaber naturligvis en typisk Mini PC til lokal AI + AI NAS + RAG opsætning.

Hvorfor fungerer en Mini PC godt for lokal AI?

Historisk set var de klareste begrænsninger ved en Mini PC GPU-kapacitet og intern udvidelse.

Lokal AI introducerer et andet hardwareproblem. Mange større lokale modeller har først brug for nok hukommelse til, at CPU eller GPU faktisk kan få adgang til modellen i første omgang, og Mini PC'er med høj hukommelse er velegnede til at levere den slags hardwaremiljøer.

Mere hukommelse udvider rækken af lokale LLM'er, du kan køre

Forbruger grafikkort til stationær pc kommer normalt med et fast beløb på VRAM. En GPU kan være meget hurtig, men hvis modellen er væsentligt større end den tilgængelige VRAM, skal en del af arbejdsopgaven spildes ind i systemhukommelsen eller bruge en form for CPU/GPU aflastning.

Det er en af grundene til, at Mini PC'er med høj hukommelse er blevet mere relevante for lokal LLM-brugere. 32GB, 64GB, 96GB og 128GB er ikke længere kun generelle multitasking-niveauer. De begynder også at svare til forskellige niveauer af lokal LLM Kapacitet.

Delt hukommelse giver integreret GPUs mere fleksibilitet

Integrerede GPUs såsom Radeon 780M og Radeon 890M fungerer ikke med en fuldstændig fast 8GB, 12GB eller 16GB VRAM pulje på samme måde som en konventionel diskret GPU. De kan bruge delt systemhukommelse.

Med den rigtige software, drivere og inferens-backend kan en større systemhukommelsespulje gøre mere hukommelse tilgængelig for lokal AI-arbejdsopgaver. Så for nogle lokal LLM brugere, 64GB RAM + Integreret GPU og 32GB RAM + Integreret GPU adskiller sig i mere end almindelig PC multitasking.

Den ekstra hukommelse kan også påvirke, hvor meget plads der er til rådighed for lokale modeller, kontekst, RAG-tjenester og andre programmer, der kører på samme tid.

fælles hukommelse bringer en Mini PC tættere på AI Workstation-klassen

Platforme såsom Ryzen AI Max+ 395 tager denne idé videre. De bruger LPDDR5x-hukommelse med høj kapacitet og høj båndbredde, hvor CPU og Radeon 8060S arbejder omkring en stor fælles hukommelsespool.

I denne sammenhæng betyder 128GB ikke blot "CPU har 128GB RAM". Værdien er det en stor hukommelsespulje kan tjene CPU, GPU og den bredere arbejdsgang til lokal AI sammen.

Hukommelseskapaciteten påvirker, hvor stor en model og hvor kompleks en arbejdsgang du kan rumme; højere hukommelsesbåndbredde og en stærkere GPU kan derefter forbedre reaktionsevnen og inferens ydeevne i daglig brug.

Den store fordel ved en platform med fælles hukommelse og høj kapacitet viser sig, når Stor lokal model + GPU Adgang + Multitasking alle skal eksistere på samme maskine.

For lokal AI, skal du fokusere på CPU, GPU eller NPU?

Alle tre betyder noget, men de udfører forskellige jobs.

CPU er grundlaget for hele systemet. Operativsystemet, Docker, databaser, indlejringer, RAG-tjenester, kodekompilering og nogle modelslutninger kan alle stole på CPU. Hvis Mini PC også skal fungere som en udviklingsmaskine, hjemmelab-node og server til lokal AI, bliver stærkere flerkernet CPU-ydelse mere nyttig.

GPU betyder mere for mange lokal LLM, billedgenerering og visuelle AI-arbejdsopgaver. Ved siden af rå regnekraft er det værd at tjekke, hvor meget hukommelse GPU har adgang til, og om den inferensramme, du planlægger at bruge, understøtter denne GPU backend.

NPU er en laveffektaccelerator designet specielt til AI-arbejdsopgaver. Den kan håndtere kompatible AI-funktioner på enheden uafhængigt, så flere AI-opgaver behøver ikke at stole helt på CPU eller GPU.

Når du vælger en Mini PC til lokal AI, giver det mere mening at se på Hukommelseskapacitet + GPU + Softwaresupport + NPU sammen i stedet for at rangere systemer efter TOPS alene.

Hvis dit hovedmål er en lokal LLM, skal du starte med modelstørrelse og hukommelse. Hvis du primært bruger billedgenerering eller GPU-accelereret software, skal du være mere opmærksom på GPU-kapacitet og softwarekompatibilitet. Hvis du forventer at bruge flere Windows AI-funktioner på enheden eller NPU-optimerede applikationer, bliver NPU mere relevant.

Hvordan skal du vælge mellem forskellige typer af Mini PC til lokal AI?

32GB Mini PC: lokal AI Indgangsniveau

Dette niveau er velegnet til 7B–14B lokale modeller, nogle kvantificerede større modeller, simpel RAG, AI-kodning på begynderniveau, Ollama, LM Studio og hjemmelabbrug.

Forestil dig en studerende eller uafhængig udvikler i Frankrig eller Tyskland, der ønsker at køre en lokal kodningsassistent, mens du stadig bruger VS Code, en browser og Docker.

Der er ringe grund til at starte med en 128GB AI Workstation i den situation. En 32GB Mini PC kan allerede dække Daglig pc + udviklings-pc + lokal AI på begynderniveau på én maskine.

64GB Mini PC: 30B+ personlig lokal AI

Dette er et mere praktisk niveau for folk, der forventer at bruge lokal AI regelmæssigt. Det passer til modeller og arbejdsopgaver såsom Mistral Small 24B, Qwen3-30B-A3B, Qwen2.5-Coder-32B, DeepSeek-R1-Distill-Qwen-32B, RAG, lokale kodningsassistenter, AI-agenter og flere Docker-baserede AI-tjenester.

En europæisk freelanceudvikler kunne f.eks. køre en 30B-class-kodningsmodel lokalt, mens man holder en IDE, Git, Docker, en browser, en database og en lokal LLM-server åbne på samme tid.

Værdien af 64GB er det resten af udviklingsmiljøet kan blive ved med at arbejde, mens modellen kører.

96GB–128GB Mini PC: 70B lokal LLM

Hvis hovedmålet allerede er Llama 3.3 70B, en 70B-class flersproget assistent, et større RAG system, lang kontekst, flere agenter eller flere modeller på én gang, er det tid til at se på platforme med højere kapacitet.

Nogle 4-bit kvantificerede 70B-modeller kan gå ind i området "mulig at prøve" på et 64GB-system. Men hvis 70B bliver en almindelig arbejdsopgave, er 96GB–128GB mere praktisk.

Systemet skal have plads til Modelvægte + KV Cache + OS + RAG + Database + applikationer på samme tid.

AI Workstation med 128GB fælles hukommelse: 70B+-modeller og større lokale modeller

Dette er en anden produktkategori end et almindeligt kontor Mini PC. Det er tættere på en Kompakt AI Workstation / lokal LLM arbejdsstation / privat AI-server.

Det er bedre egnet til 70B lokale LLM'er, store kvantiserede modeller, 100B+ modeleksperimenter, multi-model AI-agenter, private virksomheders vidensbaser, AI-laboratorier og delt slutning til små teams.

Det vigtige punkt er ikke kapacitet alene, men kombinationen af fælles hukommelse med høj kapacitet + høj hukommelsesbåndbredde + kraftfuld integreret GPU.

Hvordan kunne et europæisk lokal AI hjemmelaboratorium se ud?

Tag en bruger i Tyskland eller andre steder i Europa, som har brug for en computer til udvikling og arbejde i løbet af dagen, og så ønsker at køre lokal AI på den samme opsætning senere.

De kan også have en lokal LLM, familiebilleder, arbejdsdokumenter, en RAG vidensbase, Docker tjenester, automatiserede sikkerhedskopier og AI-agenter.

Den enkleste første fase er normalt en enkelt Mini PC. Det kan fungere som en Arbejdsstation + server til lokal AI + Udviklingsmaskine. Mens modelbiblioteket og datasættet stadig er relativt lille, kan alt forblive på intern NVMe-lagring. En NAS kan tilføjes senere, efterhånden som miljø til lokal AIet vokser.

På det tidspunkt, Mini PC = Beregn lag, håndtering af lokal LLM inferens, AI-agenter, indlejringer, kodning og billedgenerering.

NAS = Datalag, lagring af modeller, dokumenter, RAG vidensbase, medier, projekter og sikkerhedskopier.

Hvis begge systemer har et hurtigt netværk som 10GbE, kan serveren til lokal AI tilgå større vidensbaser og projektdata direkte på NAS'en. Til europæiske hjemmelaboratorier, mindre studier, selvstændige udviklere og små teams er denne type Mini PC + NAS til lokal AI opsætningen er nemmere at udvide over tid end permanent at tvinge hver opgave ind i en enkelt enhed.

Hvis du stadig sammenligner rollerne for et computersystem og centraliseret lagring, se Mini PC eller NAS? Hvad jeg lærte, mens jeg valgte mellem dem.

Har en Mini PC til lokal AI brug for en NAS?

Normalt ikke i begyndelsen. Hvis du kun kører nogle få modeller og en privat vidensbase, er Mini PC's egen NVMe lagerplads normalt nok.

Efterhånden som miljø til lokal AIet vokser til at omfatte flere 30B- eller 70B-modeller, store indlejringssamlinger, dokumentdatabaser, billeder og video, forskellige modelversioner, teamfiler og automatiserede sikkerhedskopier, bliver en NAS mere nyttig.

En Mini PC er hovedsageligt regnekraft til lokal AI.

En NAS fungerer primært som lager til lokal AI.

Derfor er en Mini PC til lokal AI og en AI NAS ikke rigtig konkurrerende produkter. De forstås bedre som to dele af den samme private AI-infrastruktur.

For en personlig opsætning er det rimeligt at starte med én Mini PC. Når modellerne, dokumenterne og sikkerhedskopierne vokser, kan lageret adskilles senere. Det gør det også lettere at opgradere AI Workstation til lokal AI i fremtiden uden at flytte hele datasættet hver gang.

Hvor meget SSD-lagerplads har en Mini PC til lokal AI brug for?

Modelfiler er kun én del af et miljø til lokal AI. Over tid fyldes lokal lagring også op med forskellige modelkvantiseringer, indlejringsmodeller, vektordatabaser, Docker-images, kodelagre, vidensbasefiler, billeder, video og genereret output.

1TB er bedre egnet til nogen, der lige starter med lokal AI og kun har et lille antal modeller og projekter.

2TB er mere praktisk til langsigtet AI-kodning, RAG eller vedligeholdelse af flere modeller på samme tid.

4TB eller mere giver mere mening for større modelbiblioteker, billed- og video-AI-projekter, betydelige vidensbaser og professionelle arbejdsgange.

Ud over den forudinstallerede SSD-kapacitet skal du kontrollere, hvor mange M.2-pladser Mini PC faktisk har. Et system med to eller tre M.2-pladser giver dig mere fleksibilitet til at adskille operativsystemet, modellerne og projektdata, efterhånden som lagerbehovet vokser.

For et bredere blik på kapacitet, se vores Mini PC SSD Opbevaringsvejledning.

Hvornår giver OCuLink + en ekstern GPU mening?

Ikke alle lokal AI-brugere har brug for en dedikeret GPU.

OCuLink giver mere mening, når CPU, hukommelse og lagerplads er stadig nok, men kravene til GPU bliver ved med at stige. Det kunne betyde, at du bruger mere GPU-accelererede billedgenereringsværktøjer, kører professionel software, der har brug for NVIDIA CUDA, har brug for mere GPU inferensydelse eller brug af den samme Mini PC til avanceret spil og indholdsskabelse.

I så fald kan du ved at tilføje en stationær GPU til OCuLink beholde den originale Mini PC i stedet for at erstatte hele systemet.

Hvis du overvejer den opgraderingsrute, så se vores OCuLink eGPU Dockguide.

Vælg en MINISFORUM Mini PC til lokal AI efter modelstørrelse

X1-Lite 255: lokal AI på begynderniveau til 7B–14B modeller

X1-Lite 255 kommer med 32GB DDR5 og 1TB SSD-lagerplads plus Radeon 780M grafik, USB4 og OCuLink.

Det er bedre egnet til 7B–14B lokale LLM'er, startniveau RAG, AI-kodningseksperimenter, brug af hjemmelaboratorier og daglig computerbehandling. Dens rolle er enkel: en billigere rute til lokal AI med en ekstern GPU opgraderingssti stadig tilgængelig senere.

UM880 Plus: En opgraderbar lokal AI / Home Lab Mini PC

UM880 Plus tilbyder opgraderbar DDR5-hukommelse, dobbelt M.2-lagring og OCuLink.

Det passer bedre til brugere, der ønsker at starte med en normal udviklingsmaskine og gradvist omdanne den til en server til lokal AI. For eksempel kan det begynde med 32GB for 7B–14B-modeller, og derefter bevæge sig mod 20B–32B-modeller, RAG og flere Docker-tjenester efter en hukommelsesopgradering. Hvis GPU til sidst bliver flaskehalsen, giver OCuLink plads til at tilføje et grafikkort til stationære pc'er.

Dens største fordel er Opgrader sti.

AI X1 Pro-370: 64GB Startpunkt for 30B+ personlig lokal AI

AI X1 Pro-370 kommer med 64GB RAM og en 2TB SSD med understøttelse af op til 128GB DDR5.

Til regelmæssig personlig brug af lokal AI åbner 64GB for markant mere krævende arbejdsopgaver. Kapaciteten passer godt til Qwen3-30B-A3B, Qwen2.5-Coder-32B, DeepSeek-R1-Distill-Qwen-32B, lokal RAG, AI-kodning, AI-agenter og indholdsproduktion.

Understøttelse af op til 128GB giver også mere plads til hukommelsen til større kvantificerede modeller senere.

MS-S1 MAX: AI Workstation med fælles hukommelse til 70B+ lokal AI

MS-S1 MAX kombinerer Ryzen AI Max+ 395 med Radeon 8060S grafik og understøtter op til 128GB LPDDR5x fælles hukommelse.

Det er rettet mod arbejdsopgaver såsom 70B lokale LLM'er, Llama 3.3 70B, større RAG-systemer, arbejdsgange med flere agenter, betydelige lokale vidensbaser, private AI-servere, AI-laboratorier og implementeringer af små teams.

For denne klasse af arbejdsopgave er den vigtige kombination 128GB fælles hukommelse + høj hukommelsesbåndbredde + Radeon 8060S. Det placerer den tættere på en kompakt AI Workstation til lokal AI end en konventionel Mini PC.

Hvis du sammenligner denne form for højkapacitets AI-platform med en mere traditionel højtydende Mini PC, se Ryzen AI Max+ 395 sammenlignet med højtydende Intel Mini PC'er.

Hvorfor kan europæiske brugere overveje en Mini PC til lokal AI?

For enkeltpersoner, freelancere og små eller mellemstore teams i Europa er værdien af lokal AI ikke kun præstation.

En tegnestue i Tyskland foretrækker måske at beholde uudgivet klientmateriale på sine egne enheder og netværk.

Et udviklingsteam i Frankrig ønsker måske, at deres kodebase, testdata og interne dokumentation primært forbliver i dets lokale miljø.

En forhandler, grossist eller mindre producent, der sælger på tværs af flere EU-lande, kan administrere produktinformation, tekniske dokumenter, kundespørgsmål, reparationsmateriale og interne SOP'er på engelsk, tysk, fransk, italiensk og spansk. En flersproget lokal LLM + RAG-opsætning kan bringe disse oplysninger ind i en intern AI-videnbase til kundesupport, produktforespørgsler, intern søgning, dokumentorganisering og personaletræning.

Lokal AI kan reducere mængden af arbejdsdata, der skal sendes kontinuerligt til tredjeparts AI-tjenester.

Hvad skal europæiske købere ellers tjekke, før de køber en Mini PC til lokal AI?

Når et system flytter fra en standard 32GB Mini PC til 64GB, 128GB eller AI-arbejdsstations område, handler købsbeslutningen ikke længere kun om CPU, GPU og hukommelse. Lokal eftersalgssupport og reparationsruter bliver også en del af de reelle ejeromkostninger.

Den MINISFORUM EU-butik sælger MINISFORUM Mini PC'er, arbejdsstationer og NAS systemer til europæiske kunder. For ordrer, der sendes til EU-lande, oplyser butikken, at moms er inkluderet i den angivne pris, og lagervarer afsendes fra dets tyske lager.

For kvalificerede pc'er, arbejdsstationer og NAS-produkter købt i EU Store på eller efter 9 marts 2026, er den nuværende garantipolitik giver 36 måneders dækning. MINISFORUM EU tilbyder også en europæisk reparationsproces med sin EU reparationscenter beliggende i Hamborg, Tyskland.

For en højkapacitets Mini PC til lokal AI giver det derfor mening at overveje EU-moms + Tyskland-lager + EU-garanti + europæisk reparation sammen med selve hardwaren. Ingen af disse øger den modelstørrelse, du kan køre, men de påvirker købs-, reparations- og eftersalgsomkostningerne ved at eje en avanceret AI Workstation i Europa.

Hvis du kun overvejer tre ting

1. Start med brugstilfældet og modellen, og vælg derefter Mini PC.

7B, 30B og 70B arbejdsopgaver har brug for meget forskellig hardware.

2. For lokal AI skal du først kontrollere hukommelseskapacitet og hukommelsesarkitektur.

Modellen, konteksten og resten af AI-arbejdsgangen har alle brug for plads i tilgængelig hukommelse.

3. En Mini PC + NAS opsætning til lokal AI løser to forskellige problemer.

Mini PC håndterer beregning. NAS håndterer modeller, dokumenter, vidensbaser og sikkerhedskopier. Efterhånden som miljø til lokal AIet vokser, kan hver side opgraderes eller adskilles uden at genopbygge hele systemet hver gang.