Avaa nyt Twitter, LinkedIn tai mikä tahansa teknologiablogi, ja vastaan tulee tulva muotisanoja: TOPS, parametrit, neuroverkkokiihdyttimet ja LLM-mallit. Olemme keskellä valtavaa tekoälyn kilpavarustelua, ja laitevalmistajat huutavat kilpaa siitä, kenellä on suurimmat luvut.
Pysähdytään kuitenkin hetkeksi. Sivuutetaan markkinointimelu ja tarkastellaan asiaa niiden näkökulmasta, jotka todella tekevät työn: kehittäjien, sisällöntuottajien ja tutkijoiden. Millaista tekoälymoottoria todella tarvitsemme työpöydällemme tänä nopeasti kasvavan laskentatehon aikakautena?
Pilven illuusio ja paikallinen todellisuus
Vuosi tai pari sitten vastaus oli yksinkertainen: pilvi. Ulkoistimme raskaan laskennan palvelinkeskuksille. Se oli helppoa ja kaikkien saatavilla. Kuherruskuukausi on kuitenkin päättymässä. Tiukat API-kutsurajoitukset, jatkuva huoli yrityksen luottamuksellisen koodin lataamisesta kolmannen osapuolen palvelimille ja kuukausimaksujen vähitellen kertyvät kustannukset muuttavat alan näkemystä nopeasti: tekoälyä on voitava käyttää paikallisesti.
Tietosuoja ei ole enää ylellisyyttä vaan välttämättömyys. Viiveetön pääsy omiin malleihin muuttaa työnkulun täysin.
Ongelma: palasimme ajassa taaksepäin
Miten laitemarkkinat sitten vastasivat paikallisen tekoälyn tarpeeseen? Tarjoamalla meille valtavia ja kömpelöitä tornitietokoneita.
Saadaksemme suuria parametrimääriä sisältävien mallien suorittamiseen tai monimutkaisten tekoälyllä luotujen näkymien renderöintiin tarvittavan tehon olemme joutuneet ottamaan takapakkia. Työpöytiemme alla on taas 40 paunan metallijärkäleitä. Ne lämmittävät huonetta kuin uuni, kuluttavat valtavasti sähköä ja kuulostavat suihkukoneelta aina eräajon käynnistyessä.
Tilanne tuntuu ristiriitaiselta: käytämme futuristisinta koskaan luotua ohjelmistoa, mutta suoritamme sitä kymmenen vuoden takaisissa laitekoteloissa. Onko tämä todella parasta, mihin pystymme?
”Kylmä ajatus”: raakateho ei riitä
Tässä on karu totuus, joka usein unohtuu teknisten tietojen kilpailussa: raaka laskentateho (TOPS) on vain puolet kokonaisuudesta.
Jos olet joskus yrittänyt käyttää suurta kielimallia paikallisesti, tiedät tarkalleen, missä todellinen pullonkaula on. Se ei aina ole suoritin vaan muisti. Taika alkaa takellella, kun valtavia tietomääriä siirretään CPU:n ja erillisen näytönohjaimen välillä. Käytössäsi voi olla maailman nopein piiri, mutta kapea muistikaista vastaa Ferrari-moottoria ruuhkassa. Tekoäly kuluttaa RAM-muistia ja kaistanleveyttä valtavasti.
Kaiken ajaminen väkisin valtavan ja paljon virtaa kuluttavan GPU:n kautta ei myöskään ole elegantti ratkaisu. Tarvitsemme juuri tähän tarkoitukseen suunniteltuja arkkitehtuureja: järjestelmiä, joissa CPU, tehokas integroitu GPU ja erillinen NPU (Neural Processing Unit) toimivat saumattomasti yhdessä ja jakavat suuren määrän erittäin nopeaa yhdistettyä muistia.
Työpöydän tekoälymoottorin uusi määritelmä
Me Minisforumilla olemme seuranneet kehitystä kaikessa rauhassa ja uskomme, että ala tarkastelee ongelmaa väärästä suunnasta. Työasematason suorituskyvyn ei pitäisi vaatia työtilasta luopumista.
Aidosti nykyaikaisen tekoälymoottorin pitäisi näyttää erilaiselta:
Sen ei pidä vallata työpöytääsi: sen tulee olla tyylikäs, kompakti ja huomaamaton. Sen kuuluu olla hiljaa työpöydälläsi, ei hallita sitä.
Se tarvitsee ”moottoritien” kaistanleveyden, ei vain suurta kapasiteettia: 32GB tai 64GB RAM-muistia on hyvä alku, mutta todelliset tekoälytyökuormat vaativat valtavan kapasiteetin (ajattele 128GB) yhdistettynä huimiin siirtonopeuksiin. CPU- ja GPU-muistin välinen muuri on purettava.
Se vaatii täsmällistä tehokkuutta: tehon pakottamisen ja valtavan lämmöntuoton sijaan tarvitaan erillistä tekoälylaitteistoa (NPU), joka hoitaa taustalla tapahtuvan päättelyn tehokkaasti.
Ei kompromisseja I/O-liitännöissä: kaiken on oltava liitettävissä. Useita 8K-näyttöjä, salamannopeita verkkoliitäntöjä ja suuren kaistanleveyden laajennusvaihtoehtoja.
Tulevaisuus on tiiviissä paketissa
Olemme käännekohdassa. Tekoälykehityksen, 3D-renderöinnin ja luovien työnkulkujen tulevaisuutta ei pidä rajata palvelinkaappeihin tai valtaviin, meluisiin tornikoneisiin.
Todellinen laitteistovallankumous ei tarkoita vain yhä useampien transistorien mahduttamista piirilevylle. Kyse on tiheydestä. Se toteutuu, kun aidosti tinkimätön työasematason tekoälyteho on yhtä kompakti, hiljainen ja kaunis kuin näytön vieressä tyylikkäästi lepäävä kovakantinen kirja.
Juuri tällaisen moottorin todella tarvitsemme. Ja juuri tällaista tulevaisuutta rakennamme.
Jätä kommentti
Tämä sivu on suojattu hCaptcha-tunnistuksella, ja hCaptchan tietosuojakäytäntöjä ja käyttöehtoja sovelletaan.