Od radnih opterećenja računarskog vida do velikih jezičkih modela (LLM), najnoviji akcelerator Hailo-10H kompanije Raspberry Pi nudi 40 TOPS INT4 izračunavanja.
Raspberry Pi se ponovo vraća na poleđinu veštačke inteligencije (AI), najavljujući najnoviji unos u svoju porodicu akceleratora za Raspberry Pi 5 — i ovog puta se fokusira na generativnu AI, posebno na velike jezičke modele (LLM).
Raspberry PI AI HAT+ 2 je izgrađen oko koprocesora Hailo-10H, pružajući navodnih 40 teraoperacija u sekundi (TOPS) izračunavanja sa smanjenom INT4 preciznošću. Takođe mu se prvi put pridružilo 8 GB namenske LPDDR4 RAM memorije, što mu daje snagu potrebnu za pokretanje LLM-ova sa do 1,5 milijardi parametara.
Da li je ovo način od 130 dolara da se uđe u vrata buma generativne AI, ili samo još više vrućeg vazduha koji naduvava AI mehur? Hajde da saznamo.
Hardver
Form faktor: Hardver pričvršćen na vrhu plus (HAT+)
NPU: Hailo-10H akcelerator, navodno 40 TOPS (INT4 preciznost)
Memorija: 8GB LPDDR4 (modeli od 4GB, 2GB nagovešteni, ali još nisu lansirani)
Kompatibilnost: Samo Raspberry Pi 5
Interfejs: PCI Express preko Raspberry Pi 5 standarda FFC, 40-pinski opšti ulazno/izlazni konektor (GPIO)
Potrošnja energije: tipično 2,5W
Sadržaj kutije: AI HAT+ 2, hladnjak sa nosačima za puš-pinove, produženi GPIO konektor, stubovi za montažu i zavrtnji, kartica sa uputstvima za instalaciju hladnjaka
Cena: 130 dolara
Raspberry Pi AI HAT+ 2 je, neće vas uopšte iznenaditi, nastavak ranijeg Raspberry Pi AI HAT+, koji gotovo savršeno odgovara form faktoru svog prethodnika, ali zamenjuje Hailo-8 ili Hailo-8L koprocesor novijim Hailo-10H. U sirovim brojkama, to znači povećanje navedenih računarskih performansi sa 13 ili 26 tera-operacija u sekundi (TOPS) na impresivnih 40 za istu potrošnju energije — ali stvari nisu baš tako jednostavne.
Porodica Hailo-8 koprocesora usmerenih na veštačku inteligenciju, korišćenih u originalnoj AI HAT+ seriji, radila je sa preciznošću INT8, ali Hailo-10H radi sa INT4. Smanjenje preciznosti znači da modeli mogu da ugrade manje RAM-a i da rade sa poboljšanim performansama na kompatibilnom hardveru — ali proces smanjenja preciznosti modela, poznat kao „kvantizacija“, može imati merljiv uticaj na tačnost odgovora modela.
Postoji još jedna promena u dizajnu novog akceleratora: dodavanje namenske RAM memorije. Originalni AI HAT+ je koristio sopstvenu sistemsku memoriju Raspberry Pi-ja za čuvanje modela i podataka na kojima je radio; AI HAT+ 2 se udaljava od ovog objedinjenog modela memorije sa 8 GB ugrađene RAM memorije, nevidljive za Raspberry Pi, koju može koristiti samo sam Hailo koprocesor.
To pokreće crvenu zastavicu u pogledu budućih cena. Poslednjih meseci cena RAM komponenti je naglo porasla, zahvaljujući – ironično – nezasitnoj potražnji zbog buma veštačke inteligencije. Raspberry Pi je već bio primoran da poveća cenu svojih proizvoda sa jednom pločom, a verovatno će uslediti još veća povećanja cena; sada stavlja 8 GB sve skuplje LPDDR4 memorije na AI HAT+ 2 i nada se da njegova tražena cena od 130 dolara nudi dovoljnu marginu da se zaštiti od daljeg povećanja troškova komponenti.
Međutim, postoje dokazi da Raspberry Pi ovde osigurava svoje opklade: jedini model AI HAT+ 2 dostupan pri lansiranju ima 8 GB RAM-a, ali sitoštampanje za otpornike na ploči otkriva da su nenajavljene varijante od 4 GB i 2 GB, barem, pomenute kao mogućnost. Ukoliko cene komponenti nastave da rastu, što će gotovo sigurno biti slučaj, ovo daje Raspberry Pi-ju prostor da poveća cenu vodećeg modela od 8 GB i da lansira jeftinije verzije kako bi ublažio udarac — pristup koji je već primenjen sa porodicom Raspberry Pi 5 jednopločnih računara.
U kombinaciji, 8 GB namenske RAM memorije i prelazak na hardver koji podržava INT4 pružaju jednu stvar posebno: podršku za generativne AI modele, posebno modele velikih jezika (LLM).
Instalacija
Instaliranje Raspberry Pi AI HAT+ 2 je jednostavno kao i kod njegovog prethodnika: nalazi se iznad tela Raspberry Pi 5 — raniji modeli nisu kompatibilni zbog nedostatka PCI Express linije izložene korisniku, a ni Raspberry Pi 500 i Pi 500+ klinasti računari niti Raspberry Pi Compute Module 5 osim ako nisu instalirani na nosaču Raspberry Pi 5 formata — na ugrađenim postoljima, što obezbeđuje prostor za aktivni hladnjak ispod.
Unapred ugrađeno ravno fleksibilno kolo (FFC) povezuje ploču sa PCI Express linijom na Raspberry Pi 5, jednostavnim slučajem podizanja poklopca konektora i ponovnog guranja kabla i poklopca nazad, dok se zaglavlje povezuje sa 40-pinskim GPIO (opštim ulazno/izlaznim) pinovima Raspberry Pi-ja. Iako je ovo, tehnički, prolazno ako se koristi sa dovoljno dugim GPIO produžetkom, ugrađeni hardver za montažu ne otkriva nijedan pin — tako da ne možete koristiti AI HAT+ 2 sa bilo kojim drugim GPIO povezanim hardverom.
Završna faza je instaliranje hladnjaka, što je pomalo komplikovano iskustvo. Iako nije obavezno, njegova upotreba se preporučuje — a instalacija zahteva da pažljivo skinete zaštitnu plastiku sa prethodno instaliranih termalnih jastučića, a zatim umetnete dva veoma čvrsta plastična klina tipa krila kroz rupe za montažu na vrhu ploče. Ovo zahteva više sile nego što biste očekivali i potrebna je pažnja da se ne zgnječi nijedan deo na ploči.
Softverska strana stvari je malo komplikovanija — mada kritike ovde treba čitati uz razumevanje da je ova recenzija napravljena pre javnog lansiranja koristeći preliminarni softver, tako da su poboljšanja na ovom frontu, nadamo se, već na mestu. Hailo-10 ima drugačiju arhitekturu od Hailo-8, što znači da moraju biti instalirani posebni drajveri; zatim morate instalirati softver koji vam omogućava da zapravo koristite akcelerator: Hailov LLM model zoo vrt.
U vreme recenzije postojala su dva načina da se to uradi. Prvi je da se registrujete na Hailo — besplatno je — i preuzmete .deb paket iz kompanijske „Zone za programere“. Pre ažuriranja objavljenog 8. januara, ovo je funkcionisalo dobro; međutim, ažuriranje je prekinulo kompatibilnost sa Raspberry Pi OS-om. Drugi način je da klonirate GitHub repozitorijum kompanije i sami ga kompajlirate — prilično brz proces na Raspberry Pi 5, ali za koji su zvanična uputstva ponekad netačna ili nepotpuna, što ga čini težim nego što je potrebno.
Postoji i drugi repozitorijum, odvojen od Model Zoo-a i nudi širi spektar primernih aplikacija ne samo za generativna AI opterećenja već i za računarski vid. Ovaj metod instalacije je samo jedan: klonirajte repozitorijum i pokrenite uključenu shell skriptu sa root dozvolama, koja preuzima preduslove i kompajlira potreban izvorni kod. Za razliku od Model Zoo-a, ovo je nešto zahtevnija stvar — i pokušaji instaliranja softvera na Raspberry Pi 5 2GB doveli su do toga da „ubica“ zbog nedostatka memorije prekine proces pre završetka. Prelazak na vrhunski Raspberry Pi 5 16GB je, naravno, rešio ovaj problem.
Pričaj sa mnom
Hailov zoološki vrt modela dolazi sa pet velikih jezičkih modela koje možete preuzeti, kompatibilnih sa Hailo-10H: qwen2:1.5b, qwen2.5:1.5b, qwen2.5-coder:1.5b, llama3.2:1b i deepseek_r1:1.5b — svaki u rasponu od jedne do 1,5 milijardi parametara, što je oko gornje granice gde vas 8 GB RAM-a može dovesti. Njima upravlja port ollama koji je kompatibilan sa veb interfejsom Open WebUI — mada ga morate instalirati u Doker kontejner, jer ne radi sa verzijom Pajtona koja se trenutno isporučuje u Raspberry Pi OS-u „Trixie“.
Moguće je interakcija sa bilo kojim od pet LLM-ova, koji se moraju pojedinačno preuzeti, a svaki zauzima nekoliko gigabajta prostora za skladištenje, bez Open WebUI-ja, ali to uključuje nespretne HTTP POST zahteve koji vraćaju teško čitljive JSON objekte. Otvoreni VebUI pruža elegantan veb interfejs, otkrivajući da pokrenuti LLM radi kao četbot poput komercijalne usluge, pa čak i uključujući mogućnost korišćenja prepoznavanja glasa i pretvaranja teksta u govor za upite uživo u razgovoru — iako su to pregledači blokirali tokom testiranja, iz razloga koji će postati jasni.
Nažalost, Open WebUI je ogromna bezbednosna rupa, čak i ako se uzme u obzir njegova nedavno ispravljena ranjivost za daljinsko izvršavanje koda. Jednom instaliran, vezuje se za sve mrežne interfejse, omogućavajući potpun pristup sa bilo kog drugog uređaja na mreži. Prvi korisnik koji mu pristupi u pregledaču biće zamoljen da kreira „administratorski“ nalog zaštićen lozinkom, ali ovi akreditivi – i sve ostalo, uključujući vaše upite i odgovore – šalju se putem nešifrovane HTTP veze.
Za one koji žele da pokrenu lokalni LLM server kod kuće, stvari postaju još gore: svi upiti poslati hailo-ollama veb API-ju, bilo sa Open WebUI-ja, drugih kompatibilnih klijenata ili ručnih HTTP zahteva, šalju se terminalu koji je pokrenuo hailo-ollama server – zajedno sa LLM-ovim odgovorom. Za deljenu upotrebu, to je noćna mora za privatnost.
Ostavljajući to po strani, Open WebUI radi prilično dobro. Nažalost, isto se ne može reći za modele. Iako dele imena sa popularnim modelima velikih jezika, znatno su smanjeni u broju parametara i kvantizovani na INT4 preciznost – i to se vidi. Svi testirani modeli nisu prošli „test jagode“, gde se LLM pita koliko puta se slovo R pojavljuje u reči „jagoda“, a qwen2:1.5b je otišao toliko daleko da je odgovorio da „ne postoji tako nešto kao ‘jagoda’“ nakon što je prvobitno izbacio da ima ili 72 Rs ili 16 dolara.
Ovo je, naravno, ključni problem sa LLM-ovima: oni ne „misle“ niti „rasuđuju“ — iako će deepseek_r1:1.5b proći kroz stotine reči igrajući uloge pre nego što vam da odgovor u obliku odgovora — i rade samo na statističkom nastavku toka tokena. Što je veći broj parametara, to je odgovor bolji, a milijardu parametara nije ni blizu dovoljno da se model koristi kao nešto više od novine.
Lokalni LLM-ovi za lokalno stanovništvo
Nema načina da se to zaobiđe: LLM koji radi na Raspberry PI sa AI HAT+ 2 nikada se neće približiti komercijalnim servisima poput OpenAI-jevog ChatGPT-a ili Google-ovog Gemini-ja. To ne znači da su ti komercijalni servisi sa stotinama milijardi parametara dobri, jer nisu, ali da su modeli koje AI HAT+ 2 može da pokrene objektivno užasni.
Ipak, postoje prednosti: Hailo-10H je ocenjen na potrošnju energije od 2,5 W tokom aktivnog zaključivanja, što je delić stotina vati koliko je akceleratoru zasnovanom na GPU-u potrebno za isto radno opterećenje. U testiranju, ovo je značilo povećanje potrošnje energije sa 3,4 W u stanju mirovanja celog sistema na 5,2 W dok je LLM odgovarao u Open WebUI-ju — impresivan podvig. Ukupna potrošnja energije se smanjuje rasterećivanjem akceleratora nakon kratkog perioda čekanja, što znači kašnjenje od 25-40 sekundi pre nego što LLM počne da odgovara na početni upit.
Još jedna prednost je što se svi vaši podaci obrađuju lokalno: ništa što unesete u upit za unos LLM-a ne ide na bilo koji klaud server, a ako ga koristite lokalno na samom Raspberry Pi-ju, nikada čak ni ne dospeva do vaše lokalne mreže. To bi bila velika prednost za privatnost, ako bi modeli bili od koristi za upite osetljive na privatnost — ali, nažalost, nisu.
Kompromis za sve ovo je što modeli nisu samo „gluplji“ od svojih komercijalnih ekvivalenata, već su i manje sposobni. Otvoreni WebUI vam omogućava da otpremate slike, dokumente i video zapise, ali nijedan od modela uključenih u Hailov zoološki vrt modela ne može ništa da uradi sa unosima koji nisu zasnovani na tekstu. Nijedan od modela nema način da traži više informacija ili ažurira podatke izvan svojih datuma „graničnog znanja“, i izolovani su od veba — iako će vam neki dati primer termina za pretragu koji biste mogli sami da kopirate i nalepite u pretraživač. Njihovi kontekstni prozori su takođe veoma uski, što znači da ne mogu da rade sa dugim tekstualnim unosima.
Izvan zoološkog vrta modela, spremište primera aplikacije uključuje demonstraciju multimodalnog modela: ovo se može uneti uživo iz modula kamere Raspberry Pi, a zatim mu se mogu dati glasovni ili tekstualni upiti. Kao i kod modela zoološkog LLM-a, njegovi odgovori su obično veoma lošeg kvaliteta.
Bolji rezultati dolaze iz tradicionalnih primera projekata računarskog vida uključenih u repozitorijum, uključujući procenu položaja, procenu dubine i detekciju objekata. Oni dobro rade na Raspberry Pi AI HAT+ 2, sa unapred snimljenim ili živim videom — ali su takođe radili sasvim dobro na originalnom Raspberry Pi AI HAT+ i ranijem Raspberry Pi AI Kit-u, pa čak i na sve-u-jednom Raspberry Pi AI Camera Module-u gde se zaključivanje odvija na kameri.
Zaključak
Teško je doći do zaključka da se isplati kupiti Raspberry Pi AI HAT+ 2. Brži je od Raspberry Pi AI HAT+, svakako, ali samo padom preciznosti sa INT8 na INT4. Za zadatke računarskog vida, Raspberry Pi AI HAT+ ili Raspberry PI AI Kit će ponuditi uporedive performanse po nižoj ceni, a generativni AI zadaci koje novi AI HAT+ 2 može da obradi su univerzalno užasni.
Ni nema mnogo prostora za rast. Najveći deo povećanja mogućnosti kod najsavremenijih LLM modela dolazi od povećanja broja parametara u modelu, a 8GB je već nekoliko redova veličine premalo za pokretanje, na primer, DeepSeek-R1 sa punim kapacitetom — koji aktivira 37 milijardi od ukupno 671 milijarde parametara, u poređenju sa destilovanom verzijom od 1,5 milijardi parametara koju možete pokrenuti na AI HAT+ 2.
Za one koji rade na projektima računarskog vida, Raspberry Pi AI Camera Module je bolji izbor: jeftiniji je, 70 dolara umesto 130 dolara plus cena modula kamere koji nije AI, i ostavlja PCIe liniju Raspberry Pi 5 slobodnom za brzo skladištenje Non-Volatile Memory Express (NVMe) kako bi se obezbedilo veliko povećanje ukupnih performansi sistema.
Za one koji očajnički žele energetski efikasan lokalno hostovan LLM, koji su spremni da previde ogromne računarske i ekološke resurse koji se troše za obuku takvog LLM-a i etičke probleme oko načina na koji se prikupljaju podaci za obuku, i kojima ne smeta činjenica da će izbaciti objekte u obliku odgovora koji nemaju smisla i objekte u obliku koda koji se ne pokreću, na horizontu je konkurentska opcija: Hailo je takođe sklopio partnerstvo sa ASUS-om kako bi isti Hailo-10H koprocesor i 8GB RAM-a stavio u USB adapter.
Predstavljen na Sajmu potrošačke elektronike (CES) u Las Vegasu prošle nedelje, ASUS-ov UGen300 USB AI akcelerator nudi potpuno istu funkcionalnost kao Raspberry Pi AI HAT+, ali se može pohvaliti kompatibilnošću sa svim 64-bitnim modelima Raspberry Pi-ja, a ne samo sa Raspberry Pi 5 porodicom, kao i sa drugim jednopločnim računarima zasnovanim na Arm i AMD64, mejnstrim desktop računarima, laptopovima, serverima, tabletima, pa čak i Android pametnim telefonima. Iako u vreme pisanja ovog teksta nije objavljena cena, ako se i približi ceni od 130 dolara koliko košta Raspberry Pi AI HAT+ 2, to će biti mnogo fleksibilnija opcija — i neće vam zauzeti jedinu PCIe liniju.
Kao poslednja demonstracija ograničenja Raspberry Pi AI HAT+ 2, korisnik deepseek_r1:1.5b je dobio zahtev da sumira ovu recenziju: „Kontekst razgovora je pun. Moguće je obrisati kontekst jer je dostignuta veličina keša“ bio je jedini odgovor.
Raspberry Pi AI HAT+ 2 je dostupan za naručivanje od preprodavaca Raspberry Pi-ja danas za 130 dolara.