U svetu veštačke inteligencije (AI) infrastrukture pojavljuje se obrazac: popularni alati otvorenog koda transformišu se u startapove podržane rizičnim kapitalom vredne stotine miliona dolara. Najnoviji primer je RadixArk, komercijalna kompanija koja stoji iza SGLang-a, sve popularnijeg alata koji pomaže AI modelima da rade brže i jeftinije.
RadixArk je nedavno procenjen na oko 400 miliona dolara u rundi finansiranja koju je vodio Accel, prema rečima dve osobe upoznate sa ovom temom, što je značajan iznos za startap koji je najavljen tek prošlog avgusta. TechCrunch nije mogao da potvrdi veličinu finansiranja.
Vest dolazi u trenutku kada je deo tima zadužen za održavanje SGLang-a, koji koriste kompanije poput xAI i Cursor za ubrzavanje obuke AI modela, prešao na nedavno pokrenuti komercijalni startap. RadixArk je nastao kao SGLang 2023. godine u laboratoriji UC Berkeley suosnivača Databricksa, Jona Stoike.
Startap je prethodno prikupio anđeoski kapital od investitora, uključujući izvršnog direktora Intel-a, Lip-Bu Tana, rekli su izvori.
Jing Šeng, ključni saradnik SGLang-a i bivši inženjer u xAI, napustila je Ilon Maskov startap za veštačku inteligenciju kako bi postala suosnivač i izvršni direktor RadixArk-a, prema saopštenju na LinkedIn-u koje je dala prošlog meseca. Šeng je ranije bila istraživački naučnik u Databricks-u.
Jing Šeng, Accel i Lip-Bu Tan iz RadixArk-a nisu odgovorili na zahtev za komentar.
I SGLang i RadixArk se fokusiraju na optimizaciju obrade inferencije — u suštini omogućavajući modelima da rade brže i efikasnije na istom hardveru. Zajedno sa obukom modela, inferencija predstavlja veliki deo troškova servera povezanih sa uslugama veštačke inferencije. Kao rezultat toga, alati koji optimizuju proces mogu skoro odmah stvoriti ogromne uštede.
RadixArk nije jedini koji pravi ovu tranziciju od projekta otvorenog koda do dobro finansiranog startapa. vLLM, zreliji projekat za optimizaciju inferencije, takođe je napravio ovaj skok. Novoformirana kompanija je vodila razgovore o prikupljanju finansiranja od preko 160 miliona dolara po procenjenoj vrednosti od oko milijardu dolara, objavio je Forbs prošlog meseca.
Tri osobe upoznate sa tim sporazumom rekle su za TechCrunch da Andresen Horovic predvodi investiciju u vLLM, iako konačni brojevi te investicije tek treba da se vide. Andresen Horovic je odbio da komentariše. Suosnivač vLLM-a, Sajmon Mo, okarakterisao je informacije o ovoj rundi „činjenično netačnim“ u izjavi za TechCrunch, mada je odbio da precizira koji su detalji netačni.
Kao i SGLang, vLLM je bio inkubiran u laboratoriji Jona Stoike na Kalifornijskom univerzitetu u Berkliju. Stoika, profesor na Kalifornijskom univerzitetu u Berkliju, poznati je suosnivač Databricks-a, kao i brojnih drugih startapova.
Nekoliko velikih tehnoloških kompanija već pokreće svoja inferentna radna opterećenja koristeći vLLM, a SGLang je takođe stekao značajnu popularnost u poslednjih šest meseci, rekla je za TechCrunch Britani Voker, generalni partner u CRV-u. Njena firma nije podržala nijednu kompaniju.
RadixArk nastavlja da razvija SGLang kao endžin za modeliranje veštačke inteligencije otvorenog koda. Startap takođe gradi Miles, specijalizovani okvir dizajniran za učenje sa pojačanjem, koji omogućava preduzećima da obučavaju modele veštačke inteligencije kako bi vremenom postali pametniji.
Iako većina njegovih alata ostaje besplatna, RadixArk je počeo da naplaćuje naknade za usluge hostinga, rekla je osoba upoznata sa kompanijom za TechCrunch.
Startapovi koji pružaju infrastrukturu za zaključivanje programerima zabeležili su porast finansiranja poslednjih meseci, što naglašava kontinuirani značaj sloja zaključivanja za veštačku inteligenciju. Baseten je nedavno obezbedio 300 miliona dolara po procenjenoj vrednosti od 5 milijardi dolara, objavio je The Wall Street Journal u utorak. Ovo sledi sličan potez konkurentske kompanije Fireworks AI, koja je prikupila 250 miliona dolara po procenjenoj vrednosti od 4 milijarde dolara prošlog oktobra.