Hvernig virkar raspberry pi ai kit?
Raspberry Pi AI Kit virkar með því að tengja sérstaka taugavinnslueiningu í gegnum M.2 HAT+ millistykki við PCIe tengi Raspberry Pi 5 þíns. Settið skilar 13 tera-aðgerðum á sekúndu af gervigreindarvinnsluafli á aðeins $70, sem gerir kleift-hlutagreiningu í rauntíma, mat á stellingum og myndskiptingu án þess að yfirgnæfa aðal CPU. Þessi sjálfstæða hröðunareining meðhöndlar gervigreind ályktanir á staðnum, sem gerir Pi 5 þinn fær um að keyra háþróuð tölvusjónlíkön sem áður þurftu skýjatölvu eða dýran vélbúnað.
Markaðstíminn er mikilvægur. Raspberry Pi greindi frá 259,5 milljónum dala í tekjur fyrir FY 2024 með 22 vörukynningum með áherslu á gervigreind og IoT vélbúnað, sem gefur til kynna stefnumótandi veðmál þeirra á brúntölvu. Þegar fyrirtæki skipta gervigreindarálagi frá skýjatækjum yfir í jaðartæki, verður skilningur á því hvernig þetta hagkvæma sett virkar lykilatriði fyrir þróunaraðila sem vinna að snjallmyndavélum, vélfærafræði og sjálfvirkni í iðnaði.
Inni í vélbúnaði: Líkamlegur arkitektúr
AI Kit samanstendur af þremur samþættum hlutum sem vinna saman. Hailo-8L tauga örgjörvinn situr í kjarnanum - þetta er þar sem raunveruleg gervigreind útreikningur gerist. Einingin notar M.2 2242 formstuðul og tengist í gegnum M lyklabrúnstengi, í samræmi við hefðbundnar PC íhluta venjur.
M.2 HAT+ þjónar sem brú milli Hailo flögunnar og Raspberry Pi's PCIe Gen 3 viðmótsins. Hugsaðu um það sem þýðanda sem breytir merkjum á milli tveggja mismunandi vélbúnaðartungumála. Hitapúði er for-settur á milli einingarinnar og HAT+ til að koma í veg fyrir ofhitnun við ákafar gervigreindaraðgerðir-þetta smáatriði skiptir máli vegna þess að taugavinnsla myndar verulegan hita.
Tengingaröðin rennur svona: Raspberry Pi 5 → PCIe FPC snúru → M.2 HAT+ → Hailo-8L flís. Ólíkt nýrri AI HAT+ sem sameinar allt í eitt borð, notar AI Kit þessa mát M.2 nálgun, sem gefur þér sveigjanleika til að skipta um NVMe geymslu ef þörf krefur.
Árangursmælingar sem skipta í raun máli
Hráar TOPS tölur segja ekki alla söguna. Hailo-8L nær 3-4 TOPS á hverju vatta skilvirkni, sem útskýrir hvers vegna það skilar sambærilegum árangri og kerfi sem kosta 5x meira. Raunveruleg próf sýna hagnýtari innsýn.
Pi 5 með Hailo-8L, sem keyrir hlutgreiningu YOLOv8 á 640x640 pixla myndstraumi, nær 80 FPS með PCIe Gen 3 virkt - tvöfaldar afköst Gen 2 ham. Orkunotkun helst ótrúlega lítil. Allt Pi 5 8GB kerfið með Hailo hröðun dregur um það bil 10W við virka gervigreindarályktun, sambærilegt við dæmigerð símahleðslutæki.
Hitastjórnun reynist árangursrík í reynd. Viðmiðunarpróf Seeed Studio sýndu stöðuga frammistöðu í lengri lotum án inngjafar, þökk sé foruppsettri varmalausninni-. Þetta stendur í mótsögn við ályktun sem byggir á GPU- þar sem hitatakmarkanir verða oft flöskuhálsinn.
Gagnaflæði: Frá myndavél til ályktunarniðurstöðu
Hér er það sem raunverulega gerist þegar Pi 5 þinn vinnur lifandi myndband í gegnum AI Kit. Myndavélareiningin fangar ramma og sendir hrá myndgögn til örgjörva Raspberry Pi í gegnum CSI viðmótið. Örgjörvinn framkvæmir lágmarksforvinnslu-venjulega bara sniðumbreytingu og upplausnarleiðréttingum-áður en gögn eru afhent í Hailo hraðalinn.
PCIe Gen 3 rútan flytur þessi forunnin gögn til Hailo-8L á allt að 8 GT/s hraða. Tauga örgjörvinn rekur síðan raunverulega ályktun með því að nota sérhæfðan arkitektúr sinn. Hailo-8 arkitektúrinn inniheldur sjálfstætt vinnsluminni án þess að þurfa utanaðkomandi DRAM, sem dregur verulega úr leynd samanborið við hefðbundna gervigreindarhraðla sem sækja stöðugt gögn úr kerfisminni.
Niðurstöður streyma til baka í gegnum sömu PCIe tenginguna. Örgjörvinn tekur á móti skipulögðum gögnum-hluthnitum, flokkunaröryggisstigum, greindum stellingum-ekki hráum pixlum. Python handritið þitt túlkar síðan þessar niðurstöður til að kalla fram aðgerðir: senda viðvörun, taka upp myndefni, virkja mótora eða uppfæra gagnagrunn.
rpicam-apps hugbúnaðarstokkurinn veitir samþættingarlagið. Sem stendur eru rpicam-forrit aðalhugbúnaðurinn með djúpri Hailo samþættingu, þó að Picamera2 stuðningi hafi verið bætt við. Þetta þýðir að þú getur skrifað forskriftir sem leiða myndavélarinntak óaðfinnanlega í gegnum taugakerfi með örfáum línum af kóða.
Raunveruleg-heimsútfærsla: Snjallt öryggismyndavélarhulstur
Leyfðu mér að ganga í gegnum áþreifanlegt dæmi sem sýnir getu settsins. VEEB Projects smíðaði „Peeper Pam“, gervigreindarkerfi-knúið greiningarkerfi sem lætur notendur vita þegar einhver nálgast aftan frá meðan á myndsímtölum stendur, með því að nota hlutgreiningu til að bera kennsl á menn á meðan hunsar húsgögn og plöntur.
Innleiðing þeirra krafðist grunnþátta: Raspberry Pi 5 með AI Kit, Camera Module 3, Raspberry Pi Pico W og hliðrænn spennumæli. Kerfið tók aðeins þrjá daga að þróa, þar sem stærsta tæknilega áskorunin var að innleiða vefinnstungur fyrir skilvirk samskipti milli Pi 5 og Pico W.
Arkitektúrinn sýnir snjalla brúntölvu. Pi 5 sér um alla gervigreindarvinnslu á staðnum-greinir hvern ramma með tilliti til mannlegrar viðveru, reiknar út öryggisstig og kallar fram viðvaranir. Léttur Pico W hlustar einfaldlega eftir merkjum frekar en að skoða stöðugt, spara orku og draga úr kostnaði við netið. Hliðstæður mælirinn veitir tafarlausa sjónræna endurgjöf, færist úr 0 (enginn maður greindur) í 1 (ákveðinn greiningu) með stigbreytingu fyrir óvissu.
Þetta verkefni eyddi um það bil 12-15W heildarafli að myndavélinni meðtöldum, mun minna en sambærilegar skýjalausnir sem krefjast stöðugrar myndstraums. Staðbundin vinnsla útilokaði einnig áhyggjur af persónuvernd þar sem ekkert myndefni fer úr tækinu.
Skref-fyrir-skref uppsetningarferli
Að koma gervigreindarsettinu í notkun felur í sér fimm mismunandi áföngum. Hver áfangi hefur sérstakar kröfur og algengar gildrur sem þarf að forðast.
1. áfangi: Vélbúnaðarsamsetning
Byrjaðu með Raspberry Pi 5 sem keyrir nýjasta 64-bita Raspberry Pi OS. Festu M.2 HAT+ við GPIO hausinn og tryggðu rétta röðun. Tengdu PCIe FPC snúruna við bæði Pi og HAT+-snúran hefur ákveðna stefnu og ef hann þvingar hana ranglega mun það skemma tengið. Festu Hailo-8L eininguna í M.2 raufina með meðfylgjandi afstöðu.
Stig 2: Virkjaðu PCIe Gen 3
Pi 5 er sjálfgefið PCIe Gen 2 fyrir stöðugleika. Breyttu /boot/firmware/config.txt og bættu við dtparam=pciex1_gen=3. Þessi staka breyting tvöfaldar ályktunarafköst þín. Endurræstu og staðfestu með lspci -vv|grep "LnkSta:" til að staðfesta Gen 3 virkan.
Áfangi 3: Uppsetning hugbúnaðar
Settu upp Hailo hugbúnaðarstokkinn: sudo apt uppfærsla og sudo apt settu upp hailo-allt. Þessi pakki inniheldur HailoRT keyrslutíma, rpicam-öppin með Hailo stuðningi og dæmi um taugakerfislíkön. Uppsetningin krefst um það bil 2GB af plássi og 10-15 mínútur á dæmigerðri breiðbandstengingu.
Áfangi 4: Staðfestingarprófun
Keyrðu meðfylgjandi kynningu á hlut: rpicam-halló -t 0 --post-process-file /usr/share/rpi-camera-assets/hailo_yolov6_inference.json. Þú ættir að sjá{11}}rauntíma hlutagreiningu með afmörkunarreitum sem teiknaðir eru utan um greinda hluti. Rammatíðni yfir 60 FPS gefur til kynna rétta Gen 3 notkun.
Áfangi 5: Uppsetning sérsniðna líkana
Fyrir þínar eigin þjálfuðu gerðir, notaðu Hailo Dataflow Compiler til að umbreyta TensorFlow eða PyTorch líkönum í Hailo's HEF snið. Þýðandinn sér um magngreiningu og hagræðingu sjálfkrafa, þó að þú þurfir dæmigerð gagnasafnssýni til kvörðunar. Settu .hef skrána sem myndast í notkun og samþættu hana við rpicam-forritalínuna þína.
Markaðssamhengi: Hvers vegna Edge AI hröðun skiptir máli núna
The edge AI flísamarkaðurinn er að upplifa sprengingu. Alheimsmarkaðurinn fyrir gervigreindarflögur náði 123,16 milljörðum dala árið 2024 og áætlar að ná 311,58 milljörðum dala árið 2029 og vaxa um 24,4% CAGR. Þetta snýst ekki bara um stærri tölur-það táknar grundvallarbreytingu á því hvar gervigreind vinnsla á sér stað.
Hailo, fyrirtækið á bak við hröðunarflöguna, tryggði sér verulega staðfestingu. Ræsingin safnaði 120 milljónum dala í apríl 2024 og þjónar nú yfir 300 viðskiptavinum í bíla-, öryggis-, smásölu- og iðnaðar sjálfvirknigeirum. Líf þeirra á markaði þar sem margar gervigreindarflögur hafa mistekist segir til um hagkvæmni -brúnarmiðaðra lausna.
Samkeppnislandslag varpar ljósi á áhugaverðar málamiðlanir. Hailo-10H skilar 40 TOPS af INT4 afköstum, sem jafngildir 20 TOPS af INT8, samanborið við Core Ultra Meteor Lake NPU frá Intel við 11 TOPS og AMD Ryzen 8040 við 16 TOPS. Hins vegar söfnuðu bandarískir flísafyrirtæki aðeins 881 milljón dala frá janúar til september 2023, niður úr 1,79 milljörðum dala árið 2022, sem sýnir krefjandi fjármögnunarumhverfi sem gerir velgengni Hailo athyglisverðan.
Sérstaklega fyrir Raspberry Pi vistkerfið er áætlað að AI og IoT áhersla muni auka 15-20% ár-á ári í sölu aukahluta til 2026. AI Kit táknar innkomu Raspberry Pi inn á markað þar sem þeir geta nýtt sér gríðarlegan notendahóp sinn og dreifikerfi gegn sérhæfðum keppinautum.
Algengar ranghugmyndir um gervigreindarsettið
Misskilningur: „13 TOPS þýðir að það keyrir hvaða gervigreind líkan sem er“
Raunveruleikinn felur í sér veruleg blæbrigði. Hailo-8L skarar fram úr í snúningstauganetum til að greina tölvusjón-hluti, skiptingu og stellingar. Það glímir við stór tungumálalíkön vegna þess að flísinn skortir nægilegt VRAM fyrir LLM ályktun. 13 TOPS talan á við um INT8 aðgerðir, á meðan margar spennigerðir búast við FP16 eða FP32 nákvæmni.
Misskilningur: „Þetta er bara hraðari GPU“
Taugahraðlarar nota í grundvallaratriðum mismunandi arkitektúr. GPUs fylgja almennri-samhliða vinnsluhönnun, sem gerir þær sveigjanlegar en óhagkvæmari. Gagnaflæðisarkitektúr Hailo-8 nýtir séreiginleika tauganets sérstaklega og útilokar utanaðkomandi DRAM háð. Þessi sérhæfing gerir 20x betri orkunýtni en GPU lausnir fyrir ákveðin verkefni, en þýðir líka minni sveigjanleika fyrir vinnuálag sem ekki er gervigreind.
Misskilningur: "Tengdu-og-leiktu með hvaða myndavél sem er"
Þó að settið styðji margar myndavélar þarf samþætting sérstakan hugbúnaðarstuðning. Upphaflega buðu aðeins rpicam-forrit upp á djúpa Hailo samþættingu, þó að Picamera2 stuðningur hafi borist síðar. USB vefmyndavélar virka en þurfa mismunandi kóðaleiðir. MIPI CSI myndavélar veita þéttustu samþættingu en þú þarft að staðfesta samhæfni við sérstaka myndavélargerðina þína.
Misskilningur: "Meira lotustærð jafngildir alltaf betri afköstum"
Próf leiðir í ljós áhugaverða takmörkun. Frammistaða batnar frá lotustærð 2 (80 FPS) í gegnum lotustærð 8 (120 FPS), en lækkar í 100 FPS við lotustærð 16 vegna PCIe bandbreiddartakmarkana. Þetta bendir til þess að PCIe Gen 3 x1 tengi Pi 5 verði flöskuhálsinn með stærri lotum, ekki tauga örgjörvanum sjálfum.
Algengar spurningar
Getur gervigreindarsettið keyrt ChatGPT eða álíka LLM?
Ekki í raun í núverandi mynd. Hailo-8L skortir minnisgetu fyrir stór tungumálalíkön, sem venjulega krefjast 4-16GB af sérstöku vinnsluminni bara fyrir þyngd líkana. Hins vegar gætu smærri magnbundin líkön undir 1B breytum keyrt með verulegar takmarkanir á frammistöðu. Dreifða Llama verkefnið sýnir að keyra LLaMA 3 8B yfir fjórar Pi 4 einingar á 1,6 táknum á sekúndu, þó þetta nýti ekki hröðun AI Kitsins.
Hver er munurinn á AI Kit og AI HAT+?
AI Kit notar M.2 mát sem tengist M.2 HAT+ millistykki. AI HAT+ samþættir Hailo flöguna beint á fullt HAT borð og kemur í 13 TOPS ($70) og 26 TOPS ($110) afbrigðum. 26 TOPS útgáfan notar Hailo-8 í stað Hailo-8L. Báðir nota sams konar hugbúnað og bókasöfn, þannig að valið á milli fer eftir því hvort þú þarft M.2 raufina í öðrum tilgangi.
Hvernig er orkunotkun í samanburði við skýjaályktun?
Stórkostlega lægri. Heildar Pi 5 kerfið með virka gervigreindarályktun dregur um 10W, um það bil 240Wh á dag ef það er í gangi stöðugt. Ályktun í skýi myndi krefjast stöðugrar straumspilunar myndbands (hleðsla upp 2-4Mbps) auk API kalla til vinnslu, sem venjulega eyðir meiri bandbreiddarkostnaði og orku í gagnaverinu. Fyrir 24/7 öryggismyndavélarforrit gæti staðbundin vinnsla sparað $20-40 mánaðarlega í bandbreidd og ský API gjöldum.
Get ég notað mörg gervigreindarsett á einum Raspberry Pi 5?
Ekki beint á einum Pi 5, sem hefur aðeins eitt PCIe tengi. Hins vegar, Jeff Geerling sýndi fram á að tengja marga hraða með því að nota PCIe rofa og stækkunartöflur, og náði 51 TOPS samtals yfir ýmsa Hailo og Coral flís, þó að þessi uppsetning sé ekki opinberlega studd og krefst utanaðkomandi aflgjafa.
Hvaða rammatíðni ætti ég að búast við fyrir-rauntímaforrit?
Það fer eftir flækjustiginu þínu og inntaksupplausn. YOLOv8s í 640x640 upplausn nær 80-120 FPS eftir lotustærð. Einfaldari gerðir eins og MobileNet geta náð 200+ FPS. Þyngri gerðir eins og YOLOv8x gætu farið niður í 30-40 FPS. Til samanburðar skynjar sjón manna hreyfingu við 24-30 FPS, þannig að flest rauntímaforrit hafa þægilegt frammistöðurými.
Hversu erfitt er að þjálfa sérsniðnar gerðir?
Þjálfunarfasinn fer fram á borðtölvunni þinni eða skýjatilviki með því að nota staðlað TensorFlow eða PyTorch verkflæði-Hailo flísinn tekur ekki þátt í þjálfun. Umbreytingarferlið krefst þess að læra Hailo Dataflow þýðanda, sem hefur námsferil en inniheldur alhliða skjöl. Búast við 2-3 dögum til að fá fyrsta sérsniðna líkanið þitt í gangi ef þú ert nú þegar kunnugur taugakerfisþjálfun. Þjálfarinn sér um magngreiningu sjálfkrafa, þó að þú þurfir dæmigerð kvörðunargagnasett.
Virkar það með öðrum-einborðstölvum?
AI Kit miðar sérstaklega á Raspberry Pi 5 PCIe viðmótið og formþáttinn. Hins vegar er undirliggjandi Hailo-8L M.2 einingin staðalbúnaður. Tæki eins og Seeed Studio's reComputer R1000 með M.2 raufum geta hýst Hailo eininguna, þó þú þurfir að flytja hugbúnaðarstokkinn. Aðrar SBCs með M.2 raufum (Rock 5B, Orange Pi 5) gætu fræðilega virkað en krefjast verulegrar samþættingar á hugbúnaði.
Hvaða verkefni eru menn eiginlega að byggja?
Samfélagið hefur búið til fjölbreytt forrit. Meðal verkefna eru snjallir pilluskammtarar sem nota hlutgreiningu, dýralífsmyndavélar með tegundaauðkenningu og ringulreið skrifborðsviðvaranir sem telja hluti. Stöðumat gerir líkamsræktarforritum kleift að fylgjast með æfingaformi og telja endurtekningar. Iðnaðarnotendur nota settið til gæðaeftirlits, telja vörur á færiböndum og greina öryggisbrot í-rauntíma myndstraumum.
Að taka ákvörðun: Þegar gervigreindarsettið er skynsamlegt
Raspberry Pi AI Kit skín í sérstökum aðstæðum. Það er tilvalið þegar þú þarft-tölvusjón í rauntíma á rafhlöðuorku eða í innbyggðu umhverfi þar sem skýjatenging er óáreiðanleg. Snjall dyrabjöllur, dýralífsmyndavélar, iðnaðarskoðunarkerfi og vélfærafræðiforrit tákna sætu-verkefnin sem krefjast stöðugrar gervigreindarvinnslu með þröngum leynd og orkukostnaði.
Íhugaðu aðra valkosti þegar kröfur þínar eru mismunandi. Ef þú hefur fyrst og fremst áhuga á LLM eða náttúrulegu tungumálavinnslu þarftu annan vélbúnað-mögulega skjáborðs GPU eða ský API aðgang. Fyrir einstaka gervigreindarverkefni þar sem leynd er ekki mikilvæg gæti skýjaþjónusta reynst -hagkvæmari þrátt fyrir hærri-ályktunarkostnað.
$70 verðpunkturinn staðsetur settið sem tilraunavettvang sem er nógu hagkvæmt til að læra en samt nógu öflugt fyrir frumgerðir í framleiðslu. Með stefnumótandi áherslu Raspberry Pi á gervigreindargetu og 22 vörukynningum árið 2024 mun vistkerfi hugbúnaðarins halda áfram að þroskast og gera fjárfestinguna verðmætari með tímanum.
Gerðu ráðstafanir til viðbótar $ 100-150 fyrir stuðningsíhluti: gæðaaflgjafa, myndavélareiningu, hulstur með kælingu og microSD kort með nægjanlegum hraðaflokki. Heildarkerfiskostnaður upp á $200-250 undirbýr samt gervigreind myndavélakerfi í atvinnuskyni um 50-70% á sama tíma og það býður upp á algjört frelsi til að aðlaga.
Ferill brún gervigreindarmarkaðarins bendir til þess að nú sé stefnumótandi tími til að byggja upp færni með þessum verkfærum. Hvort sem þú ert nemandi og ert að kanna starfsvalkosti, framleiðandi sem framleiðir frumgerðir eða verkfræðingur sem metur tækni til iðnaðaruppsetningar, þá veitir þú skilning á því hvernig Raspberry Pi AI Kit virkar,-reynsla með tölvuarkitektúr sem mun knýja næsta áratug snjalltækja.