Saturs

• Ierobežots enerģijas budžets
• Joslas platums un augstas izšķirtspējas
• Zems latentuma un displeja paneļi
• Audio un sensori
• Izstrādātāji un programmatūra
• Satīt

Beidzot mēs dziļi iedziļināmies revolūcijā, kā daži to var teikt, tirgū ir daudz aparatūras un programmatūras produktu un resursi, kas tiek izmantoti, lai stimulētu jauninājumus. Tomēr ir pagājis vairāk nekā gads, kopš šajā telpā tiek laisti tirgū lielie ražojumi, un mēs joprojām gaidām šo slepkavas lietojumprogrammu, lai virtuālā realitāte kļūtu par galveno panākumu. Kamēr mēs gaidām, jaunievedumi turpina padarīt virtuālo realitāti par dzīvotspējīgāku komerciālu iespēju, taču joprojām ir jāpārvar vairāki tehniski šķēršļi, jo īpaši mobilajā VR telpā.

Ierobežots enerģijas budžets

Visredzamākais un labi apspriestais izaicinājums, ar kuru saskaras mobilās virtuālās realitātes lietojumprogrammas, ir daudz ierobežotākais enerģijas budžets un termiskie ierobežojumi, salīdzinot ar tā galddatora ekvivalentu. Intensīvu grafikas lietojumprogrammu palaišana no akumulatora nozīmē, ka akumulatora darbības laika saglabāšanai ir nepieciešami mazāki enerģijas komponenti un efektīva enerģijas izmantošana. Turklāt apstrādes aparatūras tuvums lietotājam nozīmē, ka arī siltumenerģijas budžetu nevar palielināt. Salīdzinājumam - mobilais tālrunis parasti darbojas zem 4 vatu robežas, savukārt galddatora VR GPU var viegli patērēt 150 vatus vai vairāk.

Tiek plaši atzīts, ka mobilais VR neder uz galddatora aparatūru, lai iegūtu jaudu, taču tas nenozīmē, ka patērētāji nepieprasa ieskaujošu 3D pieredzi ar izteiksmīgu izšķirtspēju un ar lielu kadru ātrumu.

Tiek plaši atzīts, ka mobilais VR negarantēs galddatora aparatūras neapstrādātu jaudu, taču tas nenozīmē, ka patērētāji, neskatoties uz ierobežoto jaudu, nepieprasīs ieskaujošu 3D pieredzi ar izteiksmīgu izšķirtspēju un ar lielu kadru ātrumu. budžets. Starp 3D video skatīšanos, 360 grādu atjaunotu vietu izpēti un pat spēlēm joprojām ir daudz lietojuma gadījumu, kas piemēroti mobilajam VR.

Atskatoties uz tipisko mobilo SoC, tas rada papildu problēmas, kuras tiek reti novērtētas. Kaut arī mobilie SoC var ievietot pareizu astoņkodolu CPU izkārtojumu un ievērojamu GPU jaudu, šīs mikroshēmas nav iespējams darbināt ar pilnu slīpumu gan iepriekš patērētā enerģijas patēriņa, gan termisko ierobežojumu dēļ. Patiesībā CPU mobilajā VR instancē vēlas darboties pēc iespējas mazāk laika, atbrīvojot GPU, lai patērētu lielāko daļu ierobežotā enerģijas budžeta. Tas ne tikai ierobežo pieejamos resursus spēles loģikai, fizikas aprēķiniem un pat fona mobilajiem procesiem, bet arī apgrūtina būtiskos VR uzdevumus, piemēram, pieaicināt uz stereoskopisko renderēšanu.

Nozare jau strādā pie risinājumiem, kas neattiecas tikai uz mobilajām ierīcēm. Vairāku attēlu atveidošana tiek atbalstīta OpenGL 3.0 un ES 3.0, un to izstrādājuši līdzautori no Oculus, Qualcomm, Nvidia, Google, Epic, ARM un Sony. Multiview ļauj veikt stereoskopisku atveidošanu, izmantojot tikai vienu izsaukuma zvanu, nevis vienu katram skata punktam, samazinot CPU prasības un samazinot arī GPU virsotnes darbu. Šī tehnoloģija var uzlabot veiktspēju par 40 līdz 50 procentiem. Mobilajā telpā Multiview jau atbalsta vairākas ARM Mali un Qualcomm Adreno ierīces.

Vēl viens jauninājums, kas, domājams, parādīsies gaidāmajos mobilajos VR izstrādājumos, ir izlobīšana. Pielietojums kopā ar acu izsekošanas tehnoloģiju atvieglo GPU slodzi, padarot lietotāja precīzu fokusa punktu tikai ar pilnīgu izšķirtspēju un samazinot perifēriskajā redzējumā esošo objektu izšķirtspēju. Tas labi papildina cilvēka redzes sistēmu un var ievērojami samazināt GPU slodzi, tādējādi ietaupot enerģiju un / vai atbrīvojot vairāk enerģijas citiem CPU vai GPU uzdevumiem.

Joslas platums un augstas izšķirtspējas

Kaut arī mobilajās VR situācijās apstrādes jauda ir ierobežota, platformai joprojām tiek izvirzītas tādas pašas prasības kā citām virtuālās realitātes platformām, ieskaitot prasības attiecībā uz mazu latentumu un augstas izšķirtspējas displeja paneļiem. Pat tie, kas ir skatījušies VR displejus, kas lepojas ar QHD (2560 x 1440) izšķirtspēju vai Rift austiņu 1080 × 1200 izšķirtspēju uz vienu aci, iespējams, būs nedaudz pasliktinājuši attēla skaidrību. Alias ​​veidošana ir īpaši problemātiska, ņemot vērā, ka mūsu acis ir tik tuvu ekrānam, un malas kustības laikā izskatās īpaši aptuvenas vai robainas.

Kaut arī mobilajās VR situācijās apstrādes jauda ir ierobežota, platformai joprojām tiek izvirzītas tādas pašas prasības kā citām virtuālās realitātes platformām, ieskaitot prasības attiecībā uz mazu latentumu un augstas izšķirtspējas displeja paneļiem.

Brutālā spēka risinājums ir palielināt displeja izšķirtspēju, ar nākamo loģisko progresu sasniedzot 4K. Tomēr ierīcēm ir jāuztur augsts atsvaidzināšanas frekvence neatkarīgi no izšķirtspējas, 60Hz tiek uzskatīts par minimālo, bet 90 vai pat 120Hz ir daudz vēlamāks. Tas uzliek lielu slodzi sistēmas atmiņai - no divām līdz astoņām reizēm vairāk nekā mūsdienu ierīcēm. Atmiņas joslas platums mobilajā VR jau ir ierobežotāks nekā galddatoru izstrādājumos, kuri izmanto ātrāku veltītu grafisko atmiņu, nevis kopīgu baseinu.

Starp iespējamiem risinājumiem, kā ietaupīt grafikas joslas platumu, ir saspiešanas tehnoloģiju izmantošana, piemēram, ARM un AMD Adaptive Scalable Texture Compression (ASTC) standarts vai nezaudējamais Ericsson Texture Compression formāts, kas abi ir oficiāli OpenGL un OpenGL ES paplašinājumi. ASTC tiek atbalstīts arī aparatūrā ARM jaunākajos Mali GPU, Nvidia Kepler un Maxwell Tegra SoCs un Intel jaunākajos integrētajos GPU, un dažos scenārijos tas var ietaupīt vairāk nekā 50 procentu joslas platuma, salīdzinot ar nesaspiestu faktūru izmantošanu.

Tekstūras saspiešanas izmantošana var ievērojami samazināt joslas platumu, latentumu un atmiņu, kas nepieciešama 3D lietojumprogrammām. Avots - ARM.

Var ieviest arī citas metodes.Izmantojot tesselāciju, no vienkāršākiem objektiem var izveidot detalizētāku izskata ģeometriju, kaut arī nepieciešami citi nozīmīgi GPU resursi. Atliktā renderēšana un Pixel Kill pārsūtīšana var izvairīties no aizklātu pikseļu atveidošanas, savukārt Binning / Flīžu arhitektūras var izmantot, lai sadalītu attēlu mazākos režģos vai flīzēs, kuras katra tiek atveidota atsevišķi - tas viss ļauj ietaupīt joslas platumu.

Alternatīvi vai, vēlams, papildus, izstrādātāji var upurēt attēla kvalitāti, lai samazinātu slodzi uz sistēmas joslas platumu. Ģeometrijas blīvumu var upurēt vai agresīvāku izciršanu var izmantot, lai samazinātu slodzi, un virsotņu datu izšķirtspēju var samazināt līdz 16 bitu līmenim, salīdzinot ar tradicionāli izmantoto 32 bitu precizitāti. Daudzas no šīm metodēm jau tiek izmantotas dažādās mobilajās pakotnēs, un tās kopā var palīdzēt samazināt joslas platuma slodzi.

Atmiņa ir ne tikai būtisks ierobežojums mobilajā VR telpā, bet arī diezgan liels enerģijas patērētājs, bieži vien vienāds ar CPU vai GPU patēriņu. Ietaupot atmiņas joslas platumu un izmantošanu, pārnēsājamiem virtuālās realitātes risinājumiem vajadzētu redzēt ilgāku akumulatora darbības laiku.

Zems latentuma un displeja paneļi

Runājot par latentuma jautājumiem, līdz šim mēs esam redzējuši tikai VR austiņas, kas sportizē ar OLED displeju paneļiem, un tas galvenokārt ir saistīts ar ātro pikseļu pārslēgšanās laiku, kas mazāks par milisekundi. Vēsturiski LCD ir bijis saistīts ar spoguļošanas problēmām ar ļoti ātru atsvaidzināšanas ātrumu, padarot tās diezgan nepiemērotas VR. Tomēr ļoti augstas izšķirtspējas LCD paneļus joprojām ir lētāk ražot nekā OLED ekvivalentus, tāpēc pāreja uz šo tehnoloģiju varētu palīdzēt samazināt VR austiņu cenu līdz pieejamākam līmenim.

Kustībai pret fotonu latentumu jābūt mazākam par 20ms. Tas ietver kustības reģistrēšanu un apstrādi, grafikas un audio apstrādi un displeja atjaunināšanu.

Displeji ir īpaši svarīga daļa no virtuālās realitātes sistēmas kopējā latentuma, bieži vien padarot atšķirību starp šķietamo un apakšvērtību pieredzi. Ideālā sistēmā kustības pret fotonu latentumam - laikam, kas paiet starp galvas pārvietošanu un displeja reakciju - vajadzētu būt mazākai par 20 milisekundēm. Skaidrs, ka 50ms displejs šeit nav labs. Ideālā gadījumā paneļiem jābūt mazākiem par 5 ms, lai pielāgotos arī sensoram un apstrādes latentumam.

Pašlaik notiek izmaksu izlīdzināšanās, kas atbalsta OLED, taču tas drīz varētu mainīties. LCD paneļi ar atbalstu lielākiem atsvaidzināšanas ātrumiem un zemu melnbaltu reakcijas laiku, kas izmanto progresīvas tehnikas, piemēram, mirgojošas aizmugurējās gaismas, varētu labi ietilpt rēķinā. Japan Display pagājušajā gadā parādīja tieši šādu paneli, un, iespējams, redzēsim, ka arī citi ražotāji paziņo par līdzīgām tehnoloģijām.

Audio un sensori

Kaut arī liela daļa parasto virtuālās realitātes tēmu ir saistītas ar attēla kvalitāti, ieskaujošajam VR ir nepieciešama arī augsta izšķirtspēja, telpiski precīzs 3D audio un zema latentuma sensori. Mobilajā sfērā tas viss ir jādara tajā pašā ierobežotajā enerģijas budžetā, kas ietekmē centrālo procesoru, GPU un atmiņu, kas rada papildu problēmas.

Iepriekš esam apskatījuši sensora latentuma problēmas, kurās kustība jāreģistrē un jāapstrādā kā daļa no 20 jūdžu kustības līdz fotonam latentuma ierobežojuma. Ja ņemam vērā, ka VR austiņas izmanto 6 kustības pakāpes - pagriešanos un virzienu katrā no X, Y un Z asīm - un tādas jaunas tehnoloģijas kā acu izsekošana, tiek savākts un apstrādāts ievērojams daudzums pastāvīgu datu, visi ar minimālu latentums.

Risinājumiem, lai šo latentumu pēc iespējas mazāk saglabātu, nepieciešama visaptveroša pieeja, gan ar aparatūru, gan ar programmatūru nodrošinot šos uzdevumus paralēli. Par laimi mobilajām ierīcēm ļoti bieži tiek izmantoti īpaši mazjaudas sensoru procesori un vienmēr ieslēgta tehnoloģija, un tie darbojas ar diezgan mazu jaudu.

Audio stāvoklim 3D pozīcija ir tehnika, kas jau sen tiek izmantota spēlēm un tādām, bet ar galviņu saistītas pārsūtīšanas funkcijas (HRTF) izmantošana un konvolūcijas reverba apstrāde, kas nepieciešama reālistiskai skaņu avota pozicionēšanai, ir diezgan intensīvi procesors. Lai gan tos var veikt ar centrālo procesoru, speciālais digitālo signālu procesors (DSD) var daudz efektīvāk veikt šāda veida procesus gan apstrādes laika, gan jaudas ziņā.

Apvienojot šīs funkcijas ar jau pieminētajām grafikas un displeja prasībām, ir skaidrs, ka visefektīvākais veids, kā apmierināt šīs vajadzības, ir vairāku specializētu procesoru izmantošana. Mēs esam redzējuši, ka Qualcomm izmanto lielāko daļu sava flagmaņa un visjaunāko vidējā līmeņa Snapdragon mobilo platformu neviendabīgo aprēķināšanas iespēju, kas apvieno dažādas apstrādes vienības vienā paketē ar iespējām, kas labi kalpo daudzu šo mobilo VR vajadzību apmierināšanai. Mēs, visticamāk, redzēsim paketes jaudas veidu daudzos mobilajos VR produktos, ieskaitot atsevišķu portatīvo aparatūru.

Izstrādātāji un programmatūra

Visbeidzot, neviens no šiem aparatūras uzlabojumiem nav daudz labs bez programmatūras komplektiem, spēļu motoriem un SDK, lai atbalstītu izstrādātājus. Galu galā mums nevar būt, ka katrs izstrādātājs no jauna izgudro riteni katrai lietojumprogrammai. Ja mēs redzēsim plašu lietojumprogrammu klāstu, ir ļoti svarīgi saglabāt attīstības izmaksas zemu un pēc iespējas ātrāku.

Īpaši SDK ir svarīgi, lai īstenotu galvenos VR apstrādes uzdevumus, piemēram, asinhrono laika vilku, objektīva kropļojumu korekciju un stereoskopisko renderēšanu. Nemaz nerunājot par enerģijas, termisko un apstrādes pārvaldību neviendabīgajos aparatūras iestatījumos.

Par laimi visi lielākie aparatūras platformu ražotāji izstrādātājiem piedāvā SDK, kaut arī tirgus ir diezgan sadrumstalots, kā rezultātā trūkst starpplatformu atbalsta. Piemēram, Google ir savs VR SDK Android ierīcēm un īpašs SDK populārajam Unity dzinējam, savukārt Oculus mobilais SDK ir veidots kopā ar Samsung Gear VR. Svarīgi ir tas, ka Khronos grupa nesen atklāja savu OpenXR iniciatīvu, kuras mērķis ir nodrošināt API, kas aptver visas galvenās platformas gan ierīču, gan lietojumprogrammu līmeņa slāņos, lai atvieglotu dažādu platformu attīstību. OpenXR varēja redzēt atbalstu savā pirmajā virtuālās realitātes ierīcē kaut kad pirms 2018. gada.

Satīt

Neskatoties uz dažiem jautājumiem, tehnoloģija tiek izstrādāta, un zināmā mērā jau šeit, kas padara mobilo virtuālo realitāti izmantojamu daudzām lietojumprogrammām. Mobilajam VR ir arī vairākas priekšrocības, kuras vienkārši neattiecas uz galddatoru ekvivalentiem, kas arī turpmāk to padarīs par platformu, kas ir vērts ieguldījumiem un intrigām. Pārnesamības faktors padara mobilo VR par pievilcīgu platformu multimediju baudīšanai un pat vieglai spēlei, bez nepieciešamības pēc vadiem, kas savienoti ar jaudīgāku datoru.

Turklāt milzīgais skaits mobilo ierīču tirgū, kuras arvien vairāk tiek aprīkotas ar virtuālās realitātes iespējām, padara to par izvēles platformu, lai sasniegtu lielāko mērķauditoriju. Ja virtuālā realitāte jākļūst par vispārpieņemtu platformu, tai nepieciešami lietotāji, un mobilā ir vislielākā lietotāju bāze, kurai pieskarties.