Saturs
Papildus skaitļošanas fotogrāfijai, augstas kvalitātes kameru aparatūrai un attēla signālu procesoriem progresīvāko mobilo fotogrāfiju arvien vairāk darbina mašīnmācīšanās algoritmi - kas pazīstami arī kā mākslīgais intelekts (AI). Šī fotografēšanas tehnika sola uzlabot kvalitāti, virzoties uz DSLR līdzīgu kvalitāti, vienlaikus piedāvājot jaunus radošus veidus, kā fotografēt un rediģēt attēlus un video.
Mašīnmācības atslēga ir neironu tīklu izmantošana. Šis ir algoritma veids, kuru bieži pielīdzina cilvēka smadzenēm. Šis salīdzinājums ir iegūts, ņemot vērā neironu tīkla spēju apmācīt, izmantojot datus, atpazīt modeļus, ļaujot tam ļoti precīzi klasificēt sarežģītus datu tipus, piemēram, audio un attēlus.
Runājot par fotogrāfiju, spējai novērot, mācīties, ģenerēt un klasificēt ir plašs pielietojums. Šajās lietojumprogrammās var ietilpt funkcijas, piemēram, izmantojot skaitļošanas fotografēšanas paņēmienus, lai uzlabotu pēcapstrādes algoritmus, reāllaika programmatūras bokeh ar 4K video vai pat pilnīgi nomainītu valkāto apģērbu krāsas.
Kā darbojas neironu tīkli
Neironu tīkli ir ļoti sarežģīta tēma, tāpēc šeit mēs apskatīsim tikai pamatus. Lai iegūtu pilnīgāku lasīšanu, skatiet ceļvežus šeit un šeit.
Neironu tīklus veido mezgli, kas ir pazīme tam, kur tiek veikti daži aprēķini. Katrs mezgls apvieno ieeju ar svaru, kas pastiprina vai samazina šī konkrētā mezgla nozīmīgumu. Vairāki mezgli bieži darbojas paralēli, izveidojot mezglu slāni, kas veic lielāku uzdevumu. Tā varētu būt, piemēram, funkciju noteikšana attēlā. Vairākus mezglus un slāņus var summēt un nodot citiem mezgliem un slāņiem, veidojot dziļāku tīklu ar jaudīgākām iespējām.
Katra mezgla un slāņa izlaide tiek mērogota kā varbūtības funkcija. Aplūkojot daudz dažādu funkciju un atribūtu, neironu tīkls var vērtēt ievadi kā varbūtības sakritību pret visiem paredzamajiem potenciālajiem izvadiem. Tādā veidā attēla noteikšanas algoritmi izlemj, vai attēls izskatās vairāk kā kaķis vai oranžs, bet jums tas ir jāpasaka, kas vispirms jāmeklē.
Neironu tīkli nav ieprogrammēti gluži kā tradicionālie datoru algoritmi. Tā vietā viņi tiek apmācīti par datu kopām, piemēram, attēliem, skaņas failiem utt. Katra mezgla svaru laika gaitā koriģē pakāpeniski, izmantojot atgriezeniskās saites cilpu, pamatojoties uz to, cik labi tīklam veicās, ieejas saskaņojot ar pareizajām izejām. Pakāpeniska noteikumu “apguve” prasa daudz sagatavošanās, laika un skaitļošanas jaudas, taču dod fenomenāli precīzus rezultātus.
Neironu tīkli viedtālruņa iekšpusē
Neironu tīklus var darbināt ar dažādiem aparatūras komponentiem, ieskaitot CPU un GPU daļas, kas ir izplatītas daudzās skaitļošanas ierīcēs, ieskaitot jūsu viedtālruni. Tomēr dažiem neironu tīkliem var būt nepieciešama lielāka apstrādes jauda, nekā var dot šie aparatūras komponenti, un speciāla aparatūra var nodrošināt optimālu nepieciešamo apstrādi.
Piemēram, Qualcomm® Snapdragon ™ 855 mobilajā platformā jūs atradīsit jaunāko Qualcomm® Hexagon ™ 690 digitālo signālu procesoru (DSP), kas lepojas ar uzlabotām vektoru apstrādes vienībām un jaunu Tensor paātrinātāju, kas īpaši paredzēts mašīnmācīšanās uzdevumiem. Citām Snapdragon mobilajām platformām ir arī Hexagon DSP komponents ar dažādām iespējām. Neironu tīkli neaprobežojas tikai ar DSP darbību Snapdragon un citās mobilajās platformās. Izmantotā procesora tips ir atkarīgs no noslodzes.
Qualcomm Snapdragon 855 mašīnu apguves uzlabojumi salīdzinājumā ar iepriekšējo paaudzi
Qualcomm Technologies atver savas DSP un mašīnmācīšanās iespējas trešo pušu izstrādātājiem, izmantojot savu Qualcomm® neirālo apstrādes SDK. Tas ļauj lietotnēm palaist neironu tīklus jebkurā no aparatūras kodoliem Snapdragon mobilajā platformā. Piemēram, Google Pixel viedtālruņi pieslēdzas Hexagon DSP un savam Visual Core, lai paātrinātu iespaidīgo HDR + fotografēšanas funkciju. Qualcomm Technologies sadarbojas ar programmatūras pārdevējiem, piemēram, Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho un citiem, atbalstot funkcijas, sākot no video bokeh līdz iemiesojuma izveidošanai, izmantojot mašīnu mācīšanos, kas darbojas DSP.
AI varētu veidot fotogrāfijas nākotni
Tagad mēs zinām, kā darbojas neironu tīkli, svarīgs jautājums ir, ko tas varētu dot mums un mūsu fotogrāfijām?
Neironu tīkli tiek izmantoti, lai uzlabotu parasto fotografēšanas algoritmu klāstu. Trokšņa samazināšanu, piemēram, var uzlabot ar apmācību, lai piedāvātu izcilu attēla tīrīšanu, kas pielāgota konkrētai kamerai vai kadra veidam. Tāpat vājā apgaismojumā neironu tīkls varētu noteikt attēla spilgtas un tumšas daļas, ļaujot uzlabot apgaismojumu un krāsas konkrētās ainas daļās.
Viedtālruņu fotografēšanā arvien biežāk tiek izmantoti progresīvāki lietošanas gadījumi. Augstas izšķirtspējas tālummaiņas izmanto neironu tīklus, lai vairākus attēlus apvienotu vienā augstas izšķirtspējas attēlā, lai iegūtu labāku digitālo tuvinājumu. Neironu tīklus var arī apmācīt, lai precīzi sašūtu vairākas foto ekspozīcijas, lai uzlabotu HDR un nakts kadrus.
AI fotografēšana varētu ietvert superizšķirtspējas tālummaiņu, reālā laika attēlojumu un uzlabotu attēla kvalitāti.
Videoklips varētu gūt labumu arī no šīs tehnoloģijas ieviešanas. Objektu noteikšana reāllaikā ir izstrādāta, lai ļautu lietotnēm ievietot programmatūras bokeh efektus tieši video ierakstīšanas laikā. Līdzīgas metodes atbalsta arī reāllaika objektu apmaiņu un noņemšanu. Tas ietver fona apmaiņu videoklipā, krāsu maiņu vai noņemšanu un pat apģērba priekšmetu nomaiņu vai digitālo iemiesojumu uzlikšanu tieši jūsu videoklipā.
Neironu tīkla un AI fotografēšanas spēks svārstās no kvalitātes uzlabojumiem, kas palīdz novērst plaisu DSLR, līdz jaudīgiem radošuma rīkiem, kas palīdz padarīt unikāla satura ražošanu vēsmu. Jebkurā gadījumā tā ir jaudīga tehnoloģija, kas ir būtiska turpmākiem uzlabojumiem mobilās fotogrāfijas jomā.
Nākamais: Google Pixel 3 XL starptautiskā dāvana!
Satura sponsorētājs ir Qualcomm Technologies, Inc.
Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine un Qualcomm Kryo ir Qualcomm Technologies, Inc. un / vai tā meitasuzņēmumu produkti.
