MIT, USA — Nakabuo ang mga mananaliksik mula sa Massachusetts Institute of Technology (MIT) ng isang awtomatikong sistema na nagbibigay-daan sa mga developer ng deep learning algorithms na mapapakinabangan sa dalawang uri ng data redundancy. Ito ay naglalayon U-upang mapabuti ang kahusayan ng mga modelong artificial intelligence (AI). Dahil dito, nababawasan ang pangangailangan sa computational power, bandwidth, at memory storage para sa machine learning operations.
Sa kasalukuyan, ang mga umiiral na teknik sa pag-optimize ng algorithms ay kumplikado at limitado lamang sa paggamit ng alinman sa sparsity o symmetry—dalawang magkaibang uri ng redundancy na matatagpuan sa deep learning data structures. Sa pamamagitan ng bagong sistema ng MIT, posible nang pagsamahin ang dalawang ito sa isang algorithm, na nagresulta sa halos 30 beses ang bilis na computation sa ilang eksperimento.
Gumagamit ang sistema ng isang programming language kung saan maaari itong gamitin sa iba't ibang aplikasyon ng machine learning. Makakatulong din ito sa mga siyentipikong hindi eksperto sa deep learning ngunit nais paghusayin ang kahusayan ng kanilang AI algorithms sa pagproseso ng datos. Bukod pa rito, may potensyal itong magamit sa larangan ng scientific computation.
Ayon kay Willow Ahrens, isang postdoctoral researcher sa MIT at co-author ng papel tungkol sa sistemang ito, "Sa mahabang panahon, ang pagkuha ng mga data redundancies ay nangangailangan ng matinding pagsisikap sa pagpapatupad. Sa halip, maaaring ipahayag ng isang siyentipiko ang nais niyang iproseso sa mas abstraktong paraan, nang hindi kinakailangang tukuyin ang eksaktong pamamaraan ng pagproseso."
Pagbabawas ng Computation sa Machine Learning
Madalas na kinakatawan at iniipon bilang multidimensional arrays na tinatawag na tensors ang datos sa machine learning. Maihahalintulad ang tensor sa isang matrix, isang parihabang ayos ng mga halaga sa dalawang axis—mga hanay at kolum. Ngunit, di tulad ng dalawang-dimensional na matrix, ang tensor ay maaaring magkaroon ng maraming dimensyon, kaya't mas mahirap itong manipulahin.
Gumagamit ang deep-learning models ng paulit-ulit na multiplication at addition ng matrices upang matuto ng kumplikadong patterns sa datos. Dahil sa dami ng kalkulasyong kailangang isagawa sa mga multidimensional na istrukturang ito, nangangailangan ito ng malaking computational power at enerhiya.
Ngunit sa paraan ng pagkakaayos ng datos sa tensors, maaaring mapabilis ng mga inhinyero ang neural networks sa pamamagitan ng pag-aalis ng mga hindi kinakailangang computations.
Halimbawa, kung ang isang tensor ay kumakatawan sa user review data ng isang e-commerce site, may posibilidad na karamihan sa mga halaga nito ay zero dahil hindi lahat ng gumagamit ay nagbigay ng review sa bawat produkto. Ang ganitong uri ng data redundancy ay tinatawag na sparsity. Sa pamamagitan ng pag-iimbak at pagproseso lamang ng mga non-zero values, makakatipid sa oras at computation.
Samantala, ang isang tensor ay maaaring symmetric, ibig sabihin, ang itaas at ibabang bahagi nito ay magkapareho. Sa ganitong kaso, kailangang iproseso ng modelo ang kalahati lamang ng tensor, kaya nababawasan ang computation. Ang ganitong uri ng data redundancy ay tinatawag na symmetry.
Pagpapasimple ng Proseso sa Pamamagitan ng SySTeC
Bumuo ang mga mananaliksik ng isang bagong compiler na tinatawag na SySTeC, para mapadali ang prosesong ito. Ang compiler ay isang programang nagta-translate ng kumplikadong code patungo sa mas simpleng wika na maaaring iproseso ng makina. Sa pamamagitan ng SySTeC, awtomatikong nati-take advantage ang parehong sparsity at symmetry sa tensors.
Sa paggawa ng SySTeC, tinukoy ng mga mananaliksik ang tatlong pangunahing optimizations gamit ang symmetry:
Kung ang output tensor ng algorithm ay symmetric, kailangang kalkulahin lamang ang kalahati nito.
Kung ang input tensor ay symmetric, kailangang basahin lamang ang kalahati nito.
Kung ang intermediate results ng tensor operations ay symmetric, maaaring laktawan ang mga hindi kinakailangang computations.
Kapag ginamit ng isang developer ang SySTeC, awtomatikong ini-optimize ng sistema ang kanilang code para sa tatlong uri ng symmetry. Pagkatapos, nagsasagawa ang pangalawang yugto ng SySTeC ng karagdagang mga pagbabago upang itabi lamang ang non-zero values, kaya nagiging mas mahusay sa sparsity ang programa. Sa huli, ang SySTeC ay bumubuo ng handa nang gamitin na code.
Ayon kay Ahrens, "Sa ganitong paraan, natatamo natin ang mga benepisyo ng parehong optimizations. At ang kagiliw-giliw na bagay tungkol sa symmetry ay habang dumarami ang dimensyon ng tensor, mas maraming computation ang natitipid."
Sa isinagawang eksperimento, napatunayan na maaaring mapaikli ng SySTeC ang computation time ng halos 30 beses.
Dahil awtomatiko ang sistema, magiging kapaki-pakinabang ito sa mga sitwasyong kailangang iproseso ng isang siyentipiko ang datos gamit ang algorithm na kanilang nilikha.
Sa hinaharap, nais ng mga mananaliksik na isama ang SySTeC sa kasalukuyang mga compiler systems para sa sparse tensors upang makalikha ng mas madaling gamitin na interface. Nais din nilang palawakin ang saklaw nito upang ma-optimize ang mas komplikadong mga programa.
Ang pananaliksik na ito ay suportado ng Intel, National Science Foundation, Defense Advanced Research Projects Agency, at Department of Energy.
0 Mga Komento