Bagong Paraang Pinapadali ang Pagbuo ng AI-Generated Code sa Anumang Wika

MIT at mga kasosyong mananaliksik ang nag-develop ng isang bagong teknik upang mapabuti ang AI-generated code. Ang layunin ng kanilang proyekto ay matulungan ang mga programmer na mabilis makabuo ng mga code na tumutugon sa mga tamang rules ng programming languages, nang hindi nagiging sanhi ng error o crash sa computer. Bagaman may ilang paraan upang masiguro na ang mga LLMs (large language models) ay sumusunod sa mga patakaran ng programming language, madalas ay nahihirapan ang mga ito sa pagsunod at nangangailangan ng malaking oras o nagiging hindi tumpak.

---

Probabilistic Approach para sa Tumpak na Code

Ang bagong probabilistic technique na pinangunahan ng mga mananaliksik ay awtomatikong naggagabay sa LLMs upang makabuo ng mga output na ayon sa tamang sintaks ng isang programming language at walang error. Ang key na konsepto dito ay ang pag-allocate ng effort sa mga output na may pinakamataas na pagkakataon na maging valid at accurate, habang iniiwasan ang mga hindi kapaki-pakinabang na resulta sa simula pa lamang ng proseso. Ang teknik na ito ay nakakatulong upang maging mas efficient ang computational resources.

Mga Kahaliling Aplikasyon:

• Pag-generate ng Python code
• SQL database queries
• Molecular biology simulations
• Robot plans

Sa kabila ng maliit na LLMs, nakapag-perform sila nang mas tumpak kaysa sa mas malalaking models na ginagamit sa mga aplikasyon sa real-world scenarios.

---

Pagpapabuti ng Maliit na Models

Isang malaking bahagi ng tagumpay ng teknik na ito ay ang paggamit ng mas maliit na models na magagampanan ang parehong mga gawain na isinasagawa ng mas malalaking models. Halimbawa, sa Python code generation, isang small open-source model ang nakapag-perform nang mas mahusay kaysa sa commercial closed-source model na mas malaki ang size ng higit sa dalawang beses.

Excited kami na ang maliliit na models ay kaya nang mag-perform nang higit pa kaysa sa inaasahan.

 Sabi ni João Loula, isang MIT graduate student at co-lead author ng papel.

---

Pagsisiguro ng Tamang Estruktura at Kahulugan

Ang tradisyonal na approach ay karaniwang nagsusuri ng buong output (halimbawa, block ng code) upang tiyakin na ito ay valid at walang error. Gayunpaman, ang patuloy na pag-check habang nagsusulat ay maaaring magdulot ng pagkawala sa kahulugan o accuracy ng code. Ayon kay Loula:

Mas madaling ipatupad ang estruktura kaysa sa kahulugan. Maaari mong mabilis na suriin kung ang code ay nasa tamang programming language, ngunit ang pagsisiguro ng kahulugan ay nangangailangan ng pagsusuri sa aktwal na code execution.

Sa kanilang sequential Monte Carlo technique, nagsasagawa ng parallel computation ang LLMs, at pinipili ang mga output na may pinakamataas na probability ng pagiging valid at tamang kahulugan.

---

Mga Pagpapabuti at Hinaharap na Pagsusuri

Gamit ang bagong paraan, ang mga maliliit na models ay nagkaroon ng kakayahang gumawa ng mas tumpak na outputs habang mas kaunting resources ang kinakailangan. Inaasahan nilang mapapalawak pa ito upang kontrolin ang mas malalaking piraso ng teksto, hindi lamang ang mga maliliit na bahagi, at magdagdag ng learning component upang magtulungan ang model at ang mga researcher sa pagpapabuti ng accuracy nito.

Mga Potensyal na Aplikasyon:

• Business analytics at queries gamit ang natural language.
• Automated data modeling at machine-assisted data analysis systems.

---

Pangmatagalang Epekto sa AI at Pag-unawa ng Komunikasyon ng Makina

Ang research na ito ay hindi lang nakatutok sa pagpapadali ng AI-generated code kundi pati na rin sa pagpapalawak ng pag-unawa kung paano maaaring magsalita at mag-modelo ang machines katulad ng tao. Sinasabi ni Timothy O'Donnell, co-author ng pag-aaral:

Isa sa mga pangunahing tanong sa linggwistika ay kung paano maaaring ma-ground ang kahulugan ng mga salita sa mga modelo ng mundo. Ang papel na ito ay nagpapakita na, sa mga simbolikong domain, maaaring i-map ang mga salita sa grounded meanings.

 Ang proyektong ito ay pinondohan ng Canada CIFAR AI Chairs Program, MIT Quest for Intelligence, at Convergent Research.