圖：理大人文學(xué)院院長李平表示，是次發(fā)現(xiàn)有助推動(dòng)未來相關(guān)研究。

 

　　【大公報(bào)訊】記者郭如佳報(bào)道：運(yùn)用深度學(xué)習(xí)演算法訓(xùn)練生成式人工智能（GenAI）的大語言模型近年備受關(guān)注。香港理工大學(xué)最近一項(xiàng)研究發(fā)現(xiàn)，如果以人類處理語言的類似方式進(jìn)行訓(xùn)練，大語言模型理解語言的表現(xiàn)就更像人類腦部。領(lǐng)導(dǎo)該研究的理大人文學(xué)院院長李平表示，此項(xiàng)研究解釋了如何利用大語言模型研究人類大腦加工語言的高級機(jī)制，還能促進(jìn)人工智能和認(rèn)知神經(jīng)科學(xué)領(lǐng)域研究人員之間的互動(dòng)與合作，推動(dòng)未來相關(guān)研究。

　　現(xiàn)有的大語言模型主要依賴于上下文單詞預(yù)測單一類型的訓(xùn)練。近期研究亦表明，大語言模型中的單詞預(yù)測可以作為人類處理語言的認(rèn)知模型。然而，人類平時(shí)理解語言時(shí)不僅只會(huì)預(yù)測下一個(gè)單詞，還會(huì)整合自然語言理解中的高層次信息。

　　理大人文學(xué)院院長兼冼為堅(jiān)基金人文與科技講座教授李平領(lǐng)導(dǎo)的研究團(tuán)隊(duì)，將模擬人腦評估句子之連貫性的“下一句子預(yù)測”（Next Sentence Prediction，NSP）納入模型預(yù)訓(xùn)練，并檢驗(yàn)?zāi)Ｐ蛿?shù)據(jù)與腦活動(dòng)的相關(guān)性。研究發(fā)現(xiàn)NSP能用來預(yù)測前后句子怎樣互相關(guān)聯(lián)，與人類語義理解的神經(jīng)模型非常脗合，亦能強(qiáng)化大語言模型的能力。

　　與只學(xué)習(xí)單詞預(yù)測的模型相比，NSP增強(qiáng)模型與腦數(shù)據(jù)在多個(gè)腦區(qū)顯示出更一致。研究結(jié)果亦提供了新見解，了解人類大腦如何加工語義，包括右腦在理解語義中的重要作用。其他發(fā)現(xiàn)亦顯示大語言模型納入NSP的優(yōu)勢，即基于增強(qiáng)模型的“模型─腦對應(yīng)”分?jǐn)?shù)可以更好地預(yù)測人的閱讀速度。

　　近期如ChatGPT的大語言模型主要通過無限擴(kuò)充訓(xùn)練資料和模型規(guī)模以提升能力。李平表示，僅依靠這種極度擴(kuò)展的方式存在很多局限，新的突破則有賴于我們將大模型變得更像人腦那樣不需要海量數(shù)據(jù)，更高效益。他亦指出，像NSP這類多樣化的學(xué)習(xí)任務(wù)可以改進(jìn)大語言模型的人性化水準(zhǔn)，使其更加接近人類智慧。

相關(guān)熱詞搜索：

上一篇：極端天氣趨頻繁 增塌泥預(yù)警
下一篇：最后一頁