理光開發(fā)出高性能日語大語言模型
新華社東京6月4日電(記者錢錚)日本理光公司日前表示,該公司利用和日本理化學研究所共同研發(fā)得到的指令數(shù)據(jù)訓練理光的日語大語言模型,提高了模型的指令遵循性能。
理光公司3日發(fā)布新聞公報說,他們用10329份指令數(shù)據(jù)對公司研發(fā)的130億參數(shù)日語大語言模型進行了指令調優(yōu)。與調優(yōu)前相比,大語言模型的指令遵循性能得分從1.19分大幅提高至3.02分。
指令調優(yōu)是訓練大語言模型的一個過程,主要為了縮小模型的下一個標記預測目標與用戶期望的模型遵循人類指令的目標之間差距。
理光公司說,隨著老齡化和隨之而來的勞動人口減少,許多企業(yè)寄希望于利用人工智能來提高生產(chǎn)效率,實現(xiàn)高附加值的勞動方法。而要將人工智能應用于實際業(yè)務,需要讓大語言模型追加學習包括企業(yè)所處行業(yè)、所經(jīng)營業(yè)務、以及企業(yè)固有用語等在內的大量數(shù)據(jù)。
相比英語國家圍繞大語言模型研發(fā)的競爭,日語大語言模型的研發(fā)相對滯后。這主要是因為日語的語法和表達與英語完全不同,以英語為基礎的模型難以充分發(fā)揮功能,而研發(fā)適合日語的模型首先必須花時間研究日語的特征。
大語言模型的研發(fā)還需要大量數(shù)據(jù),而日語的數(shù)據(jù)遠少于英語,品質和多樣性方面也存在問題,日語數(shù)據(jù)的收集和完善需要大量時間和成本。大語言模型研發(fā)還需要很高的算力,而日本超算和云等計算資源原本就不足,能運用這些計算資源的技術和人才也不足。
隨便看看:
- [業(yè)內]創(chuàng)業(yè)板公司2022年近八成實現(xiàn)盈利
- [業(yè)內]上海智能制造裝備產(chǎn)業(yè)規(guī)模破千億
- [業(yè)內]報告顯示:我國制造強國建設穩(wěn)中有進
- [業(yè)內]最后一塊基因“拼圖”揭開哪些生命謎團
- [業(yè)內]新研究揭示龜殼可記錄放射性污染
- [業(yè)內]文化新觀察丨智慧旅游,智慧在哪
- [業(yè)內]湖北首次在城市配電網(wǎng)中應用量子加密通信技術
- [業(yè)內]我國啟動2023年珠峰綜合科學考察
- [業(yè)內]新研究:空氣凈化設備難以阻止呼吸道感染
- [業(yè)內]從大模型到通用人工智能 專家學者前瞻人工智能發(fā)展
相關推薦:
網(wǎng)友評論:
推薦使用友言、多說、暢言(需備案后使用)等社會化評論插件