作者：林嘉亮審校：陳之炎

本文約3500字，建議閱讀10分鐘相當(dāng)多的作者沒(méi)有向用戶提供足夠詳細(xì)的文檔，導(dǎo)致了一些重要信息的缺失。

看到一篇絕佳的AI論文，非常期待作者能提供源代碼，全文搜索HTTP，可惜出來(lái)的都不是源代碼的鏈接。好不容易碰到一篇附帶源代碼的論文，點(diǎn)進(jìn)去卻是大大的404。終于發(fā)現(xiàn)某個(gè)不是404的源代碼倉(cāng)庫(kù)，結(jié)果只是放上了幾句說(shuō)明，寫著“代碼coming soon”，然后一等就是一萬(wàn)年......

所以，AI頂會(huì)論文中附帶源代碼的占比究竟有多少？這些代碼中有多少已經(jīng)失效了？這些代碼的特點(diǎn)如何？作者是否為讀者提供了足夠詳細(xì)的文檔來(lái)運(yùn)行這些源代碼？

來(lái)自廈門大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室的團(tuán)隊(duì)發(fā)文回答了這幾個(gè)問(wèn)題，論文信息如圖1所示。

圖1 ?本文相關(guān)學(xué)術(shù)論文信息

論文作者設(shè)計(jì)了一個(gè)基于SciBERT的分類方法，分析AI論文內(nèi)URL所在句子的語(yǔ)義信息，可以準(zhǔn)確判斷URL是否為所屬論文自身附帶的源代碼倉(cāng)庫(kù)鏈接。該方法的accuracy為0.939，F(xiàn)1-score達(dá)0.909。

用這個(gè)方法，分析2010至2019年的十個(gè)AI頂會(huì)：AAAI、ACL、CVPR、ECCV、EMNLP、ICCV、ICLR、ICML、IJCAI和NeurIPS。實(shí)驗(yàn)結(jié)果表明：共有20.5%的論文被認(rèn)定是附帶源代碼的論文，其中只有大約一半的論文被Papers With Code索引到并提取了源代碼的鏈接，證明了該方法的先進(jìn)性。

作者檢查了所有鏈接的有效性，發(fā)現(xiàn)有8.1%的鏈接已經(jīng)失效。一些URL因?yàn)榫W(wǎng)站的重構(gòu)而無(wú)法訪問(wèn)。有些則被刪除或變成了私有倉(cāng)庫(kù)，導(dǎo)致了GitHub中出現(xiàn)404錯(cuò)誤。有些是可以正常訪問(wèn)的URL，但并沒(méi)有提供源代碼。

源代碼是和被接收的論文一起發(fā)布的，論文中附帶的源代碼也是論文可以被接收的因素之一，因此源代碼是論文不可缺少的一部分。刪除線上的源代碼，實(shí)質(zhì)上等于破壞了論文的完整性。這樣的行為應(yīng)該被禁止。作者應(yīng)該盡力保持論文中包含源代碼倉(cāng)庫(kù)URL的可訪問(wèn)性。對(duì)于網(wǎng)站重建的情況，應(yīng)在原始URL上添加重定向鏈接。

作者同時(shí)分析了這些源代碼的特點(diǎn)，直接看論文的圖表。

AI頂會(huì)附帶源代碼的百分比如圖2所示。

圖2 AI頂會(huì)附帶源代碼的百分比

從圖2可以看出，從2010年到2019年，所有10個(gè)AI頂會(huì)論文附帶源代碼的比例都在增加。前三名的會(huì)議是ICLR、ACL和EMNLP。自2018年以來(lái)，ACL上附帶源代碼論文的比例已經(jīng)超過(guò)50%。2019年的EMNLP、ICLR和NeurIPS也超過(guò)了40%。NLP類頂會(huì)論文附帶源代碼的比例較高，而CV類頂會(huì)論文附帶源代碼的比例相對(duì)較低。AAAI和IJCAI論文附帶源代碼的比例在排名中處于末兩位。

AI頂會(huì)論文總數(shù)、附帶源代碼論文數(shù)和附帶源代碼論文比例如圖3所示。

圖3 ?AI頂會(huì)論文總數(shù)、附帶源代碼論文數(shù)和附帶源代碼論文比例

從圖3可以看出，過(guò)去10年中，論文總數(shù)、附帶源代碼論文數(shù)和附帶源代碼論文比例都在增加。在2019年，論文總數(shù)差不多達(dá)到8,500篇，附帶源代碼論文數(shù)接近3,000篇?？梢钥闯?，附帶源代碼論文比例在短短10年內(nèi)從約5%增長(zhǎng)到了約35%。在AI頂會(huì)上，隨論文發(fā)布源代碼的勢(shì)頭在不斷增強(qiáng)。

AI頂會(huì)附帶源代碼的發(fā)布平臺(tái)分布如圖4所示。

圖4 ?AI頂會(huì)附帶源代碼的發(fā)布平臺(tái)分布圖

從圖4可以看出，大多數(shù)作者選擇了GitHub作為發(fā)布他們?cè)创a的平臺(tái)。只有少部分作者把他們的代碼發(fā)布到了其他代碼平臺(tái)。此外，將近三分之一的作者把代碼發(fā)布在了自己的網(wǎng)頁(yè)和FTP服務(wù)器上。需要特別說(shuō)明的是，一些這樣的網(wǎng)頁(yè)包含有項(xiàng)目介紹，各類資源和GitHub源代碼倉(cāng)庫(kù)的鏈接，這被視為是屬于發(fā)布在自己網(wǎng)頁(yè)這類。

GitHub已經(jīng)成為了AI社區(qū)事實(shí)上的源代碼平臺(tái)。它允許用戶通過(guò)一個(gè)通用的API訪問(wèn)其源代碼倉(cāng)庫(kù)的元數(shù)據(jù)。因此，我們?cè)谘芯肯挛牡木幊陶Z(yǔ)言、star數(shù)和fork數(shù)時(shí)，將GitHub上的源代碼倉(cāng)庫(kù)作為代表性樣本（數(shù)據(jù)收集時(shí)間為2022年1月25日）。

AI頂會(huì)附帶GitHub源代碼的編程語(yǔ)言分布如表1所示。

表1? AI頂會(huì)附帶GitHub源代碼的編程語(yǔ)言分布

從表1可以看出，在所有這些源代碼倉(cāng)庫(kù)所使用的編程語(yǔ)言中，Python是最受歡迎的。Python的書寫風(fēng)格高度簡(jiǎn)潔，編碼高效快捷，也有大量機(jī)器學(xué)習(xí)和分析的包供用戶使用。隨著深度學(xué)習(xí)的重要性日益增加，在計(jì)算時(shí)啟用GPU至為關(guān)鍵。在這方面，Python得到了眾多框架的支持，例如TensorFlow和PyTorch加速基于GPU的深度學(xué)習(xí)。以上這些眾多優(yōu)點(diǎn)，使Python成為了AI編程的首選。Jupyter Notebook為第二流行的編程語(yǔ)言（GitHub API提供的元數(shù)據(jù)將其視為一種編程語(yǔ)言）。事實(shí)上，大多數(shù)Jupyter Notebook中實(shí)際運(yùn)行的是Python代碼。它們之間的區(qū)別在于，Jupyter Notebook有更多的交互性。C++排名第三，這種傳統(tǒng)語(yǔ)言在速度上有其獨(dú)到的優(yōu)勢(shì)，它經(jīng)常被用于對(duì)速度敏感的項(xiàng)目中。排名第四的是MATLAB，這是一種用于模擬和測(cè)試研究思路的著名腳本語(yǔ)言。

AI頂會(huì)附帶GitHub源代碼的star中位數(shù)與fork中位數(shù)如表2所示。

表2??AI頂會(huì)附帶GitHub源代碼的star中位數(shù)與fork中位數(shù)

從表2可以看出， star數(shù)的中位數(shù)和fork數(shù)的中位數(shù)之間的Spearman's rho是0.976，P值小于0.01。這表明它們之間有很強(qiáng)的關(guān)聯(lián)性。在這10個(gè)頂會(huì)中，CVPR有最多的star和fork的中位數(shù)。需要注意的是，CVPR在所有這些頂會(huì)中也獲得了Google Scholar最高的h5-index。ICLR和ECCV以類似的star數(shù)和fork數(shù)的中位數(shù)位居第二和第三。從中位數(shù)的角度來(lái)看，IJCAI的star數(shù)和fork數(shù)最低。它的star數(shù)的中位數(shù)遠(yuǎn)遠(yuǎn)低于其他頂會(huì)。總的來(lái)說(shuō)，CV類頂會(huì)的star數(shù)和fork數(shù)的中位數(shù)比NLP類頂會(huì)高。這表明，在某種程度上，CV類的代碼比NLP類的代碼更受歡迎。

AI頂會(huì)論文中star數(shù)排名前十的GitHub源代碼倉(cāng)庫(kù)如表3 所示。

表3 ?AI頂會(huì)論文中star數(shù)排名前十的GitHub源代碼倉(cāng)庫(kù)

從表3可以看出，大部分高星源代碼倉(cāng)庫(kù)都是AI巨頭開(kāi)發(fā)的項(xiàng)目。這在一定程度上表明，IT工業(yè)界在AI的發(fā)展中有舉足輕重的位置。

AI頂會(huì)附帶源代碼論文中的摘要核心詞詞云如圖5所示。

圖5 AI頂會(huì)附帶源代碼論文中的摘要核心詞詞云

從圖5可以看出，“method”, “dataset”, “approach”和“algorithm”是附帶源代碼的AI頂會(huì)論文摘要中最常見(jiàn)的詞。值得注意的是，“method”和“dataset”占據(jù)了同樣突出的比例。這表明，數(shù)據(jù)集在AI研究中起著至關(guān)重要的作用。大多數(shù)AI研究人員將他們的源代碼與相關(guān)數(shù)據(jù)集一起發(fā)布，這種行為對(duì)社區(qū)有很大貢獻(xiàn)。

為了評(píng)估這些源代碼的提供者是否有提供足夠詳細(xì)的文檔讓讀者運(yùn)行代碼，作者開(kāi)發(fā)了專門的標(biāo)注工具，組織團(tuán)隊(duì)按八大類別標(biāo)注了5千多個(gè)GitHub源代碼倉(cāng)庫(kù)的README文件。構(gòu)造了當(dāng)前最大的源代碼倉(cāng)庫(kù)README數(shù)據(jù)集XMU NLP Lab README Dataset。基于這個(gè)數(shù)據(jù)集，分析了文檔中的各個(gè)描述項(xiàng)的比例。

XMU NLP Lab README Dataset中各類別占比如表4 所示。

表4 ?XMU NLP Lab README Dataset中各類別占比

從表4可以看出，近九成的作者在README文件中提供了相關(guān)論文的引用信息。這在一定程度上表明，作者們高度重視論文的引用指標(biāo)，并為獲得更多的引用做出了努力。幾乎五分之四的作者在他們的README文件中作出了相關(guān)技術(shù)的介紹。有不到三分之二的作者提供了安裝說(shuō)明或使用教程。只有大約三分之一的README文件描述了運(yùn)行源代碼所需要的資源，不過(guò)有些開(kāi)發(fā)者可能已經(jīng)提供了這些資源，但沒(méi)有在README文件中介紹。約有四分之一的README文件包含致謝信息，這個(gè)數(shù)字反映了AI研究中以往工作的重要性。僅僅只有14.4%的README文件中提供了明確的協(xié)議信息。

沒(méi)有這些協(xié)議信息，用戶很難符合規(guī)范地使用相關(guān)的源代碼。需要說(shuō)明的是，協(xié)議信息可以在GitHub倉(cāng)庫(kù)中由一個(gè)單獨(dú)的文件提供，某些已提供的作者可能為了避免重復(fù)，并沒(méi)有再次在README文件中給出這項(xiàng)內(nèi)容。

從GitHub平臺(tái)上的README文件來(lái)看，相當(dāng)多的作者沒(méi)有向用戶提供足夠詳細(xì)的文檔，導(dǎo)致了一些重要信息的缺失，例如安裝說(shuō)明和使用教程，而這些內(nèi)容對(duì)于運(yùn)行源代碼是不可或缺的。因此，筆者建議在源代碼倉(cāng)庫(kù)中提供這些信息應(yīng)成為標(biāo)準(zhǔn)做法，這可以被認(rèn)為是評(píng)估可復(fù)現(xiàn)性的重要標(biāo)準(zhǔn)。

最后，該文的作者呼吁AI論文的作者要確保附帶在論文中源代碼倉(cāng)庫(kù)鏈接的有效性和真實(shí)性，同時(shí)提供詳細(xì)的文檔以方便讀者可以真正把源代碼運(yùn)行起來(lái)，并復(fù)現(xiàn)論文中的結(jié)果。

論文已經(jīng)發(fā)表在 International Journal of Software Engineering and Knowledge Engineering Vol. 32, No. 07, pp. 947-970 (2022)

arXiv上有作者提交的版本 https://arxiv.org/abs/2209.14155

文中提及的附帶源代碼論文和他們的源代碼鏈接、README標(biāo)注工具和XMU NLP Lab README Dataset均在論文中提供了下載地址。

編輯：黃繼彥

數(shù)據(jù)派研究部介紹

數(shù)據(jù)派研究部成立于2017年初，以興趣為核心劃分多個(gè)組別，各組既遵循研究部整體的知識(shí)分享和實(shí)踐項(xiàng)目規(guī)劃，又各具特色：

算法模型組：積極組隊(duì)參加kaggle等比賽，原創(chuàng)手把手教系列文章；

調(diào)研分析組：通過(guò)專訪等方式調(diào)研大數(shù)據(jù)的應(yīng)用，探索數(shù)據(jù)產(chǎn)品之美；

系統(tǒng)平臺(tái)組：追蹤大數(shù)據(jù)&人工智能系統(tǒng)平臺(tái)技術(shù)前沿，對(duì)話專家；

自然語(yǔ)言處理組：重于實(shí)踐，積極參加比賽及策劃各類文本分析項(xiàng)目；

制造業(yè)大數(shù)據(jù)組：秉工業(yè)強(qiáng)國(guó)之夢(mèng)，產(chǎn)學(xué)研政結(jié)合，挖掘數(shù)據(jù)價(jià)值；

數(shù)據(jù)可視化組：將信息與藝術(shù)融合，探索數(shù)據(jù)之美，學(xué)用可視化講故事；

網(wǎng)絡(luò)爬蟲(chóng)組：爬取網(wǎng)絡(luò)信息，配合其他各組開(kāi)發(fā)創(chuàng)意項(xiàng)目。

點(diǎn)擊文末“閱讀原文”，報(bào)名數(shù)據(jù)派研究部志愿者，總有一組適合你~

轉(zhuǎn)載須知

如需轉(zhuǎn)載，請(qǐng)?jiān)陂_(kāi)篇顯著位置注明作者和出處（轉(zhuǎn)自：數(shù)據(jù)派THUID：DatapiTHU），并在文章結(jié)尾放置數(shù)據(jù)派醒目二維碼。有原創(chuàng)標(biāo)識(shí)文章，請(qǐng)發(fā)送【文章名稱-待授權(quán)公眾號(hào)名稱及ID】至聯(lián)系郵箱，申請(qǐng)白名單授權(quán)并按要求編輯。

未經(jīng)許可的轉(zhuǎn)載以及改編者，我們將依法追究其法律責(zé)任。

點(diǎn)擊“閱讀原文”加入組織~文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-423295.html