1月19日公布的一個新的在線工具可通過分析已發表論文的引文數量，衡量該論文可再現性。

這個軟件出現得可謂正當其時，很多證據已經給科學界和期刊行業敲響警鐘，它們表明許多已發表文章的研究結果是不可重復的，為此科學界正在努力尋找可靠的方法來評估它們是否可以再現。

新工具由美國康涅狄格州紐黑文市Verum分析公司開發，它生成了一個叫作r-因子的指標，該指標依據其他證明或駁斥其研究結果的研究數量，來說明一篇期刊文章的可再現性。但r-因子指標卻引來了學者的大量批評，他們認為這種相對簡單的方法可能不足以解決衡量可重復性的多方面問題。

對新工具的初步反饋表明，Verum公司并沒有完全消除這些擔憂。該公司開發者承認新工具仍然存在局限性；他們表示開放該工具的目的是接受相關反饋，以獲得關于其工作效果以及如何改進的建議。Verum公司自愿開發了該工具，其聯合創始人Josh Nicholson說，他們希望公開該工具的初步版本能吸引潛在的投資人助力改善它。

Verum去年8月在一篇預印文本中報告了該工具基于r-因子的方法，并在新工具中對其進行了改進。它僅依賴于受歡迎的生物醫學搜索引擎PubMed網站上可免費獲取的研究論文的數據。

在開發之初，Nicholson和同事手動分析了4.8萬個引用其他已發表文章的論文文本的片段。Verum和同事將每個片段分別歸類為“證實、反駁或是提及”其他的文章。然后，Verum利用這些分類來訓練一個算法自動識別樣本群之外的每類片段。

基于約1萬個摘錄的片段樣本，Verum公司的開發人員稱，新工具可以在93%的情況下對段落進行正確的分類。與證實或反駁性的引用片段相比，它能更準確地檢測到“提及”其他文章的引用，因為證實或反駁類的樣本更少。分析發現，絕大多數文章都提到了以前的研究，但卻沒有證實或反駁它們的主張；只有約8%的引用是證實性的，而反駁性的約有僅1%。