スコープ: Scisciは特定の学会誌・論⽂誌を持っていないため、主に学術情報を扱う既存領域のトップ誌や 総合誌で議論されているトピックに則る形を考えています。ただし、領域にとって重要なテーマであれば 学会/ジャーナルは問いません。 •例: International Conference on Science of science and Innovation(ICSSI), Quantitative Science Studies, Journal of Informetrics, Scientific Data, Research Policy, Nature/Science姉妹誌, ProNASなどのトップ総合誌 その他: 後進の発展のため、発表資料は可能な限り公開とします •図表など著作権上公開が難しいものは、⾮公開にさせていただくことがあります。 •2回⽬は未定です。
40年間で2倍近くに増えている(Edlinger et al. 2023) • 新規性を失わず早く出版するために、⾃分に本来要求すべき ⽔準を課さずに出版するインセンティブになってしまう ➡ 再現性の危機の問題 Positive expressionが概要に含まれない論⽂割合(Edlinger et al. 2023) Edlinger, M., Buchrieser, F., & Wood, G. (2023). Presence and consequences of positive words in scientific abstracts. Scientometrics, 128(12), 6633-6657. (2015) 39% Replicated
関連性: 論⽂が提出された学会・ジャーナルに関連があること • 信頼性: 論⽂の内容が読者から⾒て信頼のおけるものであること • 了解性: 論旨の展開が⼗分理解しやすく、順序⽴てて明瞭に記述してあること pトップジャーナルでも、”新規性のある研究”が必須であることが明確に⾔及されている • Cell: Weʼre looking for papers ~ that prompt new thinking about a biological problem ~ • Nature: The criteria for a paper ~ are that the results seem novel, ~ • Science: Selected papers should present novel and broadly important data, ~ (参考)https://www.ieice.org/jpn/shiori/cs_5_1.html
just changes one term in the loss and everything else is the same as prior work. This literature merely summarizes existing studies and execute validation without offering any new interpretations. The idea is obvious because the authors just combined two well known ideas. Merely changing the dataset without innovating the methodology diminishes the significance of the study. The authors describe a new method but I don't know why anyone needs this. ➡ これらの査読者のコメントを乗り越えて、初めて学術誌に出版される
et al. 2008) • ネットワーク特徴量+NNで成⻑予測(Krenn et al. 2019) • 各分野で初めてその単語が現れたことを新規性とみなす • 特定の分野の論⽂を集め、引⽤が集まる発⾒、注⽬度の⾼い論⽂についての レビューをまとめるものは多数 (Systematic review, bibliometric analysis) • 研究助成機関が⽀援するトピックは、新単語の登場から7年ほど遅れる (Packalen et al. 2020) ➡ シンプルで使いやすいため、学術俯瞰や萌芽予測などの 全体像の把握のために⽤いられやすい 量⼦⼒学分野で5年成⻑率が⾼い⽤語の例(Krenn et al. 2019) 2010~2016年にNIHが採択したアイデアが⽣まれた年 (Packalen et al. 2020) Shibata, N., Kajikawa, Y., Takeda, Y., & Matsushima, K. (2008). Detecting emerging research fronts based on topological measures in citation networks of scientific publications. Technovation, 28(11), 758-775. Krenn, M., & Zeilinger, A. (2020). Predicting research trends with semantic and neural networks with an application in quantum physics. PNAS, 117(4), 1910-1916. Packalen, M., & Bhattacharya, J. (2020). NIH funding and the pursuit of edge science. PNAS, 117(22), 12011-12016.
• ジャーナル単位に絞る必要はなく、どれだけ異なる論⽂を引⽤しているかで新規性を評価する(Shibayama 2021) Matsumoto, K., Shibayama, S., Kang, B., & Igami, M. (2021). Introducing a novelty indicator for scientific research: validating the knowledge-based combinatorial approach. Scientometrics, 126(8), 6891-6915. Shibayama, S., Yin, D., & Matsumoto, K. (2021). Measuring novelty in science with word embedding. PloS one, 16(7), e0254034. 参考⽂献の重複を活⽤した新規性の計算
p特に近年は論⽂の全⽂が使えるデータセットも整備されてきているので、発展の可能性は⾼い • S2ORC(https://github.com/allenai/s2orc) Jeon, D., Lee, J., Ahn, J. M., & Lee, C. (2023). Measuring the novelty of scientific publications: A fastText and local outlier factor approach. Journal of Informetrics, 17(4), 101450. k=4の時のLOFの例 k近傍の距離が遠いほど、LOFは⼤きくなる
時系列変化する共起ネットワークをクラスタリングし、その関係で”new(新しい組み合わせ)”と”repeat(これまであった組 み合わせ)”に分類 • 化学物質数が増えて新規性の⾼い発⾒の探索可能範囲は増えているのに、研究者の取る戦略はrepeatとnewが8:2でずっと ⼀定であることを⽰す pMeSHターム (Boudreau et al. 2016) • 研究者にグラントの申請書の評価を依頼し、その中に含まれるMeSHターム(医学⽤語のシソーラス)のペアの希少度と 研究者からの評価を⽐較 • 新規性が⾼い申請書ほど、評価者は低いスコアをつけやすい。特に評価者の領域に近い申請書ほど低くなりやすい pキーワード(Carayol et al. 2017) • Lee et al. (2015)と同じ考え⽅をキーワードに対して適⽤ • 珍しいキーワードの組み合わせを含む論⽂ほど、Top1%に⼊る確率が⾼い傾向にあった Foster, J. G., Rzhetsky, A., & Evans, J. A. (2015). Tradition and innovation in scientistsʼ research strategies. American sociological review, 80(5), 875-908. Boudreau, K. J., Guinan, E. C., Lakhani, K. R., & Riedl, C. (2016). Looking across and looking beyond the knowledge frontier: Intellectual distance, novelty, and resource allocation in science. Management science, 62(10), 2765-2783. Carayol, N., Lahatte, A., & Llopis Córcoles, Ó. (2017). Novelty and academic impact.
既存の理論に潜む⽋陥を指摘する研究に新規性はないのか？ • 逆に、「Sustainabilityを理論物理学の領域から捉え」るような、本質的に⾒えない横断性が新規性の源なのか？ • そもそも新規性は論⽂の引⽤や⽂書に登場するものなのか？⽇々の着想を得た部分は論⽂には出てこないのではないか？ 1. Noveltyとは、Complexityではない ➡ 単純な変化で⼤きな結果を成し遂げたなら讃えるべき 2. Noveltyとは、Difficultyではない ➡ 汗⽔垂らしたかではなく、コアの貢献のみを⾒れば良い 3. Noveltyとは、Surpriseではない ➡ ⾔われるまで気づかなかったなら新しい、後から評価は卑怯 4. Noveltyとは、Technical noveltyだけではない ➡ 理論・データ・考察などの貢献も多分にある 5. Noveltyとは、usefulnessではない ➡ すぐには使えなくても新しいアイデアは沢⼭ある Michael J. Black. (2022) Novelty in Science. A guide for reviewers. Perceiving Systems Blog. https://perceiving-systems.blog/en/news/novelty-in-science Max PlanckのCS研究者 The idea is very simple. It just changes one term in the loss and everything else is the same as prior work. This literature merely summarizes existing studies and execute validation without offering any new interpretations. The idea is obvious because the authors just combined two well known ideas. Merely changing the dataset without innovating the methodology diminishes the significance of the study. The authors describe a new method but I don't know why anyone needs this. Noveltyではなく ”beauty”を査読の 基準にすべき
WangのNoveltyWは、初めてのジャーナルペアしか考慮しないため、データの 細かな違いに⾮常にピーキーであり、使⽤はやめた⽅が良い • UzziのNoveltyUは、分野横断性で⼀般的に⽤いられる指標とほぼ完全に相関する ➡ NoveltyUで取られられるのは「横断型」の新規性だけ pしかし、新規性のある発⾒には純粋な基礎研究のブレイクスルーもある • 2007年にノーベル物理学賞をとった巨⼤磁気抵抗効果(GMR)の研究は、 原⼦物理学の基礎研究の成果であって、何かを横断した発⾒ではない pこれは、新規性の結果の解釈の上で⼤きな問題になる可能性がある • 「新規性を⽣み出す研究に投資する」というスキームが、ほぼ「横断的な研究への投資」になってしまう • 研究の新規性を測るためには、引⽤を⾒るのではなくその論⽂⾃体を⾒る必要があることを⽰している Fontana, M., Iori, M., Montobbio, F., & Sinatra, R. (2020). New and atypical combinations: An assessment of novelty and interdisciplinarity. Research Policy, 49(7), 104063. 分野横断性とNoveltyUの分布 ⾚字はノーベル賞を受賞した論⽂を⽰す (図はイメージ) 分野横断性 NoveltyU
I., & Bornmann, L. (2018). Creativity in science and the link to cited references: Is the creative potential of papers reflected in their cited references?. Journal of informetrics, 12(3), 906-930. 分野補正被引⽤数の提案(1983, Glanzel) このアイデアはずっと前から頭にあったものだった。Imre Ruffと科学の測定⽅法について議論して、その後 ハンガリー科学アカデミーで科学の測定を⾏うにあたって、皆が分野内の相対的位置を知りたがっているよう だったため、思いついた ➡ 参考⽂献リストの論⽂を⾒て閃いたものではない上に、最初が⼩規模な学会論⽂な ので参考⽂献リストが存在しない h-indexの提案(2005, Hirsch) 私⾃⾝は計量書誌学の分野ではなかったが、科学的貢献の重要性を評価する指標として、h-indexのアイデア を思いつき、⼿元で直感に合うことを確認していた。その後放置していたが、Rednerが2005年にPhysics Todayで⾏なっていた書誌学の分析を⾒て(参考⽂献に含む)、⾃分もh-indexを書き上げようと思って書いた。 他にも計量書誌学の論⽂は読んだが、それはアイデアに⼤きな役割は果たしていない。 ➡ h-indexのアイデア⾃体には、参考⽂献は貢献していない
数学＜物理＜⽣命科学） • 引⽤にも種類があり、引⽤=利⽤とは⾔えない（実際に利⽤した知識、歴史的経緯、説得のための材料、批判的引⽤、 関連する知識 など）（Tahamtan 2018） • データセットの制限（電⼦化前の引⽤を遡れない、英語で書かれた論⽂以外は対象にならない、分野/出版形式による 収録率の違い、最新研究はデータセットがまだ整備されていない） ➡ 新規性を「引⽤の組み合わせ」とする定量化は、これらの限界に⽬を瞑って⾏われている Tahamtan, I., & Bornmann, L. (2018). Core elements in the process of citing publications: Conceptual overview of the literature. Journal of informetrics, 12(1), 203-216.
Publons: Clarivateが所有。登録された査読プロセスを公開している • eLife: 掲載された論⽂のメタデータ・全⽂・レビューの履歴が公開されている • Peer Review Workbench: Elsevierが提供する分析フォームで、Editorial Managerの査読内容を使った分析提案を募集していた • 申請書 • NIHのRePORTERで採択されたプロジェクトを確認できる他、⾮採択だったプロジェクトを分析する研究も出てきている(Yin et al. 2019) • Federal RePORTERは2022年で終わってしまったので、代替データセットの検討も進んでいる（⼩柴 2022） • アンケート調査 • 論⽂を執筆した研究者にアンケートを送り、何が重要なきっかけだったかを検証する(Tahamtan et al. 2018, Teplitskiy et al. 2022) • 外部データ • F1000Prime: 研究者が付与した9分類の論⽂評価データを公開している (Peer review workbench) https://researchcollaborations.elsevier.com/en/projects/peer-review-workbench Yin, Y., Wang, Y., Evans, J. A., & Wang, D. (2019). Quantifying the dynamics of failure across science, startups and security. Nature, 575(7781), 190-194. ⼩柴等, 岡村⿇⼦, & ⿊⽊優太郎. (2022) NSF データを⽤いた研究課題動向分析の試み. NISTEP DISCUSSION PAPER 216. Tahamtan, I., & Bornmann, L. (2018). Creativity in science and the link to cited references: Is the creative potential of papers reflected in their cited references?. Journal of informetrics, 12(3), 906-930. Teplitskiy, M., Duede, E., Menietti, M., & Lakhani, K. R. (2022). How status of research papers affects the way they are read and cited. Research policy, 51(4), 104484
2022） p新規性の⾼い組み合わせを持つグラント申請書は、評価が低い (Bourdeau 2016) • 分野外の研究者ほどスコアを⾼く付けやすく、新規性の⾼さは逆U字を描く p⼀⽅で、⼈間による新規性の評価⾃体が条件によって変わることを 指摘した研究も⽣まれてきている • 被引⽤数が低いことを隠して新規性を評価してもらうと、新規性の評価値が上がる(Teplitkiy 2022) • ダブルブラインドにすると採択率が下がるという結果と逆である点が興味深い(Tomkins 2017) Uzzi, B., Mukherjee, S., Stringer, M., & Jones, B. (2013). Atypical combinations and scientific impact. Science, 342(6157), 468-472. Wang, J., Veugelers, R., & Stephan, P. (2017). Bias against novelty in science: A cautionary tale for users of bibliometric indicators. Research Policy, 46(8), 1416-1436. Lin, Y., Evans, J. A., & Wu, L. (2022). New directions in science emerge from disconnection and discord. Journal of Informetrics, 16(1), 101234. Boudreau, K. J., Guinan, E. C., Lakhani, K. R., & Riedl, C. (2016). Looking across and looking beyond the knowledge frontier: Intellectual distance, novelty, and resource allocation in science. Management science, 62(10), 2765-2783. Teplitskiy, M., Duede, E., Menietti, M., & Lakhani, K. R. (2022). How status of research papers affects the way they are read and cited. Research policy, 51(4), 104484. Tomkins, A., Zhang, M., & Heavlin, W. D. (2017). Reviewer bias in single-versus double-blind peer review. Proceedings of the National Academy of Sciences, 114(48), 12708-12713. (左) 申請書と評価者の知識空間上の距離とスコアの関係 (右) 申請書のキーワード組み合わせとスコアの関係
2022) 3. 専⾨の多様性が⾼いチーム(Zheng 2022) 4. ジェンダー多様性が⾼いチーム（Yang 2022) 5. リモートではなく地理的に近い研究者同⼠のチーム(Lin 2023, Wagner 2019) ※ どれも因果ではなく相関であるため、なぜそうなのかは考察レベル Wu, L., Wang, D., & Evans, J. A. (2019). Large teams develop and small teams disrupt science and technology. Nature, 566(7744), 378-382. Xu, F., Wu, L., & Evans, J. (2022). Flat teams drive scientific innovation. Proceedings of the National Academy of Sciences, 119(23), e2200927119. Lin, Y., Frey, C. B., & Wu, L. (2023). Remote collaboration fuses fewer breakthrough ideas. Nature, 623(7989), 987-991. Zheng, H., Li, W., & Wang, D. (2022). Expertise diversity of teams predicts originality and long-term impact in science and technology. arXiv preprint arXiv:2210.04422. Yang, Y., Tian, T. Y., Woodruff, T. K., Jones, B. F., & Uzzi, B. (2022). Gender-diverse teams produce more novel and higher-impact scientific ideas. Proceedings of the National Academy of Sciences, 119(36), e2200841119. Wagner, C. S., Whetsell, T. A., & Mukherjee, S. (2019). International research collaboration: Novelty, conventionality, and atypicality in knowledge recombination. Research Policy, 48(5), 1260-1270. チームの関係のネットワーク（Xu 2022） チームの多様性とdisruptionの関係 (Zheng 2022) チームのジェンダー多様性と新規性の関係 (Yang 2022) Cumulative Distribution 10 % z-score 0 Conventional Combination Novel Combination team pair solo Relative Probability of disruption collaboration distance(km) 1.00 200 400 600 600+ papers patents 共同研究の物理的距離と disruptionの関係(Lin 2023)
of scienceのデータから⽇本⼈著者の論⽂を取得し、ランダムに メールを送って資⾦源を調査する（Block fundingか競争的研究費か） • 研究者の所属・性別・年齢によって、競争的研究費を受けている 研究者(資⾦源の25%以上が競争的)の新規性が⾼いかを検証した (Noveltyを被説明変数とする) • 結果、組織・性別・年齢を補正しても、競争的資⾦を得る研究は 新規性が⾼い研究を⾏なっていた • ⼀⽅で、旧七⼤以外・⼥性・若⼿の研究者は、競争的資⾦を得ると新規性が低い研究を⾏っていた ➡ 競争的資⾦で新規性が上がるのは、ステータスを得ている研究に限られる • ただ競争的資⾦が新規性の⾼い研究者につけられている逆の因果もあるので、資⾦提供後に計画変更があったかを尋ねた • 多くは選択効果（新規性のある研究を選んでいるから）だが、特に若⼿研究者は計画変更後にnoveltyが下がりやすい • これは、若⼿は資⾦管理が難しいので、その負担を強いられてアウトプットが下がっている可能性がある Packalen, M., & Bhattacharya, J. (2020). NIH funding and the pursuit of edge science. PNAS, 117(22), 12011-12016. Wang, J., Lee, Y. N., & Walsh, J. P. (2018). Funding model and creativity in science: Competitive versus block funding and status contingency effects. Research Policy, 47(6), 1070-1083. 2010~2016年にNIHが採択したアイデアが⽣まれた年 (Packalen et al. 2020)
Liang, W., Zhang, Y., Cao, H., Wang, B., Ding, D., Yang, X., ... & Zou, J. (2023). Can large language models provide useful feedback on research papers? A large-scale empirical analysis. arXiv preprint arXiv:2310.01783. GPT易 GPT難 ⼈⼿評価とGPT-4の評価の⽐較 査読コメントの⼀致度の評価⽅法、similarityが7を超えたものを⼀致とみなし、hit rateを測る 各査読に現れやすいコメント
• さらに、新規性評価は評価する⼈によって異なるという問題が知られている • 新規性は、新しいから評価されないのか？それともコンセンサスが取れなさそうな危険なアイデアを避けているのか？ pベンチャーのピッチ・映画などの5つのシチュエーションで、 • ①新規性を評価するフェーズ (novel or not novelの評価を⾏う) • ②価値を評価するフェーズ（What is the degree of value offered by this idea?） • これで、新規性が⾼いものの価値評価がどれだけばらつくかを検証した ➡ 新規性が⾼い領域の⽅が価値のばらつきが⾼かった p新規性のあるものを評価する条件（これまで⾒たことがないサンドイッチを提供する店のメニューとして の価値を評価する）、で同様の実験を⾏うと、新規性のある研究のばらつきは⼩さくなった ➡ 研究者は、新規性⾃体の評価がばらついているのではなく、新規性を分かった上で、コンセンサスが取れなさそうな 研究を割り引いて評価する傾向がある Johnson, W., & Proudfoot, D. (2024). Greater variability in judgements of the value of novel ideas. Nature Human Behaviour, 1-9. 映画のジャンルと評価された価値の標準偏差
keichi
sshimizu2006
thomaselove
takanorip
.jpg){kind=avatar}
matlantis
toskamiya
takehikoihayashi
shoryuuken
ingevandenende
yuyamaguchi
konakalab
peterdesmet
denniskardys
sugarenia
marcelosomers
tmm1
erikaheidi
cromwellryan
eileencodes
hatefulcrawdad
zakiyama
orderedlist
keavy
philnash
