LitPivot:在文献景观中动态构建语境,推进研究想法
LitPivot: Developing research ideas through dynamic contextualization within the literature landscape
LitPivot 是 Hugging Face 与宾夕法尼亚大学合作开发的研究构想辅助系统,可围绕提案的问题、贡献和评估计划组织相关论文,并用文献摘录生成批评与修改建议。对 17 名研究者的实验显示,使用 LitPivot 形成的研究想法获得了更高的文献基础评价,参与者还报告了对相关文献更强的理解,以及更高的创新性和实用性自评。
📄 论文
读到一篇新论文可能会改变研究构想的发展方向。研究者可能会发现,已有研究者解决了他们计划提出的贡献,也可能在论文中发现尚未解决的问题,从而受到启发,转向新的探究方向。
我们将这一过程称为文献引发的转向:阅读既有研究后,研究方向随之改变。它将研究者往往需要分开处理的两项活动联系起来:构思研究想法,以及决定用哪些文献来衡量这一想法。
我们与宾夕法尼亚大学的合作者共同开发了LitPivot,这是一个帮助研究者应对这些转向的系统。LitPivot 使用通过 Asta Paper Finder 检索到的论文,根据提案中正在编辑的部分整理文献,提供由所选研究摘录支持的评议,并提出修改建议,供研究者采纳、编辑或拒绝。LitPivot 面向研究构想的早期阶段,但这一理念或许也能扩展到较长的写作任务(即撰写论文的引言部分)。
在一项有 17 名研究者参与的研究中,领域专家认为,与使用文本编辑器和 AI 聊天工具开发的研究构想相比,使用 LitPivot 开发的构想有更扎实的文献依据。参与者还认为,修改后的研究构想更具新颖性和实用性,并表示自己对相关文献有了更深入的理解。
LitPivot 将在底特律举办的 UIST 2026 上发布。点击此处阅读论文。
为何转向如此困难
研究构想会随着对文献的深入研读而不断演变。在对四个已完成的计算机科学研究项目的会议记录进行分析后,我们在这四个项目中共发现了 21 次由文献引发的转向。这些转向分为两类:将构想与既有研究区分开来,以确立其新颖性;以及使构想与既有研究相衔接,以此为基础继续推进。本项目本身也经历了两次转向,之后我们才确定了它的贡献。
这些变化可能难以应对。在一项形成性研究中,五名研究者使用文本编辑器和常规搜索工具撰写提案。他们发现,一边发展构想,一边对照文献对其进行批判性评估并不容易。当某篇论文对构想的新颖性提出质疑时,他们希望获得有既有研究支持的具体修改建议。这些发现影响了 LitPivot 的评估功能:它将有文献依据的评议与针对构想所选部分的具体修改建议配对呈现。
LitPivot 的工作方式
在 LitPivot 中,研究者首先在编辑器里撰写一份简短提案,并启用我们称为要素高亮的功能,将清晰表述的构想划分为不同要素(即问题、贡献和评估)。要检查某个提案要素时,研究者点击草稿中的相应部分。相邻面板会根据所选要素对相关论文分组(例如,选中评估要素时,按论文所采用的评估方法对论文分组),并突出显示最相关的组别。研究者选择论文、请求评估,并查看修改建议及支持评议的摘录。随后,系统会根据与修改后要素的相关性重新排列文献。
具体来说,LitPivot 会将一个研究构想拆分为问题、拟议贡献和评估计划。每个方面都有各自的相关文献集合及相关性排名。LitPivot 会根据正在编辑的方面对检索到的论文进行分组,让研究人员选择系统应使用哪些论文来评估草稿。
与 Prism 等科学写作环境和 Claude Code 等智能体助手并行,LitPivot 探索了一种开发早期研究构想的新工作流程:选择用于评估构想的文献,依据这些证据对构想进行修改,并随着构想变化重新审视哪些论文值得关注。它为提案的各个部分明确呈现论文分组和关联评述,同时让研究人员掌控草稿以及用于评估草稿的证据。
对于问题陈述,LitPivot 会寻找能够证明该问题确实存在、并说明其重要性的证据。评估拟议贡献时,它会比较所选论文已经处理的内容与这些论文所述的局限和未来工作,以寻找尚未填补的空白。对于评估计划,它会检查拟议测试是否回应研究问题,以及类似研究是如何进行评估的。随后,系统会建议改写,并附上支持性引文。
改变构想的某个方面,可能会使另一个方面过时。LitPivot 会标出可能需要修改的段落,例如,评估计划已无法充分评估修改后的贡献。研究人员可以接受、编辑或拒绝建议,并可在提案不断发展的过程中请求新增论文,或刷新文献排名。
根据一位研究参与者的表述改写的示例。
我们的研究发现
在我们的实验室研究中,17 位研究人员分别使用 LitPivot 和基线工具完成一个指定构想的开发;基线工具由文本编辑器和一个用于针对选定论文提问的 AI 工具组成。两种条件使用相同的论文集。两位领域专家并不知道参与者使用了哪种系统,他们仅依据一项标准对最终提案进行评分:提案利用相关文献支持并论证构想的程度。使用 LitPivot 开发的提案得分更高。
同一项研究中的参与者还表示,与基线工具相比,使用 LitPivot 让他们对相关文献有了更深入的理解,并且他们自评构想的新颖性和实用性提升更多。领域专家也审阅了参与者的构想,并评定使用 LitPivot 修订的构想在相关文献方面的依据显著更充分。
我们实验室研究中的一位参与者最初提出了一项方案,旨在生成一致且符合事实的合成医疗记录。LitPivot 指出,所选文献中可能存在一个空白:缺乏对多次住院就诊记录之间一致性的研究。参与者查看摘要后,删除了有关单次就诊记录的论文。经过再次评估,他们将提案缩小为检测多次就诊记录之间的矛盾。这个例子展示了,修改构想与选择用于评估构想的文献,如何相互促进。
在一项后续研究中,五位研究人员在各自持续进行的项目中使用 LitPivot,每次使用时长为 30 分钟。参与者在项目的多个阶段使用 LitPivot,而不只是在项目初期。其中两人用它依据文献评估新想法,另外三人用它完善较成熟想法的构思框架。一位研究人员特别指出,看到不同领域的相似概念,有助于他们重新构思自己的研究贡献。
这些研究表明,LitPivot 既能支持早期探索,也能帮助完善现有的研究方向。
支持科学发现
在 Ai2,我们正在开发 AI,帮助研究人员提出可检验的想法,并考察其背后的证据。Asta 通过根据已发表的研究发现生成理论(Theorizer)、综合分析,以及基于数据生成和检验假设(AutoDiscovery)来支持这项工作;与此同时,HARPA 会根据新兴研究趋势生成有前景的假设。Scideator 让研究人员能够重新组合以往研究中的要素,形成新想法并评估其新颖性,而 IdeaSynth 则支持根据文献提供反馈、反复完善想法。
我们最近发表的研究《旧想法,新问题》探讨了自动化新颖性评估的局限,展示了细微的提示词变化如何改变 AI 评审对相同想法的判断。LitPivot 延续了这项研究,通过将相关文献的选择纳入修改过程,进一步拓展了这一研究方向。随着想法逐步发展,研究人员可以更改用于评估研究提案的论文,然后借助批评意见和佐证摘录来决定如何修改。该系统将这些决策贯穿于提案的问题、贡献和评估计划之中。
我们希望 LitPivot 带来的启示能帮助科学家在现有知识的基础上继续探索,并将早期想法转化为所在领域的新贡献。
来源:Hugging Face Blog · huggingface.co


