什么是最有效（或价值）的科研？

泻药。最近做了几个Talk，分享了我作为学生对于研究的一些思考，包含了我从各位教授处得到的启发，翻译成中文与大家分享。内容主要包括对可解释性的思考、对研究价值的思考以及对学术中“三个圈子”的思考。有些思路在国内的氛围下是过度理想化的，因此这个talk也有一些局限性，但还是希望对大家有所启发。

研究价值

在与翟成祥教授的讨论中，他提到了所有学科研究的关键价值：有价值的研究要么提出一个新问题，要么为现有问题提出一个新的解决方案。新问题通常较难界定，因为问题的价值高度依赖于学术界和现实世界的认可。一个解决方案的价值是由指标来评估的，而指标是由问题来定义的；但一个问题的价值是由人类来评估的，而人类是由物理来定义的。

无论哪种方法，在设计之前都必然要进行全面的调查。在提出一个想法后，对该主题进行全面调查以完善想法和方法是极其重要的。此外，向不同背景的人介绍想法也很重要，包括“本地专家”介绍方法的可行性，“外地专家”介绍方法的价值，以及“普通听众”介绍现实价值。例如，当你想使用基于 ML 的方法开发一种新药时，你需要本地（ML）的人员来研究您的方法，外地（化学）的人员来评估该方法的价值，普通听众（如你的父母）来评论高层次的现实价值。

在这样的框架下，快速发表对于真正的研究人员来说并不是一个好主意，因为他们缺乏大量的考虑和实际应用。正如 Heng Ji 教授所说，她在评价学生时，质量比数量更重要。学生必须以第一作者身份在顶级会议上发表一些论文，但只要有一些，数量就变得微不足道。发表论文意味着学生参与了完整的研究过程，发表的论文扎实而有创意，意味着学生严谨而有创造力。另一方面，发表过多的论文会让首席研究员在查看简历时感到非常困惑，可能会给人留下学生更注重名声本身而不是研究的印象。这种印象非常糟糕，通常会引起本能的拒绝 (instinctive refusion)。

三个圈子

翟成祥教授提出了我们做研究时的三个圈：激情圈、利益圈和资源圈。这些圈子决定了我们选择什么样的想法，想法的价值有多大，以及我们能否实现这些想法。有了好的圈子，就会大大减少同伴的压力，当回过头来看的时候，通常这个人已经取得了很多成就，不会觉得自己是个失败者。

激情圈意味着一个人做研究的内在激情，它将决定一个人在学术界的最终归宿。每个做研究的人都应该不断问自己：我真的喜欢做这项研究吗？我为什么要开始这项研究？我真的能把它当成我的工作吗？这些都是超级重要的问题，因为它们直接促成了激情，而激情又导致了坚持和专注。有了激情，研究人员就会开始专注于研究本身，而不是关注自己发表了多少篇论文，同行的压力也就很容易消除了。达到这一境界的人通常在任何领域都能取得很好的成绩。

效益圈指的是研究的价值。一项好的研究通常会解决社会中一个非常重要的问题，并在顶级会议上发表不少于 3 篇论文。在一个课题上发表多篇论文通常是一个极好的信号，因为该项目已被证明得到认可并具有巨大潜力，这通常对社会或学术界有益。

资源圈限制了研究人员的专长。作为本科生，通常可以四处探索，看看自己的强项在哪里。但是，研究生研究人员必须找到自己的优势和劣势，才能提出合适的项目。一个合格的研究人员应该始终利用自己的长处进行研究，同时还要学会弥补自己的短处。如果一个人不擅长抽象思维，让他做纯数学研究就会要了他的命；如果一个人喜欢抽象演绎，做实际项目就会让他昏昏欲睡。如果你没有很多 GPU，就不要做 LM 预训练和 LLM 微调的实验--如果你没有足够的计算资源，这是不可能成功的，所以要明智地选择 idea。这甚至与“走出舒适区”无关，这是物理。同时，补短板也很重要，因为虽然一个人可以避免创造与自己弱点相关的知识，但他无法避免阅读这些知识。遇到难以理解的论文，尽量不要跳过，用该论文来弥补自己的弱项。

可解释性

在与 Raymond Yeh 教授的讨论中，他提到可解释性的重要性取决于性能。如果我们已经能达到很好的性能，可解释性就不是什么大问题。可解释性的重要性出现在某些东西不够好的时候。在这种情况下，我们希望了解系统是如何工作的，以便更有效地改进系统。

如果我们不这样做，可解释性通常会降低性能，因为可解释性本质上是昂贵的。黑盒子模型之所以被称为黑盒子，是因为黑盒子本质上是不支持被打开的。因此试图解释黑盒子模型总是要付出额外的努力，这可能会拖累性能。

这就是第一性方法的价值所在：第一性方法本质上是可解释的。当方法性能不佳时，它不会被发表（这也是为什么第一性方法每次会议都不多）；当方法性能良好时，它是可解释的。CRATE 和 信息瓶颈理论 等原则性方法就是这一主张的很好例子。这就是与纯统计学方法相比，我更喜欢原则性方法的原因。