小论文的三个实验

type

status

date

slug

summary

对比试验

验证方法有效性

目的：通过与其他方法（经典模型、基准方案等）的横向比较，证明所提方法的优势。

设计要点：

实验组与对照组划分

实验组：采用改进后的方法（如引入注意力机制、优化特征提取模块）。

对照组：经典模型（如ResNet、LSTM）或简化版本（如去除关键模块的模型）。

示例：在轴承故障诊断中，对比2D-SwinTransformer+1D-CNN模型与传统CNN、LSTM的性能。

评估指标选择

分类任务：准确率、F1 Score、混淆矩阵；

回归任务：均方误差（MSE）、R²值。

数据呈现

使用柱状图或折线图直观展示性能差异，辅以统计检验（如t检验）说明显著性。

怎么做对比实验

和你的领域中顶刊顶会的通用指标进行比较

找什么样的论文进行比较

取决于你的目标论文级别

你的目标论文级别	你要比较的论文
顶刊顶会	近三年的顶刊顶会
⼀区（国内顶级核⼼、顶会）	近⼀年的⼀区，顶刊顶会去年的顶刊顶会前年的顶刊顶会
⼆区（国内中等核⼼、中等会议）	近⼀年的⼀区，二区去年的一区，顶刊顶会前年的顶刊顶会
三区（国内垃圾核⼼、低等会议）	近⼀年的二区，三区去年的一区，顶刊顶会前年的顶刊顶会
四区（⽔刊、⽔会）	近⼀年的三区，四区去年的⼀区，二区，顶刊顶会前年的顶刊顶会
普刊和EI会议	随意

总结

⽆论你发什么级别的SCI，都必须拿上⼏篇顶刊顶会的论⽂来⽐较

要超过去年⽐你这个级别更⾼的期刊的论⽂

如果今年你们这个领域论⽂出来了，那尽量也要加上⼀两篇今年的论⽂，⽆论级别，因为很多审稿专家不仅看对⽐论⽂的级别，还会看对⽐论⽂的年份。

如果你发个三、四区，对⽐试验能吊打近两年的sota（即性能最好的顶刊顶会），那⼀定会提⾼你论⽂的接受率

什么是sota

近两年性能最好的顶刊顶会

“State of the art”（常缩写为 SOTA）是一个广泛应用于科技、工程、医学等领域的术语，指特定领域在某一时间点所达到的最高技术水平、最先进方法或最优解决方案。

如何挑选sota

把你这领域近两年所有的顶刊顶会的文章找出来，然后将军⾥挑矮⼦，你挑性能最差的顶刊顶会，和你的方法进⾏对比试验。

⼀般很多性能差的顶刊顶会他的贡献点不在性能这⼀块。

你做对比试验的时候，只是客观实事求是的表达自己顶刊顶会进⾏了性能对比，并没有多说⼀句——我挑了近⼏年最最最优秀的模型和我们比较。即使你说了这句话，优秀二字还不是你来定义，通过你定义的优秀然后筛选掉真正优秀的⽂章，这就是⽔顶刊顶会的基本功了。

如何获取对比论文的结果

⼀般获取对⽐论⽂结果的时候，以他们论⽂⾥的为准，也就是他们论⽂⾥写了多少，你就跟着填多少。

如果这篇论⽂⾥没有你这个数据集的结果，你⼜⾮常想和他比较，可以自己复现他的⽅法跑你的数据集

因为是用他的⽅法跑你的数据集，你可以改变实验参数，说白了，找个差⼀点的参数结果，你不说，没⼈知道你跑过什么更好的参数。

如果你复现过某篇论⽂,但是你复现的结果低于论⽂⾥的结果(单纯复现的时候必须使⽤原作者给的参数等等,即你不能对⼈家的⽅法试验参数改动⼀丝⼀毫),那就以你复现的为准,也就是说,如果你⽐不过某篇论⽂的结果,可以尝试着复现下,如果复现结果偏低,那就以你复现的结果为准,这个时候你只需要再在论⽂⾥附上⼀句,部分论⽂的结果是你复现的结果即可。当然,可以部分论⽂采⽤原论⽂的结果,部分论⽂采⽤复现的结果,别太⽼实⼈,没有⼈知道那篇论⽂是否能复现出来。

没有通用的指标怎么办

借鉴相似领域的，⽐如诗歌⽣成借鉴词曲⽣成的

如果连相似领域都没有，⾃⼰模仿⼀些类似任务的指标构造⽅法进⾏构造

如果你真的要这样做，如果你是研⼀的，真的劝退

如果退不了，怎么构造呢？就是去找⼏篇类似任务的论⽂，然后看看这些论⽂⾥有什么指标可以参考，再去找到以构造你这个可参考的指标为⼯作的原论⽂，然后尽量模仿，稍有异同就好。

没有对比的论文怎么办

没有对⽐的论⽂，其实做法更简单，挑⼏个更基础更简单的⽅法，然后⾃⼰跑⼀跑，和这些基础简单的⽅法对⽐即可。当然咯，最好的⽅法是你可以挑⼏个听起来很⾼⼤上，但是实验性能很⼀般的⽅法和你比较。

消融实验

验证模块贡献

目的：通过逐步移除或修改模型组件，分析各部分对整体性能的影响。

设计步骤：

定义消融变量

选择关键模块（如注意力机制、数据增强策略、多尺度特征融合分支）。

示例：在文本分类模型中，分别移除预训练词向量、位置编码、残差连接。

基准实验设置

完整模型作为基准，逐步移除组件并记录性能变化。

结果分析

若移除某模块后性能显著下降（如准确率降低5%），则证明其必要性；

若性能变化微小，可考虑简化模型复杂度。

什么是消融实验

如果你使⽤的是裁缝的思想，那这个就很简单，裁缝⼀般就是C=Baseline+A+B，Baseline⼀般就是别⼈的，A和B是你⾃⼰的⼯作量，那么你就是要证明在Baseline上单独加上A后性能有了提升，单独加上了B后性能有了提升，⼀起加上了A和B性能有了提升。

如果你⽤的不是裁缝的思想，就是⾃⼰想办法把你做的东⻄分块成A、B、C，然后说清楚A、B、C分别解决了什么问题，⼀般A、B、C都是常⻅的领域内模块或者你设计的模块，那么就是A+B+C⽐A、B、C、A+B、A+C、A+B要好。

说⽩了，A就是⼀个不可分割的实体，B、C都是可分割的⼩组件，⼀般A的体量远⼤于B和C，消融实验就是要把⼩组件消融掉。这⾥附⼀个⼩trick，⼀个不可分割的实体⼤⼩A，其实⼀定程度由你决定，⼀般如何分割，没有硬性要求，那你就怎么分割有利，怎么来。

怎么做消融实验

⾸先讲⼤家最常碰到的⼀个情况吧，C=Baseline+A+B，当我们做消融实验时，⼀起加上A+B有了提升，但是单独的加上A或者单独的加上B是负提升，其实，只要稍微拐个弯就⾏了，既然加上A是负提升，那么我是否可以把A+B看成⼀个整体a，也就是我们C=Baseline+a，你要清楚地是，审稿专家可以不知道你的a是A+B，你说他们是⼀个整体，那他们就是⼀个整体。

其次对于Ai领域（只要没有强⾏或不能做到完全控制变量的领域都可以适⽤），因为机器学习的底层理论——模型每次找到的是局部最优解，⽽⽆法找到全局最优解，且模型⼀旦变动了，局部最优解寻找的⽅法也会随之改变，即需要调不同的参数来找到更优解。也进⽽导致了Baseline+A、Baseline+B、Baseline+A+B这四种⽅法在进⾏实验的时候，是不需要共⽤⼀套参数的，那么问题就来了，对于Baseline+A+B⽤最好的参数，Baseline+A⽤稍微普通的参数，Baseline+B⽤最差的参数只要保证能超过Baseline即可。也就是说，你只要保证Baseline+A、Baseline+B、Baseline+A+B都超过Baseline，然后Baseline+A、Baseline+B、Baseline+A+B三者内部的⽐较，可以通过不使⽤同⼀套参数的bug，⾃⼰选择性的调参，⾄于Baseline+A+B是否⽤了最好的参数，Baseline+B是否⽤了最差的参数，你不说，⻤知道呢？即使别⼈跑出来了更好的，顶多也就是你没往那个⽅向尝试，这是你复现别⼈代码常有的事，改改别⼈⽅法的参数效果就⽐别⼈⽅法原来的结果好了。

上⽂为什么不能给Baseline调参呢？因为Baseline⼤都是来源于他⼈的论⽂，你不能对别⼈的论⽂动⼑，⽽且⼀定是默认别⼈的论⽂就是把参数调到了极致找到了他能找到的最优解。因此，还有科研trick，你对Baseline做⼀定的改动，什么改动就⾏，只要做了改动变成了Baseline'，那Baseline'就是你⾃⼰的模型了，你就可以通过调参的⽅法来使其达到你想要的那个性能。

总结⼀句话：只要是不能完全控制的变量都可以按照你想要的⽅式控制

实例分析

验证实际应用

目的：通过具体案例展示方法的应用场景与效果，增强论文实用性。

设计要点：

案例选择

优先选择典型场景（如工业故障诊断、医疗图像分类）；

确保数据可获取性（如公开数据集CWRU、ImageNet）。

分析维度

性能验证：展示模型在测试集上的量化指标（如准确率、推理速度）；

可视化分析：通过t-SNE图、注意力热力图解释模型决策逻辑；

鲁棒性测试：分析模型在噪声数据、样本不均衡场景下的表现。

什么是实例分析

对⽐试验、消融实验都是指标上的对⽐，即表格。如果是偏应⽤的领域，⼀定要加上形象⽣动的结果图，即实例分析其实就是通过图⽚的形式体现出你的⽅法的优越性，⼀般这种对⽐更多的就是很普通的消融实验，即Baseline+A+B和Baseline⽐，不⽤太复杂。值得⼀提的是，现在太卷了，消融实验很多⼈都会放上图来形象化的展示。

怎么做实例分析

⼀般就是放2或4个实例，以4举例，说⽩了就是找4个数据，然后⽤Baseline和C=Baseline+A+B分别跑这个4个数据，通过图⽚的形式展示这个结果，然后通过⼀些⾮专业术语说清楚你做的C的优越性。

这⾥也有很⼤的操作空间，⼀般我们的数据集都是1000往上，因此我们可以说我们随机挑选了4个数据，做了实例分析。⾄于这个随机，有没有⼀种可能，我就是命好，真的随机到了最好的4个最好的结果，说⽩了，对⽐试验将军⾥挑矮⼦，实例分析矮⼦⾥挑将军，再说⽩点，对⼀切可以挑选、可以随机的事物，怎么有利怎么来！