热点资讯安捷播放器官方下载 ICML最好论文曾被ICLR拒稿，Pika联创参与，一作已入职OpenAI
明敏 发自 凹非寺安捷播放器官方下载
量子位 | 公众号 QbitAI
ICML 2024最好论文出炉，限度发现其中一篇曾被ICLR 2024拒稿？
这篇论文来自斯坦福，Pika创始东谈主之一孟晨琳（Chenlin Meng）也参与了。
C神偷拍它提倡了一种新的破裂扩散谈话建模行为，通过引入分数熵赔本函数，升迁了破裂扩散模子在谈话建模任务中的性能。
实验限度和GPT-2相比，在无数任务中齐完胜。
生成遵守be like：
5位审稿东谈主给出的分数分辨是：88665。
但已经被AC一槌定音，最终reject……
这不禁让东谈主思起Mamba。看成Transformer架构挑战者，它首创了大模子的一个新家数。限度却被ICLR拒稿。
那时这激发不小争议，包括ICLR创始东谈主之一LeCun齐下场默示动怒：
很缺憾，往届法子委员会主席迟缓把它造成了一个与传统评审历程差未几的会议。
唯有一些小奏效：OpenReview平台当前被大无数ML/AI会议使用，以及论文提交后坐窝就能被通盘东谈主阅读（尽管匿名）。
还有东谈主说：安捷播放器官方下载
若是搜索ICML 2024摄取的论文，就会发现许多齐被ICLR 2024拒了。
这回又是咋回事？
又栽在实验不完善上？这篇论文矜恤了扩散模子在文本等破裂数据范畴推崇一直欠安的问题。
团队认为，范例扩散模子依赖于分数匹配（score matching）表面，可是这一机制实验到破裂数据范畴后遵守欠安。
为了填补这一空缺，他们提倡了一种新的赔本函数分数熵（score entropy），并构建了分数熵扩散模子（SEDD）。
在主要谈话建模任务上，SEDD在当前通盘谈话扩散模子中推崇最好，和同限制自回来谈话模子不相潦倒，在零样本困惑度任务上打败GPT-2。
同期SEDD可生成高质料无条目样本，艳母下载可以通俗在预备量和生成质料之间作念衡量。通过径直参数化概率比，SEDD高度可控，可以使用教导词微调而无需挑升考验。
5位审稿东谈主中，有2位齐给出8分高分。
世界遍及笃定了提倡的论点。一位评审认为论文推导过程写得也很可以，实验限度十分令东谈主肯定。
不外也有许多小问题被提倡，比如拼写失实、忽略了对一些实验细节的讲解注解。
从记载中可以看到，作家针对评审提倡的问题进行了详备的讲解和修改（有的分2条才发完）。
有评审看到改革后的本色，也相应改革了分数。
不外最终AC已经拒收了这篇论文。
反驳的点就主要在于实验部分不好意思满。
通盘审稿东谈主齐认为，该论文只将GPT-2看成主要基线，阻遏和其他扩散模子基线。一些审稿东谈主认为，论文提交时实验部分不好意思满。
尽管作家后续加多了一些实验，可是AC仍然认为不够完善，况且论文中提到此前扩散模子推崇不足自回来模子的说法可能不够准确。
△作家后续补充本色
比如SSD-LM、TESS等模子的推崇齐比GPT-2推崇更好，可是论文中却莫得和这些限度作念对比。
总之，AC认为论文提倡了很好的idea，可是在实验和对比上不够完善。
有东谈主默示，之前Mamba被拒亦然不异的原因，背面完善了论文再拿best paper也很合理。
One More Thing值得一提的是，这篇商议的作家中不光有Pika创始东谈主之一孟晨琳。
一作最近也加入OpenAI，更近距离感受AGI了。他将在最近的ICML 2024上进一步教训这项职责。
论文地址：
https://arxiv.org/abs/2310.16834— 完 —
量子位 QbitAI · 头条号安捷播放器官方下载