如果论文并没有被人「打假」，那么也不会有这篇所谓的「公开声明」——迫使其中一些作者与论文割席。
显然，作为论文的共同作者，你必须对你署名的工作质量负责。
也有网友表示：「这是我一生中见过最糟的替罪羊。」
有趣的是，除了论文「造假」被人抓包之后的急忙甩锅——我虽然署名了，但这个问题和我无关。此前在顶会IJCAI 2016上也出现了原理相似的一幕——在论文被接收后，疯狂拉人。
「作者X其实参与了，只不过我们没来得及写上。」
就在接收名单发送后的第二天，我们发现，有人试图向他们已被接受的论文里添加额外的合作者。
我理解有时在论文提交后，可能会从同事那里得到非常重要的帮助，我们自己的研究组也偶尔这样做。但突然有50多篇论文都需要，就有些奇怪了。
更令人惊讶的是，其中有很多人发现，他们不仅有一位被遗忘的合作者，而是有「多位」（有时多达4个）被遗忘的合作者。
显然，谚语「成功有很多父母，而失败则无人问津」在这里得到了充分的体现。
不过，我们在审稿期间每周都会备份截图，所以知道所有论文的原始作者。（这也是最终在接收名单上所呈现的）。
GPT-4攻破MIT考试
GPT-4在MIT考试中开挂这个结果一经公布，吸引了众多目光。
同样的测试，GPT-3.5搞定三分之一，而GPT-4全拿下了。
这张图表，便成为论文中最亮眼的那一部分。
6月15日，由MIT、波士顿大学，以及康奈尔大学的研究团队发表最新论文，展示了GPT-4在MIT考试中的能力。
论文中，研究人员自制了一个数据集，其中涵盖了4550个问题和解决方案。
这些包括，MIT数学系和EECS的学生获得本科学位的课程问题集、期中考试和期末考试。
具体如下：
研究人员从数据集中随机生成228个问题，不涉及已有图像和解决方案的问题。
然后，让5个最先进的语言模型模型一起参加了这场考试：GPT-4、GPT-3.5、StableVicuna-13B、LLaMA-30B和LLaMA-60B。
最终结果发现，经过调优后的GPT-4，拿到了100%的分数。而原始版本的GPT-4，没有经过任何调优，也拿下了90%的分数。
而具体调优过程，如结果图中所示，包括Few-shot+CoT+Self-critique+Experts。
每增加一个调优环节，GPT-4的能力也就跃升一步。
而这篇研究当时有争议的地方，就在于让GPT-4给自己打分。
研究团队在数据集上，微调GPT-4，给定问题Q，基准解S，和LLM的答案A，便使用GPT-4自动对模型响应进行了评分。
GPT-4给自己打满分，确实值得怀疑。
客座教授被指「抢发」论文
Iddo Drori
Iddo Drori是波士顿大学计算机科学实践副教授，麻省理工学院的客座副教授，以及哥伦比亚大学的兼职副教授。
此前曾是麻省理工学院EECS的讲师，康奈尔大学运筹学和信息工程学的客座副教授，以及纽约大学数据科学中心、Courant研究所和NYU Tandon的研究科学家和兼职教授。
他拥有计算机科学博士学位，并在斯坦福大学统计学领域进行过博士后研究。他还拥有组织行为学和创业管理的MBA学位，并拥有十年的工业研究和领导经验。
Iddo Drori的主要研究领域是机器学习、人工智能和计算机视觉，发表了70篇论文，被引用超过5200次，教授过35门计算机科学课程。
他是剑桥大学出版社出版的教材《深度学习的科学》的作者。他在计算机视觉会议上赢得过多项竞赛，并在机器学习会议上获得过多个最佳论文奖项。
而就在刚刚，有网友敏锐地发现：「Iddo现在不仅去掉了LinkedIn主页上『麻省理工学院客座教授』的头衔，而且他的客座职位似乎即将在这个月结束。」
三位共同作者
Armando Solar-Lezama
Armando Solar-Lezama是麻省理工学院的电气工程和计算机科学（EECS）教授，同时也是计算机科学与人工智能实验室（CSAIL）的副主任兼首席运营官。
他是由美国国家科学基金会（NSF）资助的Expeditions项目「通过代码理解世界」的首席项目负责人，并且还是一个创建交互式演示文稿的在线平台——playskript的创始人。
他的研究重点是程序合成。这是一个令人兴奋的研究领域，一方面，程序合成涉及使用自动推理和学习来帮助将更多自动化引入编程过程。另一方面，代码提供了一种独特的建模机制，因此程序合成可以在构建更可预测和稳健的学习系统方面发挥重要作用。
Tonio Buonassisi
Tonio Buonassisi是麻省理工学院的机械工程教授。他的研究主要集中在太阳能光伏和技术经济分析领域，在许多公司的技术发展中发挥了重要作用，因此获得了美国总统早期科学家和工程师奖（PECASE）、美国国家科学基金会职业奖（CAREER Award）和谷歌教师奖。
在MIT，Tonio Buonassisi是可持续发展加速材料实验室的负责人，领导可持续材料开发的研究工作。他还曾担任新加坡加速材料制造计划的创始主任。此外，他还共同创办了初创公司Xinterra以及非营利性组织Fraunhofer可持续能源系统中心。
Tonio Buonassisi在教育方面展现出了极高的热情和才能。他曾荣获麻省理工学院Everett Moore Baker杰出本科教学奖，他的教学影响不仅局限于课堂，还通过其OpenCourseware/YouTube光伏讲座系列获得了超过179,000次观看。他最近还制作了一系列名为「加速材料制造」的YouTube视频，重点关注人工智能在材料研究中的应用。
Yoon Kim
Yoon Kim是麻省理工学院（EECS/CSAIL）的助理教授。之前在哈佛大学获得计算机科学博士学位，导师是Alexander Rush。
他的研究兴趣包括：大规模模型的高效训练和部署、理解大语言模型的能力和限制、用符号机制控制和增强神经网络、计算和人类语言处理之间的联系。
变了味的研究
现在，GPT-4可以说是已经被推崇成了LLM领域的全新「基准」。
这种趋势一方面在迫使研究人员将自己的工作与其进行比较，另一方面又催生了相当一部分只为跟风和炒作的研究。
不仅如此，OpenAI在GPT-4技术报告中开创的「黑盒」方法，也被其他人纷纷效仿。
在HackerNews的讨论中，一位用户表示，机器学习已经不再是一个科学领域，而是变得像社会科学一样，建立在另一种不可证伪和不可重现的研究之上。
有媒体称，这次事件无疑是在人工智能领域树立了一个糟糕的先例，让大家对研究的真实性产生了质疑——互联网上有多少论文实际上是有问题的？
随着「基准」GPT-4开始涉足文章的撰写阶段，论文的质量预计还会有进一步下降。
参考资料：
https://people.csail.mit.edu/asolar/CoursesPaperStatement.pdf
引用原文：
https://mp.weixin.qq.com/s/VX5yomdFFEft-DbR9HMSiA
窥视卡
雷达卡
发表于 2023-6-26 16:03:06
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜