作者：Zhen Fang、Yixuan Li、Jie Lu、 Jiahua Dong、Bo Han、Feng Liu
論文地址：https://openreview.net/forum?id=sde_7ZzGXOE
獲獎理由：這項工作提供了分布外 (OOD) 檢測的理論研究，重點關(guān)注此類模型可學習的條件。該工作使用 PAC（probably approximately correct）學習理論表明 OOD 檢測模型僅在數(shù)據(jù)分布空間和預測模型空間的某些條件下是 PAC 可學習的。該研究還提供了 3 個具體的不可能定理，可以用來確定 OOD 檢測在實際環(huán)境中的可行性，為現(xiàn)有的 OOD 檢測方法提供了理論基礎。這項工作還提出了新的理論問題，例如關(guān)于 near-OOD 檢測的可學習性。該研究將在 OOD 檢測這個重要的研究領(lǐng)域產(chǎn)生廣泛的理論和實踐影響。 論文 2：Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding
機構(gòu)：谷歌研究院
作者：Chitwan Saharia、William Chan、Saurabh Saxena等
論文地址：https://openreview.net/forum?id=08Yk-n5l2Al
獲獎理由：基于擴散過程的高質(zhì)量圖像生成模型已在機器學習領(lǐng)域產(chǎn)生巨大的影響。該研究代表了此類模型的 SOTA 水平之一，并創(chuàng)新性地展示了獨立訓練的大型語言模型與大規(guī)模圖像解碼器的有效結(jié)合。這種實用的解耦很可能成為大規(guī)模文本到圖像模型的主導范例。該研究的成果令人印象深刻。 論文 3：Elucidating the Design Space of Diffusion-Based Generative Models
機構(gòu)：NVIDIA
作者：Tero Karras、Miika Aittala、Timo Aila、Samuli Laine
論文地址：https://openreview.net/forum?id=k7FuTOWMOc7
獲獎理由：這篇論文通過調(diào)查思考，將先前的研究組織成一個連貫的共同框架，以促成新的建模改進，這是該研究的研究方法。該研究的重點是包含某種形式擴散過程的圖像生成模型，盡管訓練此類模型存在困難，但這種模型最近變得非常流行。這篇論文對基于擴散過程的模型的理解和實現(xiàn)做出了重要貢獻。 論文 4：ProcTHOR: Large-Scale Embodied AI Using Procedural Generation
機構(gòu)：艾倫人工智能研究院、華盛頓大學
作者：Matt Deitke、Eli VanderBilt、Alvaro Herrasti等
論文地址：https://openreview.net/forum?id=4-bV1bi74M
獲獎理由：這項工作提出了一種新框架，用于在大量數(shù)據(jù)上訓練具體的 AI 智能體，為這些智能體創(chuàng)造從擴展中受益的潛力，類似于語言和圖像生成模型。該框架的核心是一個引擎，用于構(gòu)建程序生成的、支持物理的環(huán)境，智能體可以與環(huán)境交互。該引擎與大量數(shù)據(jù)和環(huán)境控制相結(jié)合，可以生成大量不同的環(huán)境組合。研究者證明該框架可用于為多個具體 AI 任務訓練 SOTA 模型。此外，該研究已將框架和代碼開源。 論文 5：Using natural language and program abstractions to instill human inductive biases in machines
機構(gòu)：普林斯頓大學神經(jīng)科學研究所、DeepMind 等
作者：Sreejan Kumar、Carlos G. Correa、Ishita Dasgupta等
論文地址：https://openreview.net/forum?id=buXZ7nIqiwE
獲獎理由：該研究表明程序抽象（program abstraction）和自然語言的共同訓練可以將人類偏見納入機器的學習過程。研究者提出了一種結(jié)合人類偏見的 clean 方法，該方法對程序抽象也很穩(wěn)健。 論文 6：A Neural Corpus Indexer for Document Retrieval
機構(gòu)：微軟、清華大學等
作者：Yujing Wang、Yingyan Hou、Haonan Wang等
論文地址：https://openreview.net/forum?id=fSfcEYQP_qc
獲獎理由：這項工作提出了一種神經(jīng)索引器，它將查詢作為輸入，并通過解碼器結(jié)合集束搜索（beam search）輸出與索引中相關(guān)文檔對應的 ID 列表。這種新方法加入了一個小型但不斷增長的研究系列，這種新范例允許使用標準深度學習算法和框架對目標應用程序的索引器進行基于梯度的優(yōu)化。該研究提出的方法引入了架構(gòu)和訓練選擇，與之前的工作相比，這些選擇帶來了顯著改進。該研究闡明了神經(jīng)索引器的廣泛應用前景。 論文 7：High-dimensional limit theorems for SGD: Effective dynamics and critical scaling
作者：Gerard Ben Arous、Reza Gheissari、Aukosh Jagannath
作者：Valentin De Bortoli、 Emile Mathieu、Michael John Hutchinson 等
論文地址：https://arxiv.org/pdf/2202.02763.pdf
獲獎理由：本文通過識別影響生成模型成功的主要因素，將基于分數(shù)的生成模型 (SGM) 從歐氏空間泛化到緊湊的黎曼流形。這種方法是一種新穎的、技術(shù)上有用的貢獻。 論文 10：Gradient Estimation with Discrete Stein Operators
機構(gòu)：斯坦福大學、清華大學、 DeepMind 等
作者：Jiaxin Shi、Yuhao Zhou、Jessica Hwang 等
論文地址：https://openreview.net/pdf?id=I1mkUkaguP
獲獎理由：本文探討了分布呈離散時的梯度估計問題。大多數(shù)常見梯度估計器都存在過度方差，因此為了提高梯度估計的質(zhì)量，研究者引入了一種基于離散分布 Stein 算子的方差縮減技術(shù)。盡管 Stein 算子很經(jīng)典，但這項工作為梯度估計提供了一種很好的解釋，并在實驗中顯示了實際改進。 論文 11：An empirical analysis of compute-optimal large language model training
獲獎理由：該研究提出一個問題：給定固定的 FLOPs 預算，模型的大小和訓練 token 數(shù)應該如何權(quán)衡？該研究對這種權(quán)衡進行了建模，并基于該模型進行預測，同時訓練與該預測相對應的模型。由此產(chǎn)生的模型明顯更小，但包含了更多的 token，性能優(yōu)于其對應模型，同時由于模型尺寸更小，在下游任務中也更實用?？偠灾?，這項工作為社區(qū)在語言模型背景下思考規(guī)模的方式提供了新的思路，這也可能對 AI 的其他領(lǐng)域有用。 論文 12：Beyond neural scaling laws: beating power law scaling via data pruning
獲獎理由：本文研究了使用隨機零和游戲博弈的多重分布式學習。對于具有接近最優(yōu)結(jié)果的一類問題，該技術(shù)得出了非常有趣的理論結(jié)果。 數(shù)據(jù)集和基準 Track 杰出論文 該獎項旨在表彰面向數(shù)據(jù)工作的研究，今年有兩篇論文獲得了該獎項，分別由 LAION、英偉達等機構(gòu)研究者摘得。 論文 1：LAION-5B: An open large-scale dataset for training next generation image-text models
機構(gòu)：LAION 、UC 伯克利等
作者：Christoph Schuhmann 、 Romain Beaumont 、 Richard Vencu 等
