1月21日，中國計算機學會(CCF)推薦的A類國際學術會議ICLR 2023論文接收結果公布。中國人民大學高瓴人工智能學院師生有6篇論文被錄用。國際表征學習大會(International Conference on Learning Representations，簡稱ICLR )是深度學習領域的頂級會議，關注有關深度學習各個方面的前沿研究，本屆會議錄用率為31.8%。論文介紹論文題目：Uni-Mol: A Universal 3D Molecular Representation Learning Framework作者：周耕墨，高志鋒，丁乾坤，鄭行，許洪騰，魏哲巍，張林峰，柯國霖論文概述：分子表示學習近期獲得了研究者們極大的關注。

　　主要是因為它在有限的監(jiān)督數(shù)據(jù)學習中表現(xiàn)出色，如藥物設計領域。然而在大多數(shù)方法中，分子被視為一維序列字符串或二維拓撲圖，這限制了方法在下游任務中引入三維信息的能力，特別是幾乎無法用于三維相關的幾何預測或生成。在此，我們提出了Uni-Mol，一個通用的三維分子表示學習框架，它大大擴展了方法的表示能力和應用范圍。Uni-Mol由兩個具有相同SE(3)-等變性的自注意力模型組成：一個由兩億余分子構象訓練的分子預訓練模型;一個是由三百萬蛋白口袋數(shù)據(jù)訓練的口袋預訓練模型。

　　這兩個模型獨立用于不同的下游任務，而蛋白質(zhì)-配體結合任務中則結合起來用。通過適當引入三維信息，Uni-Mol在分子性質(zhì)預測任務中優(yōu)于之前的工作。此外，Uni-Mol在三維空間任務中取得了優(yōu)異表現(xiàn)，包括蛋白質(zhì)-配體結合姿態(tài)預測、分子構象生成等。最后，我們也通過實驗表明，Uni-Mol可以成功地應用于具有少量數(shù)據(jù)的任務，如口袋可藥性預測。代碼、模型和數(shù)據(jù)均已開源。

　　論文介紹

　　論文題目：Symbolic Physics Learner: Discovering governing equations via Monte Carlo tree search作者：孫方正，劉揚，王建勛，孫浩通訊作者：孫浩論文概述：現(xiàn)代科學的發(fā)展主要依賴于簡潔而優(yōu)美的數(shù)學方程，得益于符號方程可解釋、可通用的特征，即便是復雜系統(tǒng)，其運行機制也可以被合理詮釋。基于測量數(shù)據(jù)挖掘非線性動力系統(tǒng)的控制方程，在科學探索和工程應用中扮演重要角色，但同時面臨巨大挑戰(zhàn)。

　　為此，本文提出了一種新穎的“符號物理學習機”(SPL)，實現(xiàn)自動化數(shù)學方程符號回歸：首先，利用有限的數(shù)學算子作為基礎符號單元，建立簡明、易計算且具有強表示能力的數(shù)學符號解析樹;然后，采用蒙特卡洛樹搜索策略，在離散無窮大可行域內(nèi)實現(xiàn)兼顧探索和利用的優(yōu)化目標，從稀疏噪聲測量數(shù)據(jù)中自動搜尋最優(yōu)解析樹表達形式，具備計算效率高、延展性好特征。實驗結果表明，本文提出的SPL方法提供了一種有效的符號回歸新范式，優(yōu)于已有方法，可用于探索復雜動力系統(tǒng)狀態(tài)演化機理、變量隱含物理關系和潛在控制方程/定律。【注：本文錄用標簽為Accept (oral): notable-top-5%】

　　論文介紹

　　論文題目：Generalization Bounds for Federated Learning: Fast Rates, Unparticipating Clients and Unbounded Losses作者：胡嘯林，李少杰，劉勇通訊作者：劉勇論文概述：在典型的聯(lián)邦學習場景中，不同客戶端(用戶)對應的數(shù)據(jù)分布并不相同。由于隱私保護和無線網(wǎng)絡穩(wěn)定性等因素的限制，實際參與聯(lián)邦學習訓練的客戶端往往只占全部客戶端的一小部分。考慮到未參與訓練的客戶端與參與訓練的客戶端存在數(shù)據(jù)分布上的差異，參與訓練的客戶端訓練好的模型能不能使得未參與訓練的客戶端獲益成為亟待回答的問題。聯(lián)邦學習社區(qū)已有工作大多只關注訓練過程中的優(yōu)化收斂速度，泛化分析方面僅有的工作也只是考慮了參與訓練的客戶端。本文對未參與訓練的客戶端對應的泛化性能進行了分析，從理論上闡明了影響未參與訓練的客戶端獲益的因素。具體來講，針對數(shù)據(jù)分布不同的特點，本文采用了雙層分布的理論分析框架，即假設不同客戶端的數(shù)據(jù)分布采樣自一個元分布。該假設不僅體現(xiàn)了不同客戶端之間數(shù)據(jù)異質(zhì)性的特點，還刻畫了數(shù)據(jù)分布之間的聯(lián)系。本文在損失有界的假設下基于復雜度方法得到了更快的泛化收斂率，在損失無界的假設下給出了基于小球法的理論結果，無界損失下的理論結果適用于損失函數(shù)為重尾分布的情況。

　　論文介紹

　　論文題目：Deep Generative Modeling on Limited Data with Regularization by Nontransferable Pre-trained Models作者：鐘勇，劉洪濤，劉曉東，鮑凡，沈蔚然，李崇軒通訊作者：沈蔚然，李崇軒論文概述：深度生成模型(Deep generative model，DGM)非常渴望數(shù)據(jù)，因為在有限的數(shù)據(jù)上學習復雜的模型會遭遇大方差并且容易過擬合。受偏差-方差權衡的經(jīng)典觀點啟發(fā)，我們提出了正則化深度生成模型(Reg-DGM)，該模型利用不可遷移的預訓練模型來減少有限數(shù)據(jù)下生成模型的方差。形式上，Reg-DGM優(yōu)化了某個散度和能量函數(shù)期望值的加權和，其中散度定義在數(shù)據(jù)分布和模型分布之間以及能量函數(shù)由預訓練模型分布定義。我們分析了一個簡單但具有代表性的高斯擬合情況，以展示加權超參數(shù)如何權衡偏差和方差。理論上，我們描述了Reg-DGM在非參數(shù)設置下的全局最小值的存在性和唯一性，并證明了其收斂性在使用基于梯度的方法訓練神經(jīng)網(wǎng)絡情況下。實驗上，Reg-DGM利用各種預先訓練的特征提取器和依賴于真實數(shù)據(jù)的能量函數(shù)，一致提升有限數(shù)據(jù)下的強DGM的生成性能，并獲得與最先進方法相比具有競爭力的結果。

　　論文介紹

　　論文題目：Equivariant Energy-guided SDE for Inverse Molecular Design作者：鮑凡，趙敏，郝中楷，李沛堯，李崇軒，朱軍通訊作者：李崇軒，朱軍論文概述：可逆分子設計任務在材料科學、藥物發(fā)現(xiàn)等領域至關重要，其目的是生成滿足特定性質(zhì)的分子。本文提出了一種一般的3D分子可控生成框架：等變能量函數(shù)引導的隨機微分方程(EEGSDE)，即通過定義能量函數(shù)對擴散模型進行指導生成。理論上，我們證明了只要能量函數(shù)具有旋轉(zhuǎn)不變性， 則EEGSDE可以保留3D分子構象中的幾何對稱性。實驗上，我們在生成滿足特定量子性質(zhì)和分子結構的分子中取得了SOTA的結果。此外，通過對能量函數(shù)線性組合，EEGSDE可以生成具有多種目標性質(zhì)的分子。

　　論文介紹

　　論文題目：Conditional Antibody Design as 3D Equivariant Graph Translation作者：孔祥哲，黃文炳，劉洋通訊作者：黃文炳，劉洋論文概述：作為一種特殊的蛋白質(zhì)，抗體在人體免疫機制中扮演重要角色，是藥物研發(fā)的重點對象。如何利用人工智能方法加速抗體特別是其CDR區(qū)域的設計和優(yōu)化，是智能藥物發(fā)現(xiàn)領域的焦點問題。

　　已有方法存在幾點不足：1)沒考慮抗體的完整作用區(qū)域;2)沒有很好建模抗體3維結構的幾何對稱性;3)自回歸地預測抗體1維氨基酸序列的方式較為低效。本文提出了一種多通道等變圖神經(jīng)網(wǎng)絡的設計方法MEAN，能基于抗原-抗體的完整可變區(qū)域，同時生成抗體CDR區(qū)域的1維序列和對接后的3維幾何結構。MEAN滿足E(3)等變性，因而具備高泛化性;MEAN能一次性預測CDR所有氨基酸類別，因而具備高效性。與傳統(tǒng)方法相比，MEAN的生成效果更佳;特別針對抗體優(yōu)化任務，MEAN優(yōu)化后的抗體在目標抗原的中和力上比傳統(tǒng)方法提升34%以上。