在伊利亞·蘇茨克弗領導下，OpenAI的超級對齊團隊探索了指導日益聰明的人工智能模型行為的方法。

自從去年ChatGPT面世以來，尤其在公司近期的治理危機中，OpenAI的商業抱負變得更加顯著。該公司聲稱，一個專注于馴服未來超級智能AI的新研究小組正在取得初步成果。

OpenAI的研究人員正在檢驗一種被稱為監督的過程，該過程用于調整像GPT-4這樣的大型語言模型，使其更有幫助、減少危害。目前，這涉及到人類向AI系統提供關于哪些答案是好的，哪些是壞的反饋。隨著AI的發展，研究人員正在探索如何自動化這一過程，以節省時間，但也因為他們認為，隨著AI變得更加強大，人類提供有用反饋可能變得不可能。

在一項控制實驗中，研究人員使用OpenAI于2019年首次發布的GPT-2文本生成器來教導GPT-4，較新的系統變得能力下降，類似于較低級的系統。研究人員測試了兩種解決方案。一種是訓練逐漸更大的模型以減少每一步的性能損失。另一種是在GPT-4中添加了一個算法調整，允許更強大的模型在不太削弱其性能的情況下遵循較弱模型的指導。這更有效，盡管研究人員承認，這些方法不能保證更強大的模型會完美行為，他們將其描述為進一步研究的起點。

阿什徹布倫納和另外兩名超級智能團隊的成員在接受WIRED采訪時表示，他們對這一重要的第一步感到鼓舞，認為這是馴服潛在超級智能AI的重要起點。伊茲梅洛夫說：“即使是一個六年級的學生數學知識比大學數學專業的學生少，他們仍然可以向大學生傳達他們想要實現的目標。這就是我們現在試圖實現的?！?/span>

該超級對齊小組由OpenAI的聯合創始人、首席科學家蘇茨克弗共同領導，他是上個月投票解雇首席執行官薩姆·奧特曼的董事會成員之一，隨后撤銷決定，并威脅如果奧特曼不被重新任命，他將辭職。蘇茨克弗是今天發布的論文的合著者，但OpenAI拒絕讓他參與討論該項目。

在奧特曼上個月回歸OpenAI并且大部分董事會成員辭職的協議后，蘇茨克弗在公司的未來似乎不確定。

阿什徹布倫納說：“我們非常感謝伊利亞，他一直是這個項目的巨大動力和推動力?！?/span>

盡管OpenAI正在宣揚控制更先進AI的第一步，但該公司也熱切希望獲得外部幫助。公司今天宣布，將與影響力投資者、谷歌前首席執行官埃里克·施密特合作，向外部研究人員提供1000萬美元的資助，以進一步研究包括弱對強監督、高級模型的可解釋性，以及增強模型以抵御旨在破壞其限制的提示等主題。OpenAI還計劃明年舉辦一次關于超級對齊的會議，新論文的參與研究人員表示。

蘇茨克弗，作為OpenAI的聯合創始人和超級對齊團隊的共同領導，領導了公司大部分重要的技術工作，也是越來越多關注如何控制越來越強大的AI的著名AI人物之一。今年，由于ChatGPT的推出，如何控制未來AI技術的問題引起了新的關注。蘇茨克弗在杰弗里·辛頓的指導下攻讀博士學位，辛頓是深度神經網絡的先驅，他于今年五月離開谷歌，以警告AI在某些任務中接近人類水平的速度。