室內場景生成任務是近年來熱門的研究課題。它不僅能為計算機視覺任務提供天然帶有標注的室內場景數(shù)據(jù)集，幫助其更好地理解場景，還能應用到諸多現(xiàn)實場景中，如機器人導航等。室內場景布局的多樣性使得場景生成成為一項非常具有挑戰(zhàn)性的任務。該文梳理了近年來在室內場景生成算法領域中的研究進展，從場景輸入、場景上下文關系、場景表達方式、場景生成方式以及家具擺放順序對生成算法進行總結分類，并以無樣例的基于物體關系的生成方式、無樣例的基于人類活動的生成方式以及基于樣例和物體關系的生成方式  3 個分支對室內場景生成算法的發(fā)展以及優(yōu)缺點進行分析。此外，該文還總結了現(xiàn)有算法的不足，并指出了室內場景生成算法未來可以嘗試的方向。

　　1 引言

　　近年來，虛擬室內場景被廣泛應用于虛擬現(xiàn)實、增強現(xiàn)實、開放式游戲以及機器人領域，然而，室內場景的設計需要耗費大量時間且室內場景建模也需要復雜的場景設計工具。因此， 自動化室內場景生成任務成為了研究人員關注的熱點，并得到了快速發(fā)展。

　　室內場景生成任務，其目的就是將家具擺放在具有固定大小、結構的三維空間中，并滿足現(xiàn)實室內場景中的功能約束及物理約束。其中，家具在三維空間中的屬性信息可由位置、朝向、類別來描述。室內場景生成的本質是確定擺放的家具類別以及家具排列在三維空間中的方式。與室內場景生成任務類似， 三維模型生成過程是確定模型部件的排列方式，戶型圖生成則是將房間進行排列，所以戶型圖、三維模型以及室內場景生成任務的解決方案可以互相借鑒或組合使用。三維模型由于其固定的功能特性，使得模型部件之間具有相對固定的布局規(guī)律， 不具有太多的變化。與三維模型生成相比，室內場景生成有以下 3 個難點：

　　(1) 室內場景中家具的擺放方式有很大的自由度，同樣的家具可能有多種合理的布局，所以家具之間的關系相對更加復雜。

　　(2) 三維模型有固定的計算機可以理解的表達方式，如點云、體素、網(wǎng)格等。如何將室內場景抽象為計算機可以理解的場景表達方式是一項挑戰(zhàn)。

　　(3) 室內場景生成還需要考慮更多特殊的約束，如過道連通性、視野開闊性等。主流的室內場景生成算法，使用物體之間的上下文關系對場景布局進行結構化，少量基于人類活動與物體上下文關系來表達場景布局的室內場景生成算法組成了新的分支。無參考信息的室內場景生成任務是非常具有挑戰(zhàn)性的，

　　圖 1 場景生成算法框架

　　由此，出現(xiàn)了一系列基于樣例的場景生成算法。本文從上述 3 個難點出發(fā)，將場景生成任務按照無樣例的基于物體關系的生成方式、無樣例的基于人類活動的生成方式以及基于樣例和物體關系的生成方式 3 個分支，對場景生成算法進行描述和分析。

　　圖 1 展示了整個場景生成過程中所涉及的算法框架，其中，室內場景效果圖來自 3D-FRONT 數(shù)據(jù)集。

　　2 室內場景數(shù)據(jù)集

　　基于室內場景圖像的圖像檢測、圖像分割、本征分解等計算機視覺相關的任務已經(jīng)得到了深入研究，這些研究致力于使計算機能夠像人類一樣更好地理解室內場景。然而，在視覺領域中對應不同任務的標注數(shù)據(jù)是非常難獲得的，因此，該領域迫切需要天然帶有標注的室內場景數(shù)據(jù)集來模擬真實室內場景，從而減輕標注數(shù)據(jù)的負擔。

　　最早出現(xiàn)的室內場景數(shù)據(jù)集是由 Handa 等提出的SceneNet 數(shù)據(jù)集，該數(shù)據(jù)集僅提供少量帶有三維模型的室內場景。Song 等提出了被廣泛使用的大規(guī)模室內場景數(shù)據(jù)集 SUNCG，然而，該室內場景是由業(yè)余設計師設計的，所以與真實場景存在一定的差距。與三維模型組合而來的合成室內場景數(shù)據(jù)集不同，Dai 等提出了一個基于真實場景掃描且包含豐富注釋的 RGB-D 掃描圖像數(shù)據(jù)集 ScanNet。Li 等提出的 InteriorNet 數(shù)據(jù)集使用了更多高質量的計算機輔助設計(Computer Aided Design，CAD) 模型，并請專業(yè)設計師據(jù)此設計了近 2 000 萬個室內場景，同時渲染出了更接近照片效果的室內場景圖像，只是其并不公開對應的三維模型，僅提供圖像供研究使用。不同于前述的數(shù)據(jù)集 ( 都不包含對室內場景結構的真實標注 )，Mo 等提出的 StructureNet 數(shù)據(jù)集提供了由專業(yè)設計師設計的帶有場景結構信息標注的室內場景，可以為諸如房間結構預測等任務提供更可靠的標注數(shù)據(jù)。之后， Fu 等提供了 3D-FRONT 室內場景數(shù)據(jù)集，該數(shù)據(jù)集是由家裝領域用戶使用的真實室內場景數(shù)據(jù)構成的，其中有將近一半的房間場景被設計師認作具有一定設計理念的高質量場景。由Roberts 等提出的 Hypersim 數(shù)據(jù)集在提供三維模型的同時， 也提供了帶有實例和語義分割標注的渲染圖像，以及圖像解耦之后的表示圖像，是目前標注信息最完善的室內場景數(shù)據(jù)集。

　　3 室內場景生成算法的分類

　　室內場景生成算法發(fā)展至今已有許多出色的研究成果。本文從已有算法中，抽象出了 5 個分類標準，并從不同角度對現(xiàn)有的算法進行歸納總結，分析比較現(xiàn)有算法的優(yōu)劣，用于幫助讀者更好地理解室內場景生成算法的發(fā)展現(xiàn)狀，具體如表 1 室內場景生成算法分類所示。

　　3.1 基于場景輸入的分類

　　根據(jù)場景輸入是否存在參考樣例，可以將室內場景生成算法分為無樣例的場景生成算法和基于樣例的場景生成算法。無樣例的場景生成算法往往是從大規(guī)模室內場景數(shù)據(jù)集中總結規(guī)則、抽象能量函數(shù)，或者將布局規(guī)律融入概率統(tǒng)計、深度學習先驗，進而從無到有地生成合理的室內場景?；跇永膱鼍吧伤惴ㄓ形谋?、草圖、圖像、三維信息等輸入形式，要求場景的生成結果與輸入一定程度上匹配，屬于有條件的場景生成任務。

　　在場景生成的實際應用中，往往需要加入用戶的喜好，所以基于樣例的生成算法能夠更好地與人交互，更具有應用前景。但是，在需要大量多樣的虛擬室內場景時，無樣例的場景生成算法更具優(yōu)勢。

　　3.2 基于場景上下文關系的分類

　　根據(jù)場景上下文信息建模的方式不同，可將室內場景生成算法分為基于物體與物體之間的關系和基于人類與物體之間的關系。大多數(shù)室內場景生成算法考慮的都是物體與物體之間的關系，這種關系可用來確定家具擺放的空間位置關系和判斷家具類別的共現(xiàn)關系，還有少部分采用隱式的方式學習場景布局的上下文信息，如采用神經(jīng)網(wǎng)絡的注意力機制或利用 CNN、DNN 網(wǎng)絡參數(shù)自動學習?？紤]到物體的擺放與人類的活動息息相關，近年來出現(xiàn)了基于人類與物體之間的關系進行建模的算法，其主要包含人體姿態(tài) - 物體、人體動作 - 物體以及人體部位 - 物體 3 種形式。

　　設計師在利用計算機軟件進行室內場景設計的過程中，未將人可能在的區(qū)域或動作輸入計算機中，所以缺少包含人類行為的虛擬室內場景數(shù)據(jù)集。另外，在不考慮復雜度的情況下， 基于物體與物體之間的關系建模是最易實現(xiàn)的，未來的算法會更加傾向于基于這種關系的建模方式。然而，現(xiàn)有的算法仍避免不了人為定義如支撐、環(huán)繞等物體與物體之間的關系，采用注意力機制學習物體與物體之間的關系能更好地解決該問題。

　　3.3 基于場景表達方式的分類

　　室內場景生成算法根據(jù)其表達方式的不同主要分為圖結構、層次結構、圖像結構和矩陣結構。圖結構是由節(jié)點集合和邊集合構成的，其優(yōu)點是靈活直觀，可以在任意兩個對象之間添加聯(lián)系，所以大部分算法都采用圖結構的方式進行表達。層

　　表 1 室內場景生成算法分類

　　注：場景上下文關系中，O 代表物體 - 物體關系，P 代表人 - 物體關系;場景表達中，G 代表圖結構，H 代表層次結構，I 代表圖像結構，M 代表矩陣結構;生成順序中，Seq 代表順序生成，Syn 代表同步生成;場景輸入中，N 代表無參考，T 代表文本輸入，S 代表草圖輸入，I 代表圖像輸入，D 代表三維信息輸入;生成算法中， C 代表傳統(tǒng)算法，L 代表深度學習算法。

　　次結構是由一組具有父子關系的節(jié)點組成，每一個子節(jié)點都只有一個父節(jié)點。一般將整個場景作為根節(jié)點，家具或家具部件作為葉子節(jié)點，節(jié)點之間存在指向性關系。按照層次遞進的方式生成室內場景比較符合設計師設計場景時的設計思路。考慮到家具一般排列在二維空間中，有研究人員采用俯視圖的方式來表達場景，圖像結構的表達方式可以更加直觀地將家具之間的位置關系體現(xiàn)到坐標上。基于矩陣的表達方式，首先將每個家具節(jié)點的屬性用向量來表示，然后將所有家具的向量整合為一個可以代表整個場景布局信息的矩陣，矩陣的表達形式最為簡單，不需要定義物體之間的上下文關系，但是在生成過程中同樣無法體現(xiàn)家具之間的關系，可解釋性不強。

　　目前，深度學習是主要的場景生成算法，而圖卷積神經(jīng)網(wǎng)絡的出現(xiàn)使得圖結構表示的場景也能利用深度學習的優(yōu)勢，自動學習場景布局規(guī)律。同時，圖結構本身能靈活增加、刪除節(jié)點的優(yōu)勢也能使深度學習算法更好地與人交互。所以利用圖卷積神經(jīng)網(wǎng)絡進行深度學習的圖結構表達場景會更具優(yōu)勢。

　　3.4 基于場景生成方式的分類

　　根據(jù)場景生成方式的不同，可將室內場景生成算法主要分為傳統(tǒng)算法和深度學習算法。在深度學習算法出現(xiàn)以前，為了確定布局參數(shù)，傳統(tǒng)方法采用基于規(guī)則、優(yōu)化以及概率統(tǒng)計的傳統(tǒng)方式對場景的布局規(guī)律進行建模。在大規(guī)模室內場景數(shù)據(jù)集出現(xiàn)以后，深度學習算法由于其強大的特征學習和提取能力成為室內場景布局算法的主要手段。傳統(tǒng)算法需要耗費大量的人工成本對室內場景布局規(guī)律進行抽象，并且在生成過程中耗時相對較長。而深度學習算法則通過端到端的生成神經(jīng)網(wǎng)絡， 可以自動學習布局規(guī)律并且快速生成布局，成為目前主流的場景生成算法。

　　3.5 基于家具擺放順序的分類

　　根據(jù)場景中家具擺放的順序，可以將室內場景生成算法分為順次迭代和同步生成兩種方式。順次迭代的缺點是后序擺放的物體由于順序性無法對前序擺放的物體產(chǎn)生影響，而前序擺放的物體也無法預測后續(xù)擺放的物體類別，但其優(yōu)點是如果發(fā)現(xiàn)放不下的物體可以舍棄，所以只要算法正確就一定能夠生成合理的場景。同步生成的優(yōu)點是所有家具在擺放時都可以考慮其他所有家具的擺放，缺點是擺放的過程中不能舍棄家具，可能會有不合理的場景出現(xiàn)。

　　4 室內場景生成算法

　　室內場景布局生成的目標是確定家具的大小、類別及擺放在三維空間中的位置和朝向。目前，主流的場景生成算法是在無樣例約束的條件下，基于物體關系對場景建模后進行生成。本節(jié)對無樣例的基于物體關系的場景生成算法，按照傳統(tǒng)算法和深度學習算法兩大類進行梳理，并概述了場景表達方式和場景生成順序。在上述主流算法的基礎上，還衍生出了基于人類活動的無樣例場景建模的場景生成方式，以及基于物體關系和樣例的場景生成方式。

　　本節(jié)按照無樣例的基于物體關系的場景生成算法、無樣例的基于人類活動的場景生成算法以及基于樣例和物體關系的場景生成算法 3 大類對場景生成算法進行具體地梳理和分析，用于幫助讀者更好地了解場景生成算法的發(fā)展趨勢。

　　4.1 無樣例的基于物體關系的場景生成算法

　　4.1.1 傳統(tǒng)生成方法

　　早期用于研究自動室內場景生成的傳統(tǒng)方法主要分為 3 種：基于規(guī)則的場景生成、基于能量優(yōu)化的場景生成以及基于概率統(tǒng)計的場景生成。傳統(tǒng)方法需要充分發(fā)揮科研人員的概括和抽象能力，利用有限的知識和能力抽象出可能的場景布局規(guī)律，并用算法來表示。

　　Xu 等最早提出基于規(guī)則并以順序迭代的方式將家具逐個擺放到室內場景中的場景生成算法。在擺放過程中，該算法根據(jù)可放置的平面、平面的支撐能力以及擺放物體間的距離來考慮家具可能擺放的位置，同時將現(xiàn)實場景中家具之間的語義相關性融入到規(guī)則中使得家具擺放更加合理。此外，該算法還增加了物體的非互穿性、穩(wěn)定性及物體間的摩擦等物理約束，避免出現(xiàn)不和諧的場景擺放。

　　Yu 和 Merrell 等提出用以布局信息為變量的能量函數(shù)來表示規(guī)則，通過優(yōu)化能量函數(shù)的方式生成合理的布局。家具之間的語義相關性可以概括為層次關系、空間位置關系以及成對關系，其可作為場景上下文信息融入能量方程。也可以考慮功能性擺放規(guī)則以及視覺性擺放規(guī)則，來約束家具的擺放位置。兩種算法從解決問題的不同角度分別提出了不同的優(yōu)化能量函數(shù)方式。由于搜索空間過大，前述算法采用了模擬退火算法， 逐步確定家具的擺放后得到一個合理的室內場景。后者則考慮到由于布局的多樣性會使得場景有多種合理的布局，對應的能量函數(shù)也具有多峰值，所以該算法采用了馬爾科夫蒙特卡洛采樣的方式，對能量函數(shù)進行優(yōu)化。

　　Fisher 等提出一種基于高斯混合模型和貝葉斯模型的概率模型來學習場景的布局先驗，并以此為基礎生成與用戶給定示例場景相似的新室內場景。該模型能夠根據(jù)成對物體在空間位置中的共現(xiàn)概率，預測可擺放的家具類別以及場景空間中最有可能擺放該家具的位置。為了增加新場景布局的多樣性，該論文還提出了一種基于場景上下文信息的聚類算法，并以此提供可互相替換的家具類別。除了考慮成對的對象關系以外， Kermani 等還采用了涉及兩個以上對象的關系表示場景的上下文。與前述只考慮局部家具之間的上下文關系不同，Liu 等利用給定的大規(guī)模室內場景數(shù)據(jù)集構造了一個具有層次結構的語法概率模型，用其來概括整個室內場景的上下文關系。這種利用數(shù)據(jù)集學到的層次關系，將其作為一個整體進行擺放更能增加布局的合理性。Henderson 等也是按照主要物體、小物體、天花板物體、墻面物體這樣層次遞進的順序進行家具擺放。

　　4.1.2 深度學習生成方法

　　深度學習是一種基于數(shù)據(jù)進行表征學習的方法。隨著大規(guī)模室內場景數(shù)據(jù)集的出現(xiàn)，采用深度學習的方式進行場景生成成為了可能。傳統(tǒng)生成方法需要人工定義具體的規(guī)則、優(yōu)化函數(shù)或密度函數(shù)，而深度學習可以直接利用具有特殊結構的神經(jīng)網(wǎng)絡來隱式地學習表達這些信息，避免人工定義的復雜性。除此之外，采用深度學習的方式從大規(guī)模室內場景數(shù)據(jù)集中學習到的場景先驗能夠很好地補充人有限的室內場景設計經(jīng)驗。

　　Wang 和 Ritchie 等提出一種基于卷積神經(jīng)網(wǎng)絡的場景生成模型，能夠快速靈活地生成場景。雖然室內場景存在于三維空間，但重力決定了大多數(shù)對象在二維平面上進行布局，所以該模型將俯視圖表示的場景作為模型輸入，利用不同的卷積神經(jīng)網(wǎng)絡對家具的類別、位置、朝向以及大小進行預測，并以迭代的方式將家具逐個添加到場景中。將場景圖表示為俯視圖可以實現(xiàn)像素級別的細粒度的推理過程，并且可以利用專門為圖像理解而開發(fā)的卷積神經(jīng)網(wǎng)絡學習復雜的室內場景結構。

　　與圖像平鋪表示的室內場景不同，Li 等認為室內場景的結構本質上是分層的，提出將室內場景抽象為包含支撐關系、共現(xiàn)關系、環(huán)繞關系以及墻依靠關系的分層樹結構。首先，循環(huán)神經(jīng)網(wǎng)絡根據(jù)抽象出的分層樹結構，由葉子節(jié)點開始自下而上地對家具屬性以及與其他家具的相對位置關系進行編碼;然后， 從根節(jié)點向下解碼出每個家具節(jié)點的類別、大小、朝向等場景布局信息;最后，以變分自編碼器的方式進行訓練，由隨機采樣的噪聲進行生成。

　　與分層樹結構類似，Zhang 等也采用了變分自編碼器的生成網(wǎng)絡結構，該結構將場景中所有物體特征排列成固定大小矩陣作為室內場景的表達方式，將參數(shù)化矩陣輸入稀疏連接的前向神經(jīng)網(wǎng)絡中學習室內場景粗粒度的全局布局信息，同時利用有向距離場將場景映射到二維空間中學習細粒度的局部布局信息。Yang 等也采用了矩陣的表達形式，除了包含單個物體信息的生成網(wǎng)絡外，該研究還利用生成網(wǎng)絡對物體的相對屬性進行編碼，最后利用貝葉斯方法結合單獨對象屬性、相對屬性以及參數(shù)先驗對最終布局進行優(yōu)化。

　　隨著圖卷積神經(jīng)網(wǎng)絡的出現(xiàn)和發(fā)展，圖結構表達的室內場景可以利用深度學習的方式編碼場景先驗，且圖結構是最直觀表達物體上下文關系的場景表達方式。消息傳遞網(wǎng)絡是實現(xiàn)圖卷積網(wǎng)絡常用的框架，Zhou 等提出了一種利用消息傳遞網(wǎng)絡對場景圖表示的室內場景進行場景增強的方法，并利用從大量的室內場景數(shù)據(jù)集中抽象出的支撐、環(huán)繞、靠近、共現(xiàn)關系及消息傳遞的注意力機制，讓模型更加集中于最相關的場景上下文對新物體進行預測。Wang 等將場景生成拆分成兩個步驟， 首先，在決策模型的框架下，利用圖卷積神經(jīng)網(wǎng)絡生成場景圖表示場景布局規(guī)劃;然后，利用卷積神經(jīng)網(wǎng)絡將圖結構中每個節(jié)點代表的家具實例化到具體的空間位置中。Luo 等將圖卷積神經(jīng)網(wǎng)絡和條件變分自編碼器結合起來，提出了一種端到端生成室內場景的算法。Dhamo 等在圖卷積神經(jīng)網(wǎng)絡和條件變分自編碼器的基礎上，通過在解碼器之前加入增強后的與原始圖像有差異的場景進行訓練，能夠根據(jù)人的偏好改變場景圖之后， 進行室內場景生成。

　　以往的場景生成方式會對家具之間的關系進行假設， Wang 等提出將場景抽象成一個對象屬性的序列，將場景生成任務轉化為序列生成任務，采用Transformer 結構生成場景， 并通過 Transformer 中的注意力機制隱式學習家具物體之間的關系。

　　4.2 無樣例的基于人類活動的場景生成算法

　　真實場景中物體之間的關系復雜多樣，很難從中提取出重要的場景上下文關系進行建模?，F(xiàn)實中場景的布局往往是按照功能區(qū)劃分，并且和人的活動密切相關，因此可以通過建模人類活動與物體之間的關系，對場景布局進行解析。

　　通過人體姿態(tài)可以預測接下來的動作傾向，而動作是人和物體之間產(chǎn)生交互的中介，所以人體姿態(tài)和物體之間存在一定的上下文關系。Jiang 等通過構造概率密度函數(shù)來學習物體的支撐性、可達性以及易用性與人體 6 種標準姿態(tài)的上下文關系。在場景生成過程中，模型首先根據(jù)已有物體推斷可能的人體姿態(tài)以及位置，然后再以人體姿態(tài)為中心，從概率密度函數(shù)中采樣找到可能的下一個物體的擺放位置。

　　Fisher 等直接利用動作建模人和物體之間的聯(lián)系，并且以此為依據(jù)生成與給定粗糙掃描場景在功能和幾何屬性方面都類似的新場景。該研究從掃描場景中提取帶有功能區(qū)的幾何場景模版后，將虛擬人代理放在對應的功能區(qū)。虛擬人代理根據(jù)場景功能確定凝視、觸摸、背部支撐以及臀部支撐等與物體交互的動作，將物體擺放成與動作相關的排列。

　　Ma 等研究了一種由動作驅動的場景生成框架，該框架通過模擬被人類動作改變的物體放置確定場景布局。首先，利用標注圖像對動作模型進行學習，其中，每種類型的動作結合了一個或多個人體姿勢、一個或多個物體類別和表示人 - 物體以及物體 - 物體之間的空間位置關系信息;然后，通過采樣動作序列生成場景。與其他算法不同的是，由于一個動作可能涉及多個人體姿勢和物體，該框架能在確定動作后同時觸發(fā)一系列物體的放置，而且場景中所有動作之間具有某種順序關系，使得整個場景的生成更具一致性。

　　不同于其他研究關注固定的人體姿態(tài)，Savva 等將人體姿態(tài)用動作屬性控制，允許更高自由度的人體姿態(tài)與場景的交互。該研究建立能反映人體部位與人附近物體聯(lián)系的人體姿態(tài)屬性，從大規(guī)模數(shù)據(jù)集中構建概率模型，將人體姿態(tài)估計融入場景生成任務，以生成更合理的場景。Qi 等提出用一種與空間屬性相關的與或圖來表示室內場景，在終端節(jié)點上將與人類活動相關的上下文關系編碼進馬爾可夫隨機場，然后以采樣的方式生成新的場景。Fu 等的研究則是在給定一個空場景以及部分家具類別的情況下，通過人類活動與物體之間的聯(lián)系，在給定家具的基礎上進行類別擴充，構造完整的場景功能區(qū)。

　　4.3 基于樣例和物體關系的場景生成算法

　　自動化室內場景生成的目的是減輕設計布局所耗費的時間精力，然而，在某些應用上仍需要一定程度的與人交互，才能生成符合用戶需求的室內場景布局。除此之外，完全無參考的室內場景生成任務需要學習所有可能的場景布局，較難實現(xiàn)， 而基于樣例的方式大大減少了布局多樣性，使場景生成任務更加簡單。本節(jié)將對文本輸入、草圖輸入、圖像輸入以及三維信息輸入幾種不同的基于樣例的場景生成算法進行介紹。

　　4.3.1 文本輸入

　　利用自然語言描述來獲取場景布局是一種較為簡便的方式，自然語言作為人們日常表達思維的方式在描述場景時不需要任何培訓。Seversky 和 Coyne 等較早地提出了語言驅動的場景生成方式，該方法通過自然語言詳細描述對象及空間位置的關系，實現(xiàn)自然語言到場景的映射，這種方式可以生成符合語言表達的室內場景，但限制了用戶表達場景的自由度和多樣

　　性，只能生成固定的場景布局。Chang 等提出將自然語言解析成一個包含要擺放物體以及物體之間如何排列的場景模版后，根據(jù)數(shù)據(jù)集中學習到的物體之間的空間位置先驗，將隱含的物體之間的位置關系擴充進來。Ma 等提出的算法不僅考慮了物體之間的空間位置關系，還對物體成對出現(xiàn)的概率進行建模，因此，該方法不僅支持隱式位置關系擴充，也支持隱式的物體類別擴充，這種利用從數(shù)據(jù)集中提取出的隱式、通用的布局規(guī)律對場景增強的方式，可以讓用戶不必像以前的大多數(shù)方法一樣提供明確的布局信息。Chang 等嘗試將描述內容與物體關聯(lián)起來，以便找到更適合文本描述的三維模型，還將規(guī)則轉化成基于文本的交互式場景編輯操作，并開發(fā)出給用戶使用的 UI 界面。

　　4.3.2 草圖輸入

　　草圖對于用戶而言也是一種表達場景布局的簡易方式，建模師會根據(jù)室內設計師預先繪制的概念草圖創(chuàng)建對應的三維室內場景?，F(xiàn)有的三維場景設計工具需要建模師多次重復模型尋找以及模型擺放兩個步驟將家具逐個擺放到室內場景中。在給定草圖進行場景生成的自動化算法中，Shin 等也采用了類似的流程，首先，從草圖中識別出單個物體;然后，根據(jù)物體的視覺特征去模型庫中找到對應的三維模型;最后，擺放到三維空間中。將三維模型拆分成部件，完成部件級別的模型尋找以及擺放，也能實現(xiàn)模型草圖到三維模型的生成，但是單個物體的檢索和擺放往往會產(chǎn)生歧義，為此，Xu 等提出對數(shù)據(jù)集中提取的具有共現(xiàn)關系和空間位置關系的家具組合進行提取，從而實現(xiàn)多個物體的協(xié)同檢索和放置，該方法極大地減少了用戶干預。

　　4.3.3 圖像輸入

　　手機是人們日常攜帶且具有攝像功能的設備，得到一張場景圖像只需要按下拍照按鈕，所以通過 RGB 圖像生成場景也是用戶可選的方案，并得到了廣泛的研究和發(fā)展。Huang 等提出利用能夠表征場景功能和幾何約束聯(lián)合分布的整體場景語法來表示三維場景的結構，利用蒙特卡洛方法找到與真實場景最相似的由場景三維信息渲染得到的場景。Nie 等將圖像重建分為場景布局結構估計、物體檢測及網(wǎng)格重建 3 個子任務，本質上還是檢測要擺放的物體，根據(jù)相機姿態(tài)投影到三維空間中。該研究通過注意力機制對所有物體的卷積特征進行加權求和， 將上下文信息融入到物體三維空間預估過程中。Xiao 等采用了更復雜的圖卷積神經(jīng)網(wǎng)絡，通過消息傳遞融入上下文信息。Zhang 等結合了以上兩種思路，利用 Nie 等提出的注意力機

　　制得到初始位置后，再利用 Xiao 等提出的圖卷積神經(jīng)網(wǎng)絡進一步優(yōu)化場景布局。

　　4.3.4 三維信息輸入

　　用二維 RGB 圖像進行三維場景生成較易出現(xiàn)偏差，而基于深度信息構建的 RGB-D 場景或掃描場景帶來的三維場景信息更加明確，但是 RGB-D 圖像往往充滿噪聲，所以 Chen 等提出將在數(shù)據(jù)庫中學習到的物體上下文關系用于約束重建，確保重建家具與掃描家具之間的語義相似性。Hampali 等采用了蒙特卡洛方法，搜尋 RGB-D 圖像中可能的家具集合信息， 以最小化重建場景與真實場景的差異。Fisher 等利用人 - 物體的上下文關系生成和具有噪聲的掃描場景相似的新場景。Avetisyan 等則是在檢測出掃描場景中的物體后，利用物體 - 物體的上下文關系對家具的擺放位置進行優(yōu)化。

　　5 總結與未來展望

　　本文對場景生成算法做了一個較為全面的分析和描述，分別從基于規(guī)則、概率統(tǒng)計、優(yōu)化函數(shù)的傳統(tǒng)場景生成方式到基于圖卷積神經(jīng)網(wǎng)絡、深度神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡的深度學習生成方法，從基于物體 - 物體之間上下文關系的算法到基于人- 物體的上下文關系的算法，從無樣例的生成模型到基于樣例的生成模型，從矩陣結構、層次結構、圖像結構到圖結構的場景表達方式，從順序生成到同步生成的生成順序分析了各個場景生成算法的優(yōu)缺點，以及近年來的發(fā)展。

　　目前，室內場景生成算法仍然存在問題。主流的深度學習方法雖然能學習到一定的場景先驗知識，但仍然需要預定義一些空間位置關系和共現(xiàn)關系來輔助算法進行場景理解，且預定義的關系所能表達的場景上下文關系有限。神經(jīng)網(wǎng)絡中的注意力機制可以很好地解決這個問題，但注意力機制僅能表示物體之間聯(lián)系的緊密程度，不包含任何語義信息。所以將語義關系預測融入場景生成是未來研究的方向之一。

　　最直觀且目前最有發(fā)展前景的場景表達方式是圖結構和圖像結構的表達方式。圖結構表達方式可以忽略家具本身在三維空間中的位置，在任意節(jié)點之間構造聯(lián)系，但該表達方式的節(jié)點之間不具備明確順序。而圖像結構由于其本身排列在二維空間坐標系中，所以圖像表示的場景能自然地捕捉到家具之間的位置關系。因而將圖結構和圖像結構結合進行場景預估也是一個值得研究的課題?，F(xiàn)有的算法雖將圖和圖像相結合但是采用的是兩步走的策略，未來可以嘗試訓練一個端到端的網(wǎng)絡將兩者結合起來。

楊 淼 1 陳寶權 2*

　　1 山東大學計算機科學與技術學院

　　2 北京大學前沿計算研究中心

　　轉載自《集成技術》