自然語言處理(NaturalLanguageProcessing,NLP)是計算機科學領域與人工智能領域中的一個重要方向。它研究能實現(xiàn)人與計算機之間用自然語言進行有效通信的各種理論和方法。自然語言處理是一門融語言學、計算機科學、數(shù)學于一體的科學。因此，這一領域的研究將涉及自然語言，即人們?nèi)粘Ｊ褂玫恼Z言，所以它與語言學的研究有著密切的聯(lián)系，但又有重要的區(qū)別。自然語言處理并不是一般地研究自然語言，而在于研制能有效地實現(xiàn)自然語言通信的計算機系統(tǒng)，特別是其中的軟件系統(tǒng)。因而它是計算機科學的一部分。

自然語言處理

自然語言處理主要應用于機器翻譯、輿情監(jiān)測、自動摘要、觀點提取、文本分類、問題回答、文本語義對比、語音識別、中文OCR等方面。

語言是人類區(qū)別其他動物的本質(zhì)特性。在所有生物中，只有人類才具有語言能力。人類的多種智能都與語言有著密切的關系。人類的邏輯思維以語言為形式，人類的絕大部分知識也是以語言文字的形式記載和流傳下來的。因而，它也是人工智能的一個重要，甚至核心部分。

用自然語言與計算機進行通信，這是人們長期以來所追求的。因為它既有明顯的實際意義，同時也有重要的理論意義：人們可以用自己最習慣的語言來使用計算機，而無需再花大量的時間和精力去學習不很自然和習慣的各種計算機語言；人們也可通過它進一步了解人類的語言能力和智能的機制。

自然語言處理是指利用人類交流所使用的自然語言與機器進行交互通訊的技術(shù)。通過人為的對自然語言的處理，使得計算機對其能夠可讀并理解。自然語言處理的相關研究始于人類對機器翻譯的探索。雖然自然語言處理涉及語音、語法、語義、語用等多維度的操作，但簡單而言，自然語言處理的基本任務是基于本體詞典、詞頻統(tǒng)計、上下文語義分析等方式對待處理語料進行分詞，形成以最小詞性為單位，且富含語義的詞項單元。

自然語言處理(NaturalLanguageProcessing,NLP)以語言為對象，利用計算機技術(shù)來分析、理解和處理自然語言的一門學科,即把計算機作為語言研究的強大工具，在計算機的支持下對語言信息進行定量化的研究,并提供可供人與計算機之間能共同使用的語言描寫。包括自然語言理解(NaturalLanguageUnderstanding,NLU)和自然語言生成(NaturalLanguageGeneration,NLG)兩部分。它是典型邊緣交叉學科，涉及到語言科學、計算機科學、數(shù)學、認知學、邏輯學等，關注計算機和人類(自然)語言之間的相互作用的領域。人們把用計算機處理自然語言的過程在不同時期或側(cè)重點不同時又稱為自然語言理解(NaturalLanguageUnderstanding,NLU)、人類語言技術(shù)(HumanLanguageTechnology,HLT)、計算語言學Hl(ComputationalLinguistics)、計量語言學(QuantitativeLinguistics)、數(shù)理語言學(MathematicalLinguistics)。

實現(xiàn)人機間自然語言通信意味著要使計算機既能理解自然語言文本的意義，也能以自然語言文本來表達給定的意圖、思想等。前者稱為自然語言理解，后者稱為自然語言生成。因此，自然語言處理大體包括了自然語言理解和自然語言生成兩個部分。歷史上對自然語言理解研究得較多，而對自然語言生成研究得較少。但這種狀況已有所改變。

無論實現(xiàn)自然語言理解，還是自然語言生成，都遠不如人們原來想象的那么簡單，而是十分困難的。從現(xiàn)有的理論和技術(shù)現(xiàn)狀看，通用的、高質(zhì)量的自然語言處理系統(tǒng)，仍然是較長期的努力目標，但是針對一定應用，具有相當自然語言處理能力的實用系統(tǒng)已經(jīng)出現(xiàn)，有些已商品化，甚至開始產(chǎn)業(yè)化。典型的例子有：多語種數(shù)據(jù)庫和專家系統(tǒng)的自然語言接口、各種機器翻譯系統(tǒng)、全文信息檢索系統(tǒng)、自動文摘系統(tǒng)等。

自然語言處理，即實現(xiàn)人機間自然語言通信，或?qū)崿F(xiàn)自然語言理解和自然語言生成是十分困難的。造成困難的根本原因是自然語言文本和對話的各個層次上廣泛存在的各種各樣的歧義性或多義性（ambiguity）。

自然語言的形式（字符串）與其意義之間是一種多對多的關系。其實這也正是自然語言的魅力所在。但從計算機處理的角度看，我們必須消除歧義，而且有人認為它正是自然語言理解中的中心問題，即要把帶有潛在歧義的自然語言輸入轉(zhuǎn)換成某種無歧義的計算機內(nèi)部表示。

歧義現(xiàn)象的廣泛存在使得消除它們需要大量的知識和推理，這就給基于語言學的方法、基于知識的方法帶來了巨大的困難，因而以這些方法為主流的自然語言處理研究幾十年來一方面在理論和方法方面取得了很多成就，但在能處理大規(guī)模真實文本的系統(tǒng)研制方面，成績并不顯著。研制的一些系統(tǒng)大多數(shù)是小規(guī)模的、研究性的演示系統(tǒng)。

目前存在的問題有兩個方面：一方面，迄今為止的語法都限于分析一個孤立的句子，上下文關系和談話環(huán)境對本句的約束和影響還缺乏系統(tǒng)的研究，因此分析歧義、詞語省略、代詞所指、同一句話在不同場合或由不同的人說出來所具有的不同含義等問題，尚無明確規(guī)律可循，需要加強語用學的研究才能逐步解決。另一方面，人理解一個句子不是單憑語法，還運用了大量的有關知識，包括生活知識和專門知識，這些知識無法全部貯存在計算機里。因此一個書面理解系統(tǒng)只能建立在有限的詞匯、句型和特定的主題范圍內(nèi)；計算機的貯存量和運轉(zhuǎn)速度大大提高之后，才有可能適當擴大范圍.

以上存在的問題成為自然語言理解在機器翻譯應用中的主要難題，這也就是當今機器翻譯系統(tǒng)的譯文質(zhì)量離理想目標仍相差甚遠的原因之一；而譯文質(zhì)量是機譯系統(tǒng)成敗的關鍵。中國數(shù)學家、語言學家周海中教授曾在經(jīng)典論文《機器翻譯五十年》中指出：要提高機譯的質(zhì)量，首先要解決的是語言本身問題而不是程序設計問題；單靠若干程序來做機譯系統(tǒng)，肯定是無法提高機譯質(zhì)量的；另外在人類尚未明了大腦是如何進行語言的模糊識別和邏輯判斷的情況下，機譯要想達到“信、達、雅”的程度是不可能的。

最早的自然語言理解方面的研究工作是機器翻譯。1949年，美國人威弗首先提出了機器翻譯設計方案。其發(fā)展主要分為三個階段。

早期自然語言處理

第一階段(60~80年代):基于規(guī)則來建立詞匯、句法語義分析、問答、聊天和機器翻譯系統(tǒng)。好處是規(guī)則可以利用人類的內(nèi)省知識，不依賴數(shù)據(jù)，可以快速起步；問題是覆蓋面不足，像個玩具系統(tǒng)，規(guī)則管理和可擴展一直沒有解決。

統(tǒng)計自然語言處理

第二階段(90年代開始)：基于統(tǒng)計的機器學習(ML)開始流行，很多NLP開始用基于統(tǒng)計的方法來做。主要思路是利用帶標注的數(shù)據(jù)，基于人工定義的特征建立機器學習系統(tǒng)，并利用數(shù)據(jù)經(jīng)過學習確定機器學習系統(tǒng)的參數(shù)。運行時利用這些學習得到的參數(shù)，對輸入數(shù)據(jù)進行解碼，得到輸出。機器翻譯、搜索引擎都是利用統(tǒng)計方法獲得了成功。

神經(jīng)網(wǎng)絡自然語言處理

第三階段(2008年之后)：深度學習開始在語音和圖像發(fā)揮威力。隨之，NLP研究者開始把目光轉(zhuǎn)向深度學習。先是把深度學習用于特征計算或者建立一個新的特征，然后在原有的統(tǒng)計學習框架下體驗效果。比如，搜索引擎加入了深度學習的檢索詞和文檔的相似度計算，以提升搜索的相關度。自2014年以來，人們嘗試直接通過深度學習建模，進行端對端的訓練。目前已在機器翻譯、問答、閱讀理解等領域取得了進展，出現(xiàn)了深度學習的熱潮。

信息抽?。↖E）

信息抽取是將嵌入在文本中的非結(jié)構(gòu)化信息提取并轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)的過程，從自然語言構(gòu)成的語料中提取出命名實體之間的關系，是一種基于命名實體識別更深層次的研究。信息抽取的主要過程有三步：首先對非結(jié)構(gòu)化的數(shù)據(jù)進行自動化處理，其次是針對性的抽取文本信息，最后對抽取的信息進行結(jié)構(gòu)化表示。信息抽取最基本的工作是命名實體識別，而核心在于對實體關系的抽取。

自動文摘

自動文摘是利用計算機按照某一規(guī)則自動地對文本信息進行提取、集合成簡短摘要的一種信息壓縮技術(shù)，旨在實現(xiàn)兩個目標：首先使語言的簡短，其次要保留重要信息。

語音識別技術(shù)

語音識別技術(shù)就是讓機器通過識別和理解過程把語音信號轉(zhuǎn)變?yōu)橄鄳奈谋净蛎畹募夹g(shù)，也就是讓機器聽懂人類的語音，其目標是將人類語音中的詞匯內(nèi)容轉(zhuǎn)化為計算機可讀的數(shù)據(jù)。要做到這些，首先必須將連續(xù)的講話分解為詞、音素等單位，還需要建立一套理解語義的規(guī)則。語音識別技術(shù)從流程上講有前端降噪、語音切割分幀、特征提取、狀態(tài)匹配幾個部分。而其框架可分成聲學模型、語言模型和解碼三個部分。

Transformer模型

Transformer模型在2017年，由Google團隊中首次提出。Transformer是一種基于注意力機制來加速深度學習算法的模型，模型由一組編碼器和一組解碼器組成，編碼器負責處理任意長度的輸入并生成其表達，解碼器負責把新表達轉(zhuǎn)換為目的詞。Transformer模型利用注意力機制獲取所有其他單詞之間的關系，生成每個單詞的新表示。Transformer的優(yōu)點是注意力機制能夠在不考慮單詞位置的情況下，直接捕捉句子中所有單詞之間的關系。模型拋棄之前傳統(tǒng)的encoder-decoder模型必須結(jié)合RNN或者CNN(ConvolutionalNeuralNetworks,CNN)的固有模式，使用全Attention的結(jié)構(gòu)代替了LSTM，減少計算量和提高并行效率的同時不損害最終的實驗結(jié)果。但是此模型也存在缺陷。首先此模型計算量太大，其次還存在位置信息利用不明顯的問題，無法捕獲長距離的信息。

基于傳統(tǒng)機器學習的自然語言處理技術(shù)

自然語言處理可將處理任務進行分類，形成多個子任務，傳統(tǒng)的機械學習方法可利用SVM（支持向量機模型）、

Markov（馬爾科夫模型）、CRF（條件隨機場模型）等方法對自然語言中多個子任務進行處理，進一步提高處理結(jié)果的精度。但是，從實際應用效果上來看，仍存在著以下不足：(1)傳統(tǒng)機器學習訓練模型的性能過于依賴訓練集的質(zhì)量，需要人工標注訓練集，降低了訓練效率。(2)傳統(tǒng)機器學習模型中的訓練集在不同領域應用會出現(xiàn)差異較大的應用效果，削弱了訓練的適用性，暴露出學習方法單一的弊端。若想讓訓練數(shù)據(jù)集適用于多個不同領域，則要耗費大量人力資源進行人工標注。(3)在處理更高階、更抽象的自然語言時，機器學習無法人工標注出來這些自然語言特征，使得傳統(tǒng)機器學習只能學習預先制定的規(guī)則，而不能學規(guī)則之外的復雜語言特征。

基于深度學習的自然語言處理技術(shù)

深度學習是機器學習的一大分支，在自然語言處理中需應用深度學習模型，如卷積神經(jīng)網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡等，通過對生成的詞向量進行學習，以完成自然語言分類、理解的過程。與傳統(tǒng)的機器學習相比，基于深度學習的自然語言處理技術(shù)具備以下優(yōu)勢：(1)深度學習能夠以詞或句子的向量化為前提，不斷學習語言特征，掌握更高層次、更加抽象的語言特征，滿足大量特征工程的自然語言處理要求。(2)深度學習無需專家人工定義訓練集，可通過神經(jīng)網(wǎng)絡自動學習高層次特征。

內(nèi)容的有效界定

日常生活中句子間的詞匯通常是不會孤立存在的，需要將話語中的所有詞語進行相互關聯(lián)才能夠表達出相應的含義,一旦形成特定的句子，詞語間就會形成相應的界定關系。如果缺少有效的界定，內(nèi)容就會變得模棱兩可，無法進行有效的理解。例如他背著母親和姐姐悄悄的出去玩了。這句話中如果不對介詞“和”作出界定，就很容易形成母親和姐姐兩個人不知道他出去玩，或者是母親不知道他和姐姐出去玩。

消歧和模糊性

詞語和句子在不同情況下的運用往往具備多個含義,很容易產(chǎn)生模糊的概念或者是不同的想法，例如高山流水這個詞具備多重含義，既可以表示自然環(huán)境,也能表達兩者間的關系，甚至是形容樂曲的美妙,所以自然語言處理需要根據(jù)前后的內(nèi)容進行界定,從中消除歧義和模糊性，表達出真正的意義。

有瑕疵的或不規(guī)范的輸入

例如語音處理時遇到外國口音或地方口音,或者在文本的處理中處理拼寫,語法或者光學字符識別(OCR)的錯誤。

語言行為與計劃

句子常常并不只是字面上的意思；例如，“你能把鹽遞過來嗎”，一個好的回答應當是把鹽遞過去；在大多數(shù)上下文環(huán)境中，“能”將是糟糕的回答，雖說回答“不”或者“太遠了我拿不到”也是可以接受的。再者，如果一門課程上一年沒開設，對于提問“這門課程去年有多少學生沒通過？”回答“去年沒開這門課”要比回答“沒人沒通過”好。

計算機科學

自然語言處理的最初目的就是實現(xiàn)人和計算機的自然語言對話，計算機作為對話的一個主體是自然語言處理這個概念提出的先決條件。長久以來人們對于機器人應用于生活，成為重要生產(chǎn)力推動社會發(fā)展，尤其是使機器人擁有“人的智能”就充滿了憧憬，自然語言處理作為人工智能領域的一個重要組成部分，對于推動機器人的真正智能化有標志性作用。近年來計算機性能在數(shù)據(jù)存儲能力、處理速度等方面的大幅提升，為海量數(shù)據(jù)的處理、概率統(tǒng)計，為發(fā)現(xiàn)語言的規(guī)律、獲得內(nèi)在聯(lián)系成為可能。

互聯(lián)網(wǎng)技術(shù)

互聯(lián)網(wǎng)的出現(xiàn)使信息的傳播更加便捷，依托于互聯(lián)網(wǎng)技術(shù)出現(xiàn)的各種新媒體是信息已成為信息傳播的主要途徑，各種網(wǎng)絡聊天軟件增加了人們溝通交流的途徑，這些以文字形式出現(xiàn)具有保存一定時間要求的信息帶來了數(shù)據(jù)的爆炸式增長，為利用基于統(tǒng)計的自然語言處理提供了海量資源。依托于互聯(lián)網(wǎng)技術(shù)，出現(xiàn)的開源平臺，也是研究者們獲取研究資源的重要途徑。

機器學習方法

機器學習是利用數(shù)據(jù)和經(jīng)驗改進計算機算法、優(yōu)化計算機性能的多領域交叉學科，可以追溯到17世紀的最小二乘法、馬爾科夫鏈，但是其真正發(fā)展起來應該從20世紀50年代算起，經(jīng)歷了“有無知識的學習”的執(zhí)行、基于圖結(jié)構(gòu)及邏輯結(jié)構(gòu)進行系統(tǒng)描述、結(jié)合各種應用拓展到對多個概念學習三個階段的發(fā)展，自20世紀80年代重要進入更新的、能夠真正使計算機智能化的第四階段。

利用半監(jiān)督或無監(jiān)督的機器學習方法對海量自然語言進行處理也與機器學習的發(fā)展歷程相對應，大致可以分為兩個階段：基于離散性表示的線性模型的傳統(tǒng)機器學習，基于連續(xù)性表示的非線性模型的深度學習。

深度學習是一種計算機自動學習算法，包括輸入層、隱含層、輸出層三部分，其中輸入層是研究人員提供的大量數(shù)據(jù)，是算法的處理對象，隱含層的層數(shù)由實驗人員確定，是算法對數(shù)據(jù)進行特征標記、發(fā)現(xiàn)其中規(guī)律、建立特征點間聯(lián)系的過程，輸出層則是研究人員可以得到的結(jié)果，一般來說輸入層得到的數(shù)據(jù)越多，隱含層的層數(shù)越多，對數(shù)據(jù)的區(qū)分結(jié)果也就越好，但是帶來的問題是計算量的加大、計算難度的提升，所幸計算機硬件在近年來取得飛躍。作為推動自然語言處理的最新動力，機器學習展現(xiàn)出了前所未有的優(yōu)勢：

（一）克服了語言特征人工標記的稀疏性的缺點，深度學習可以利用分布式向量對詞做分類，詞類標簽、詞義標簽、依存關系等可以得到有效標記；

（二）克服了語言特征人工標記不完整的問題，人工的語言標記由于工作量的繁重，被遺漏的可能性很大，而高效率的計算機進行此項工作可以大大減少這種失誤；

（三）克服了傳統(tǒng)機器學習算法計算量大、計算時間長的問題，深度學習利用矩陣進行計算將計算量大幅壓縮。

NLTK：全面的python基礎NLP庫。

StanfordNLP：學界常用的NLP算法庫。

中文NLP工具：THULAC、哈工大LTP、jieba分詞。

預訓練技術(shù)

預訓練思想的本質(zhì)是模型參數(shù)不再隨機初始化，而是通過語言模型進行訓練。目前NLP各項任務的解決思路是預訓練加微調(diào)。預訓練對于NLP任務有著巨大的提升幫助，而預訓練語言模型也越來越多，從最初的Word2vec］、Glove到通用語言文本分類模型ULMFiT以及EMLo等。而當前最優(yōu)秀的預訓練語言模型是基于Transformer模型構(gòu)建。該模型是由Vaswani等人提出的，其是一種完全基于Self-Attention所構(gòu)建的，是目前NLP領域最優(yōu)秀的特征提取器，不但可以并行運算而且可以捕獲長距離特征依賴。

當前影響最大的預訓練語言模型是基于Transformer的雙向深度語言模型—BERT。BERT是由多層雙向Transformer解碼器構(gòu)成，主要包括2個不同大小的版本:基礎版本有12層Transformer，每個Transformer中的多頭注意力層是12個，隱藏層大小為768;加強版有24層Transformer，每個Transformer中的多頭注意力層是24個，隱藏層大小為1024。由此可見深而窄的模型效果要優(yōu)于淺而寬的模型。目前BERT在機器翻譯、文本分類、文本相似性、閱讀理解等多個任務中都有優(yōu)異的表現(xiàn)。BERT模型的訓練方式包括2種：(1)采用遮蓋單詞的方式。(2)采用預測句子下一句的方式。

通過上述2種方式訓練得到通用語言模型，然后利用微調(diào)的方法進行下游任務，如文本分類、機器翻譯等任務。較比以前的預訓練模型，BERT可以捕獲真正意義上的雙向上下文語義。但BERT也有一定的缺點，既在訓練模型時，使用大量的［MASK］會影響模型效果，而且每個批次只有15%的標記被預測，因此BERT在訓練時的收斂速度較慢。此外由于在預訓練過程和生成過程不一致，導致在自然語言生成任務表現(xiàn)不佳，而且BERT無法完成文檔級別的NLP任務，只適合于句子和段落級別的任務。

XLNet是一種廣義自回歸的語言模型，是基于Transformer－XL而構(gòu)建的。Transformer的缺點:(1)字符之間的最大依賴距離受輸入長度的限制。(2)對于輸入文本長度超過512個字符時，每個段都是從頭開始單獨訓練，因此使訓練效率下降，影響模型性能。針對以上2個缺點，Transformer－XL引入了2個解決方法:分割循環(huán)機制(DivisionRecurrenceMechanism)和相對位置編碼(RelativePositionalEncoding)。Transformer－XL的測試速度更快，可以捕獲更長的上下文長度。

無監(jiān)督表征學習在NLP領域取得了巨大成功，在這種理念下，很多研究者探索了不同的無監(jiān)督預訓練目標，而自回歸語言建模和自編碼語言是2個最成功的預訓練目標。而XLNet是一種集合了自回歸和自編碼2種方式的泛化自回歸方法。XLNet不使用傳統(tǒng)自回歸模型中的固定前向或后向因式分解順序，而使用一種隨機排列自然語言預測某個位置可能出現(xiàn)的詞，這種方式不僅可以使句子中的每個位置都能學習來自所有位置的語境信息，而且還可以構(gòu)建雙向語義，更好地獲取上下文語義。由于XLNet采用的是Transformer－XL，因此模型性能更優(yōu)，尤其在包含長文本序列的任務中。

無論是BERT還是XLNet語言模型，在英文語料中表現(xiàn)都很優(yōu)異，但在中文語料中效果一般，ERNIE則是以中文語料訓練得出一種語言模型。ERNIE是一種知識增強語義表示模型，其在語言推斷、語義相似度、命名實體識別、文本分類等多個NLP中文任務上都有優(yōu)異表現(xiàn)。ERNIE在處理中文語料時，通過對預測漢字進行建模，可以學習到更大語義單元的完整語義表示。ERNIE模型內(nèi)部核心是由Transformer所構(gòu)成。模型結(jié)構(gòu)主要包括2個模塊，下層模塊的文本編碼器(T－Encoder)主要負責捕獲來自輸入標記的基本詞匯和句法信息，上層模塊的知識編碼器(KEncoder)負責從下層獲取的知識信息集成到文本信息中，以便能夠?qū)擞浐蛯嶓w的異構(gòu)信息表示成一個統(tǒng)一的特征空間中。

圖神經(jīng)網(wǎng)絡技術(shù)

圖神經(jīng)網(wǎng)絡（GraphNeuralNetwork）的研究主要是集中在相鄰節(jié)點信息的傳播與聚合上，從圖神經(jīng)網(wǎng)絡的概念提出，到受深度學習中卷積神經(jīng)網(wǎng)絡的啟發(fā)。圖神經(jīng)網(wǎng)絡對于非歐幾里德數(shù)據(jù)在深度學習中的應用有著非常重要的地位，尤其是利用圖結(jié)構(gòu)在傳統(tǒng)貝葉斯因果網(wǎng)絡上可解釋的特點，在定義深度神經(jīng)網(wǎng)絡關系可推理、因果可解釋的問題上有很大的研究意義。如何利用深度學習方法對圖結(jié)構(gòu)的數(shù)據(jù)進行分析和推理吸引了非常多的研究和關注。

通用的圖神經(jīng)網(wǎng)絡推理過程可以通過圖節(jié)點預表示、圖節(jié)點采樣、子圖提取、子圖特征融合、圖神經(jīng)網(wǎng)絡的生成和訓練子過程來表示，具體步驟如下：

STEP1圖節(jié)點預表示：通過圖嵌入（GraphEmbedding）的方法對圖中每一個節(jié)點進行嵌入表示；

STEP2圖節(jié)點采樣：對圖中每個節(jié)點或存在的節(jié)點對的正負樣本進行采樣；

STEP3子圖提取：提取圖中每一個節(jié)點的鄰節(jié)點構(gòu)建n階子圖，其中n表示第n層的鄰節(jié)點，從而形成通用的子圖結(jié)構(gòu)；

STEP4子圖特征融合：對每一個輸入神經(jīng)網(wǎng)絡的子圖進行局部或全局的特征提??；

STEP5生成圖神經(jīng)網(wǎng)絡和訓練：定義網(wǎng)絡的層數(shù)和輸入輸出的參數(shù)，并對圖數(shù)據(jù)進行網(wǎng)絡訓練。

1.圖卷積神經(jīng)網(wǎng)絡

深度學習的流行與卷積神經(jīng)網(wǎng)絡的廣泛適用性密不可分，圖神經(jīng)網(wǎng)絡的研究中時間最長、研究成果最多的就是圖卷積神經(jīng)網(wǎng)絡，從特征空間來看圖卷積神經(jīng)網(wǎng)絡主要可以分為頻域和空間域兩個類型。

頻域的圖卷積神經(jīng)網(wǎng)絡基于圖信號處理問題,將圖神經(jīng)網(wǎng)絡的卷積層定義為一個濾波器，即通過濾波器去除噪聲信號從而得到輸入信號的分類結(jié)果。實際問題中只能用于處理無向且邊上無信息的圖結(jié)構(gòu)，將輸入信號的圖定義為可特征分解的拉普拉斯矩陣,歸一化后的特征分解可以表示為通用結(jié)構(gòu)其對角矩陣