一、自然語言處理概述

1)自然語言處理：利用計算機為工具，對書面實行或者口頭形式進(jìn)行各種各樣的處理和加工的技術(shù)，是研究人與人交際中以及人與計算機交際中的演員問題的一門學(xué)科，是人工智能的主要內(nèi)容。

2)自然語言處理是研究語言能力和語言應(yīng)用的模型，建立計算機(算法)框架來實現(xiàn)這樣的語言模型，并完善、評測、最終用于設(shè)計各種實用系統(tǒng)。

3)研究問題(主要)：

信息檢索、機器翻譯、文檔分類、問答系統(tǒng)、信息過濾自動文摘、信息抽取、文本挖掘、輿情分析、機器寫作、語音識別這十大方面。

研究模式：自然語言場景問題，數(shù)學(xué)算法，算法如何應(yīng)用到解決這些問題，預(yù)料訓(xùn)練，相關(guān)實際應(yīng)用

自然語言的困難：

場景的困難：語言的多樣性、多變性、歧義性

學(xué)習(xí)的困難：艱難的數(shù)學(xué)模型(hmm,crf,EM,深度學(xué)習(xí)等)

語料的困難：什么的語料?語料的作用?如何獲取語料?

二、形式語言與自動機

語言：按照一定規(guī)律構(gòu)成的句子或者字符串的有限或者無限的集合。

描述語言的三種途徑：窮舉法文法、(產(chǎn)生式系統(tǒng))描述、自動機

自然語言不是人為設(shè)計而是自然進(jìn)化的，形式語言比如：運算符號、化學(xué)分子式、編程語言

形式語言理論朱啊喲研究的是內(nèi)部結(jié)構(gòu)模式這類語言的純粹的語法領(lǐng)域，從語言學(xué)而來，作為一種理解自然語言的句法規(guī)律，在計算機科學(xué)中，形式語言通常作為定義編程和語法結(jié)構(gòu)的基礎(chǔ)。

形式語言與自動機基礎(chǔ)知識：集合論、圖論

自動機的應(yīng)用：

1.單詞自動查錯糾正

2.詞性消歧(什么是詞性?什么的詞性標(biāo)注?為什么需要標(biāo)注?如何標(biāo)注?)

形式語言的缺陷：

1、對于像漢語，英語這樣的大型自然語言系統(tǒng)，難以構(gòu)造精確的文法

2、不符合人類學(xué)習(xí)語言的習(xí)慣

3、有些句子語法正確，但在語義上卻不可能，形式語言無法排出這些句子

4、解決方向：基于大量語料，采用統(tǒng)計學(xué)手段建立模型

三、語言模型

1)語言模型(重要)：通過語料計算某個句子出現(xiàn)的概率(概率表示)，常用的有2-元模型，3-元模型

2)語言模型應(yīng)用：

語音識別歧義消除例如，給定拼音串：ta shi yan yan jiu saun fa de

可能的漢字串：踏實煙酒算法的   他是研究酸法的      他是研究算法的，顯然，最后一句才符合。

3)語言模型的啟示：

1、開啟自然語言處理的統(tǒng)計方法

2、統(tǒng)計方法的一般步驟：

收集大量語料

對語料進(jìn)行統(tǒng)計分析，得出知識

針對場景建立算法模型

解釋和應(yīng)用結(jié)果

4) 語言模型性能評價，包括評價目標(biāo)，評價的難點，常用指標(biāo)(交叉熵，困惑度)

5)數(shù)據(jù)平滑：

數(shù)據(jù)平滑的概念，為什么需要平滑

平滑的方法，加一法，加法平滑法，古德-圖靈法，J-M法，Katz平滑法等

6)語言模型的缺陷：

語料來自不同的領(lǐng)域，而語言模型對文本類型、主題等十分敏感

n與相鄰的n-1個詞相關(guān)，假設(shè)不是很成立。

四、概率圖模型，生成模型與判別模型，貝葉斯網(wǎng)絡(luò)，馬爾科夫鏈與隱馬爾科夫模型(HMM)

1)概率圖模型概述(什么的概率圖模型，參考清華大學(xué)教材《概率圖模型》)

2)馬爾科夫過程(定義，理解)

3)隱馬爾科夫過程(定義，理解)

HMM的三個基本問題(定義，解法，應(yīng)用)

五、馬爾科夫網(wǎng)，最大熵模型，條件隨機場(CRF)

1)HMM的三個基本問題的參數(shù)估計與計算

2)什么是熵

3)EM算法(應(yīng)用十分廣泛，好好理解)

4)HMM的應(yīng)用

5)層次化馬爾科夫模型與馬爾科夫網(wǎng)絡(luò)

提出原因，HMM存在兩個問題

6)最大熵馬爾科夫模型

優(yōu)點：與HMM相比，允許使用特征刻畫觀察序列，訓(xùn)練高效

缺點： 存在標(biāo)記偏置問題

7)條件隨機場及其應(yīng)用(概念，模型過程，與HMM關(guān)系)

參數(shù)估計方法(GIS算法，改進(jìn)IIS算法)

CRF基本問題：特征選取(特征模板)、概率計算、參數(shù)訓(xùn)練、解碼(維特比)

應(yīng)用場景：

詞性標(biāo)注類問題(現(xiàn)在一般用RNN+CRF)

中文分詞(發(fā)展過程，經(jīng)典算法，了解開源工具jieba分詞)

中文人名，地名識別

8)  CRF++

六、命名實體 識別，詞性標(biāo)注，內(nèi)容挖掘、語義分析與篇章分析(大量用到前面的算法)

1)命名實體識別問題

相關(guān)概率，定義

相關(guān)任務(wù)類型

方法(基于規(guī)程->基于大規(guī)模語料庫)

2)未登錄詞的解決方法(搜索引擎，基于語料)

3)CRF解決命名實體識別(NER)流程總結(jié)：

訓(xùn)練階段：確定特征模板，不同場景(人名，地名等)所使用的特征模板不同，對現(xiàn)有語料進(jìn)行分詞，在分詞結(jié)果基礎(chǔ)上進(jìn)行詞性標(biāo)注(可能手工)，NER對應(yīng)的標(biāo)注問題是基于詞的，然后訓(xùn)練CRF模型，得到對應(yīng)權(quán)值參數(shù)值

識別過程：將待識別文檔分詞，然后送入CRF模型進(jìn)行識別計算(維特比算法)，得到標(biāo)注序列，然后根據(jù)標(biāo)注劃分出命名實體

4)詞性標(biāo)注(理解含義，意義)及其一致性檢查方法(位置屬性向量，詞性標(biāo)注序列向量，聚類或者分類算法)

七、句法分析

1)句法分析理解以及意義

1、句法結(jié)構(gòu)分析

完全句法分析

2、 依存關(guān)系分析

2)句法分析方法

1、基于規(guī)則的句法結(jié)構(gòu)分析

2、基于統(tǒng)計的語法結(jié)構(gòu)分析

八、文本分類，情感分析

1)文本分類，文本排重

文本分類：在預(yù)定義的分類體系下，根據(jù)文本的特征，將給定的文本與一個或者多個類別相關(guān)聯(lián)

典型應(yīng)用：垃圾郵件判定，網(wǎng)頁自動分類

2)文本表示，特征選取與權(quán)重計算，詞向量

文本特征選擇常用方法：

1、基于本文頻率的特征提取法

2、信息增量法

3、X2(卡方)統(tǒng)計量

4、互信息法

3)分類器設(shè)計

SVM，貝葉斯，決策樹等

4)分類器性能評測

1、召回率

2、正確率

3、F1值

5)主題模型(LDA)與PLSA

LDA模型十分強大，基于貝葉斯改進(jìn)了PLSA，可以提取出本章的主題詞和關(guān)鍵詞，建模過程復(fù)雜，難以理解。

6)情感分析

借助計算機幫助用戶快速獲取，整理和分析相關(guān)評論信息，對帶有感情色彩的主觀文本進(jìn)行分析，處理和歸納例如，評論自動分析，水軍識別。

某種意義上看，情感分析也是一種特殊的分類問題

7)應(yīng)用案例

九、信息檢索，搜索引擎及其原理

1)信息檢索起源于圖書館資料查詢檢索，引入計算機技術(shù)后，從單純的文本查詢擴展到包含圖片，音視頻等多媒體信息檢索，檢索對象由數(shù)據(jù)庫擴展到互聯(lián)網(wǎng)。

1、點對點檢索

2、精確匹配模型與相關(guān)匹配模型

3、檢索系統(tǒng)關(guān)鍵技術(shù)：標(biāo)引，相關(guān)度計算

2)常見模型：布爾模型，向量空間模型，概率模型

3)常用技術(shù)：倒排索引，隱語義分析(LDA等)

4)評測指標(biāo)

十、自動文摘與信息抽取，機器翻譯，問答系統(tǒng)

1)統(tǒng)計機器翻譯的的思路，過程，難點，以及解決

2)問答系統(tǒng)

基本組成：問題分析，信息檢索，答案抽取

類型：基于問題-答案， 基于自由文本

典型的解決思路

3)自動文摘的意義，常用方法

4)信息抽取模型(LDA等)

十一、深度學(xué)習(xí)在自然語言中的應(yīng)用

1)單詞表示，比如詞向量的訓(xùn)練(wordvoc)

2)自動寫文本

寫新聞等

3)機器翻譯

4)基于CNN、RNN的文本分類

5)深度學(xué)習(xí)與CRF結(jié)合用于詞性標(biāo)注

這里主要詳細(xì)介紹了自然語言的十一個大的方面。對其中的內(nèi)容需要自己去把握，學(xué)習(xí)應(yīng)該是由淺入深以及由局部到整體的一個過程。對于外籍人員來講，想要學(xué)好漢語，就得從最簡單的拼音開始。從認(rèn)識拼音開始，緊接著需要練習(xí)發(fā)音，再到拼寫這么一個缺一不可的過程。想要了解更多信息，請繼續(xù)注中培偉業(yè)。