2018，仍是AI領(lǐng)域激動人心的一年。

    這一年成為NLP研究的分水嶺，各種突破接連不斷；CV領(lǐng)域同樣精彩紛呈，與四年前相比GAN生成的假臉逼真到讓人不敢相信；新工具、新框架的出現(xiàn)，也讓這個領(lǐng)域的明天特別讓人期待……

    近日，Analytics Vidhya發(fā)布了一份2018人工智能技術(shù)總結(jié)與2019趨勢預(yù)測報告，原文作者PRANAV DAR。量子位在保留這個報告架構(gòu)的基礎(chǔ)上，對內(nèi)容進(jìn)行了重新編輯和補(bǔ)充。

    這份報告總結(jié)和梳理了全年主要AI技術(shù)領(lǐng)域的重大進(jìn)展，同時也給出了相關(guān)的資源地址，以便大家更好的使用、查詢。

    報告共涉及了五個主要部分：

•     
•         

              自然語言處理（NLP）         

      

    

•         

              計算機(jī)視覺         

      

    

•         

              工具和庫         

      

    

•         

              強(qiáng)化學(xué)習(xí)         

      

    

•         

              AI道德         

      

    下面，我們就逐一來盤點和展望，嘿喂狗~

    自然語言處理（NLP）

    2018年在NLP歷史上的特殊地位，已經(jīng)毋庸置疑。

    這份報告認(rèn)為，這一年正是NLP的分水嶺。2018年里，NLP領(lǐng)域的突破接連不斷：ULMFiT、ELMo、最近大熱的BERT……

    遷移學(xué)習(xí)成了NLP進(jìn)展的重要推動力。從一個預(yù)訓(xùn)練模型開始，不斷去適應(yīng)新的數(shù)據(jù)，帶來了無盡的潛力，甚至有“NLP領(lǐng)域的ImageNet時代已經(jīng)到來”一說。

    ■ ULMFiT

    這個縮寫，代表“通用語言模型的微調(diào)”，出自ACL 2018論文：Universal Language Model Fine-tuning for Text Classification。

    正是這篇論文，打響了今年NLP遷移學(xué)習(xí)狂歡的第一槍。

    論文兩名作者一是Fast.ai創(chuàng)始人Jeremy Howard，在遷移學(xué)習(xí)上經(jīng)驗豐富；一是自然語言處理方向的博士生Sebastian Ruder，他的NLP博客幾乎所有同行都在讀。

    兩個人的專長綜合起來，就有了ULMFiT。想要搞定一項NLP任務(wù)，不再需要從0開始訓(xùn)練模型，拿來ULMFiT，用少量數(shù)據(jù)微調(diào)一下，它就可以在新任務(wù)上實現(xiàn)更好的性能。

    他們的方法，在六項文本分類任務(wù)上超越了之前最先進(jìn)的模型。

    詳細(xì)的說明可以讀他們的論文：

    https://arxiv.org/abs/1801.06146

    Fast.ai網(wǎng)站上放出了訓(xùn)練腳本、模型等：

    http://nlp.fast.ai/category/classification.html

    ■ ELMo

    這個名字，當(dāng)然不是指《芝麻街》里那個角色，而是“語言模型的詞嵌入”，出自艾倫人工智能研究院和華盛頓大學(xué)的論文Deep contextualized word representations，NLP頂會NAACL HLT 2018的優(yōu)秀論文之一。

    ELMo用語言模型（language model）來獲取詞嵌入，同時也把詞語所處句、段的語境考慮進(jìn)來。

    這種語境化的詞語表示，能夠體現(xiàn)一個詞在語法語義用法上的復(fù)雜特征，也能體現(xiàn)它在不同語境下如何變化。

    當(dāng)然，ELMo也在試驗中展示出了強(qiáng)大功效。把ELMo用到已有的NLP模型上，能夠帶來各種任務(wù)上的性能提升。比如在機(jī)器問答數(shù)據(jù)集SQuAD上，用ELMo能讓此前最厲害的模型成績在提高4.7個百分點。

    這里有ELMo的更多介紹和資源：

    https://allennlp.org/elmo

    ■ BERT

    說BERT是2018年最火的NLP模型，一點也不為過，它甚至被稱為NLP新時代的開端。

    它由Google推出，全稱是Bidirectional Encoder Representations from Transformers，意思是來自Transformer的雙向編碼器表示，也是一種預(yù)訓(xùn)練語言表示的方法。

    從性能上來看，沒有哪個模型能與BERT一戰(zhàn)。它在11項NLP任務(wù)上都取得了最頂尖成績，到現(xiàn)在，SQuAD 2.0前10名只有一個不是BERT變體：

    如果你還沒有讀過BERT的論文，真的應(yīng)該在2018年結(jié)束前補(bǔ)完這一課：

    https://arxiv.org/abs/1810.04805

    另外，Google官方開源了訓(xùn)練代碼和預(yù)訓(xùn)練模型：

    https://github.com/google-research/bert

    如果你是PyTorch黨，也不怕。這里還有官方推薦的PyTorch重實現(xiàn)和轉(zhuǎn)換腳本：

    https://github.com/huggingface/pytorch-pretrained-BERT

    ■ PyText

    BERT之后，NLP圈在2018年還能收獲什么驚喜？答案是，一款新工具。

    就在上周末，F(xiàn)acebook開源了自家工程師們一直在用的NLP建?？蚣躊yText。這個框架，每天要為Facebook旗下各種應(yīng)用處理超過10億次NLP任務(wù)，是一個工業(yè)級的工具包。

    （Facebook開源新NLP框架：簡化部署流程，大規(guī)模應(yīng)用也OK）

    PyText基于PyTorch，能夠加速從研究到應(yīng)用的進(jìn)度，從模型的研究到完整實施只需要幾天時間。框架里還包含了一些預(yù)訓(xùn)練模型，可以直接拿來處理文本分類、序列標(biāo)注等任務(wù)。

    想試試？開源地址在此：

    https://github.com/facebookresearch/pytext

    ■ Duplex

    如果前面這些研究對你來說都太抽象的話，Duplex則是NLP進(jìn)展的最生動例證。

    名字有點陌生？不過這個產(chǎn)品你一定聽說過，它就是Google在2018年I/O開發(fā)者大會上展示的“打電話AI”。

    它能主動打電話給美發(fā)店、餐館預(yù)約服務(wù)，全程流暢交流，簡直以假亂真。Google董事長John Hennessy后來稱之為“非凡的突破”，還說：“在預(yù)約領(lǐng)域，這個AI已經(jīng)通過了圖靈測試?！?

    Duplex在多輪對話中表現(xiàn)出的理解能力、合成語音的自然程度，都是NLP目前水平的體現(xiàn)。

    2019年展望

    NLP在2019年會怎么樣？我們借用一下ULMFiT作者Sebastian Ruder的展望：

•     
•         

              預(yù)訓(xùn)練語言模型嵌入將無處不在：不用預(yù)訓(xùn)練模型，從頭開始訓(xùn)練達(dá)到頂尖水平的模型，將十分罕見。         

      

    

•         

              能編碼專業(yè)信息的預(yù)訓(xùn)練表示將會出現(xiàn)，這是語言模型嵌入的一種補(bǔ)充。到時候，我們就能根據(jù)任務(wù)需要，把不同類型的預(yù)訓(xùn)練表示結(jié)合起來。         

      

    

•         

              在多語言應(yīng)用、跨語言模型上，將有更多研究。特別是在跨語言詞嵌入的基礎(chǔ)上，深度預(yù)訓(xùn)練跨語言表示將會出現(xiàn)。