攜程是綜合性的OTA，它涵蓋了廣泛的業(yè)務(wù)線(xiàn)路，包括機(jī)票、酒店、火車(chē)票、景點(diǎn)門(mén)票、汽車(chē)票、租車(chē)、出租車(chē)等。攜程的系統(tǒng)也是根據(jù)業(yè)務(wù)線(xiàn)建立的。屬于所有業(yè)務(wù)線(xiàn)的人只能為客人提供業(yè)務(wù)線(xiàn)咨詢(xún)。然而，一次旅行往往涉及到全面的資源調(diào)度。攜程還致力于為用戶(hù)提供一站式的服務(wù)體驗(yàn)。顯然，用戶(hù)需要找到相應(yīng)的業(yè)務(wù)線(xiàn)來(lái)咨詢(xún)旅行中的問(wèn)題。圖1顯示了用戶(hù)在咨詢(xún)時(shí)需要找到相關(guān)業(yè)務(wù)線(xiàn)的場(chǎng)景。

  隨著我們團(tuán)隊(duì)在各業(yè)務(wù)線(xiàn)咨詢(xún)中引入機(jī)器人輔助勞動(dòng)力，成熟度越來(lái)越高，我們有進(jìn)一步的計(jì)劃，即攜程App一站式機(jī)器人的推出可以讓用戶(hù)解決一次旅行可能涉及的各個(gè)方面。

  本文將首先比較當(dāng)前用戶(hù)咨詢(xún)問(wèn)題入口與一站式入口的異同，從而導(dǎo)致建立一站式機(jī)器人的重要性和挑戰(zhàn)，然后結(jié)合具體情況講述機(jī)器人的完整結(jié)構(gòu)，并詳細(xì)介紹自然語(yǔ)言理解部分（NLU）的算法。

圖1 各業(yè)務(wù)線(xiàn)售前咨詢(xún)?nèi)肟谝弧⒏鳂I(yè)務(wù)線(xiàn)咨詢(xún)?nèi)肟诩耙徽臼饺肟?p style="font-family: 宋體, SimSun; font-size: 16px; line-height: 1.85em; margin-bottom: 15px;">  讓我們從一個(gè)泛業(yè)務(wù)線(xiàn)咨詢(xún)的例子來(lái)看看各業(yè)務(wù)線(xiàn)咨詢(xún)?nèi)肟诤鸵徽臼阶稍?xún)?nèi)肟谥g的區(qū)別。在圖2中，攜程用戶(hù)因私人事務(wù)取消了一次旅行，導(dǎo)致機(jī)票、酒店等產(chǎn)品的退款。在圖2的左半部分，用戶(hù)從機(jī)票訂單詳細(xì)信息頁(yè)面進(jìn)入咨詢(xún)過(guò)程，咨詢(xún)機(jī)票退款進(jìn)度，然后咨詢(xún)酒店退款進(jìn)度。然而，由于機(jī)票入口只有機(jī)票產(chǎn)品的技能，面對(duì)用戶(hù)咨詢(xún)的酒店問(wèn)題，只能建議用戶(hù)跳轉(zhuǎn)。在圖2的右半部分，用戶(hù)可以在一站式入口進(jìn)行咨詢(xún)，以完成單個(gè)入口的完整咨詢(xún)過(guò)程。

圖2 機(jī)票訂單詳情頁(yè)入口與一站式入口

  機(jī)票訂單詳情頁(yè)入口的機(jī)器人，只能回答本業(yè)務(wù)線(xiàn)的問(wèn)題，對(duì)于跨業(yè)務(wù)線(xiàn)的問(wèn)題只能提供轉(zhuǎn)接服務(wù)；一站式入口的機(jī)器人，擁有解答全業(yè)務(wù)線(xiàn)問(wèn)題的能力。

  讓我們來(lái)看看酒店咨詢(xún)和推薦混合需求的例子。在圖3中，用戶(hù)瀏覽酒店后，咨詢(xún)酒店是否有游泳池。在得知酒店沒(méi)有游泳池后，他們希望在附近的地區(qū)找到一家有游泳池的酒店。圖3的左半部分是用戶(hù)通過(guò)酒店詳細(xì)信息頁(yè)面進(jìn)入咨詢(xún)?nèi)肟诤蟮姆?wù)流程。由于入口限制了所有的咨詢(xún)只能針對(duì)特定的酒店，因此用戶(hù)的推薦需求只能選擇手動(dòng)轉(zhuǎn)移。圖3的右半部分是用戶(hù)在一站式入口處獲得的服務(wù)流程。一站式具有咨詢(xún)和推薦的能力。

圖3 酒店詳情頁(yè)入口及一站式入口

  酒店詳細(xì)信息頁(yè)面入口處的機(jī)器人僅限于特定酒店，只能提供與酒店相關(guān)的信息問(wèn)答；一站式入口可靈活提供酒店信息、酒店預(yù)訂和推薦功能。

  綜上所述，我們可以看到的咨詢(xún)?nèi)肟谙啾龋徽臼接袃蓚€(gè)明顯的優(yōu)勢(shì)。

  首先，一站式擁有全業(yè)務(wù)線(xiàn)的知識(shí)，可以在不進(jìn)入各業(yè)務(wù)線(xiàn)的情況下，為用戶(hù)提供全方位的旅行支持。

  第二，一站式除了咨詢(xún)技能外，還有更多的技能，如推薦、預(yù)訂等，為用戶(hù)帶來(lái)更方便的一站式體驗(yàn)，也為企業(yè)創(chuàng)造了準(zhǔn)確營(yíng)銷(xiāo)的可能性。

二、“一站式”機(jī)器人架構(gòu)

  在部分，我們可以看到一站式機(jī)器人比目前的系統(tǒng)有很大的優(yōu)勢(shì)，但也有很大的挑戰(zhàn)。

  當(dāng)用戶(hù)進(jìn)入一站式入口時(shí)，與每條業(yè)務(wù)線(xiàn)的咨詢(xún)?nèi)肟诓煌覀冃枰ㄟ^(guò)自然語(yǔ)言理解算法了解用戶(hù)的服務(wù)需求。此外，一站式入口的許多技能也需要在適當(dāng)?shù)臅r(shí)間激活，因此我們需要一個(gè)對(duì)話(huà)管理模塊來(lái)控制這些技能的激活，對(duì)話(huà)管理模塊也將與自然語(yǔ)言理解模塊一起使用，以更準(zhǔn)確地分析用戶(hù)的真實(shí)需求。

  圖4是算法端一站式機(jī)器人的完整架構(gòu)，在架構(gòu)中省略了服務(wù)端的接口調(diào)用和前端的顯示邏輯。自然語(yǔ)言理解模塊主要包括三個(gè)子模塊、領(lǐng)域分類(lèi)、意圖分類(lèi)和槽分析，該模塊的結(jié)果輸出到對(duì)話(huà)管理模塊。對(duì)話(huà)管理模塊更新了當(dāng)前的對(duì)話(huà)狀態(tài)，并根據(jù)分析的用戶(hù)意圖選擇了合適的機(jī)器回復(fù)。最終的回復(fù)生成模塊負(fù)責(zé)調(diào)用各種問(wèn)答、推薦和技能服務(wù)，并使用自然語(yǔ)言用戶(hù)的需求。

圖4

  在對(duì)一站式機(jī)器人的結(jié)構(gòu)有了初步的了解之后，我們將回顧部分的兩個(gè)例子。

  在圖5中，用戶(hù)進(jìn)入入入口并發(fā)起咨詢(xún)，我取消了機(jī)票訂單，但沒(méi)有收到退款。自然語(yǔ)言理解模塊分析了機(jī)票領(lǐng)域，意圖是機(jī)票領(lǐng)域的問(wèn)答。對(duì)話(huà)管理模塊選擇相應(yīng)的機(jī)票問(wèn)答Action，調(diào)用機(jī)票業(yè)務(wù)線(xiàn)服務(wù)常見(jiàn)問(wèn)題（FAQ）回答用戶(hù)的問(wèn)題。滿(mǎn)足用戶(hù)需求后，進(jìn)一步咨詢(xún)酒店退款。自然語(yǔ)言理解模塊識(shí)別用戶(hù)在酒店領(lǐng)域的問(wèn)答意圖，對(duì)話(huà)管理模塊選擇相應(yīng)的酒店問(wèn)答Action，調(diào)用酒店業(yè)務(wù)線(xiàn)業(yè)務(wù)常見(jiàn)問(wèn)題服務(wù)(FAQ)，滿(mǎn)足用戶(hù)完整的服務(wù)需求，實(shí)現(xiàn)一站式目標(biāo)。

圖5 一站式機(jī)器人完成跨業(yè)務(wù)線(xiàn)用戶(hù)的服務(wù)需求

  讓我們看看圖6中的另一個(gè)例子。在酒店預(yù)訂過(guò)程中，用戶(hù)咨詢(xún)酒店是否有游泳池。自然語(yǔ)言理解模塊分析了用戶(hù)的意圖是酒店領(lǐng)域的問(wèn)答，并分析了酒店和酒店設(shè)施的槽。對(duì)話(huà)管理模塊填寫(xiě)酒店和酒店設(shè)施的槽，并要求酒店KBQA服務(wù)，了解酒店沒(méi)有游泳池。用戶(hù)進(jìn)一步詢(xún)問(wèn)附近是否有其他酒店有游泳池。自然語(yǔ)言理解模塊分析用戶(hù)意圖是酒店領(lǐng)域的推薦，并分析酒店設(shè)施的槽位。對(duì)話(huà)管理模塊更新酒店設(shè)施的槽位，將中心地標(biāo)和酒店設(shè)施帶入接口，查詢(xún)符合相應(yīng)條件的酒店。

圖6 一站式機(jī)器人法

  在部分，我們描述了建立一站式機(jī)器人的動(dòng)機(jī)，并比較了它與當(dāng)前業(yè)務(wù)線(xiàn)咨詢(xún)?nèi)肟诘漠愅Ｔ诘诙糠郑覀兘o出了一站式機(jī)器人的算法架構(gòu)，并結(jié)合兩個(gè)例子描述了它的工作過(guò)程。從機(jī)器人架構(gòu)的角度來(lái)看，自然語(yǔ)言理解是步，也是一個(gè)非常重要的模塊。只有正確地理解用戶(hù)Query機(jī)器人可以通過(guò)對(duì)話(huà)管理和自身技能為用戶(hù)服務(wù)。

  用戶(hù)自然語(yǔ)言理解模塊Query的解析主要包括兩個(gè)部分，意圖識(shí)別和槽位解析，其中意圖識(shí)別又被細(xì)分為領(lǐng)域分類(lèi)和領(lǐng)域下的意圖分類(lèi)，主要使用分類(lèi)算法，槽位解析主要使用實(shí)體識(shí)別和實(shí)體鏈接的一些算法。在此我們著重介紹意圖識(shí)別中使用到的分類(lèi)算法。

  考慮到我們場(chǎng)景中的領(lǐng)域與意圖之間存在層次關(guān)系，即每個(gè)意圖都是某一領(lǐng)域下的一種意圖，我們?cè)谠O(shè)計(jì)算法時(shí)充分反映了這種層次關(guān)系。如圖7所示，我們使用表將用戶(hù)輸入轉(zhuǎn)換為one-hot形式，通過(guò)Embedding層轉(zhuǎn)換為連續(xù)向量，用戶(hù)的輸入可以是字級(jí)或字級(jí)，也可以通過(guò)字級(jí)結(jié)果CNN或Highway Network方式和詞級(jí)Embedding結(jié)合。

  然后我們用LSTM或GRU的RNN類(lèi)序列表征層學(xué)習(xí)序列的表征。通過(guò)全連接層和soft ** x激活函數(shù)，獲得該領(lǐng)域的預(yù)測(cè)結(jié)果。一方面，該領(lǐng)域的預(yù)測(cè)結(jié)果將以真實(shí)的領(lǐng)域標(biāo)簽作為損失函數(shù)的一部分，也將與隨機(jī)初始化的領(lǐng)域相結(jié)合Embedding矩陣點(diǎn)乘得到與句子相關(guān)的領(lǐng)域向量。該領(lǐng)域的向量與以前的序列表征共同構(gòu)成意圖分類(lèi)的輸入，我們使用另一個(gè)LSTM或GRU的RNN序列表征層進(jìn)一步表達(dá)序列，再次引入領(lǐng)域向量對(duì)序列結(jié)果進(jìn)行Attention操作得到最終句子表征。通過(guò)全連接層和soft ** x激活函數(shù)，得到預(yù)測(cè)結(jié)果。

圖7 領(lǐng)域及意圖分類(lèi)算法

  在我們的實(shí)驗(yàn)過(guò)程中，Embedding層的各種方法差別不明顯，我們嘗試包括詞級(jí)的方法Embedding、字級(jí)別Embedding以及字級(jí)CNN結(jié)合詞級(jí)共同行動(dòng)Embedding；序列表征層的各種方法差異不明顯，包括GRU、LSTM以及Self-Attention層。當(dāng)獲得最終表征層時(shí)，基于領(lǐng)域向量Attention操作相比于CNN特征提取方法及對(duì)RNN輸出的隱向量做 ** x-pooling方法顯著提高，分類(lèi)精度提高約1.5%-2%。與平鋪意圖分類(lèi)方法相比，級(jí)聯(lián)意圖分類(lèi)方法有了顯著提高，分類(lèi)精度提高了2%左右-3%。我們認(rèn)為這種方法之所以能帶來(lái)改進(jìn)，是因?yàn)樗紫阮A(yù)測(cè)了相對(duì)簡(jiǎn)單的領(lǐng)域標(biāo)簽，然后使用該領(lǐng)域的信息來(lái)輔助預(yù)測(cè)意圖，類(lèi)似于curriculum learning從易到難的過(guò)程可以使模型更好地學(xué)習(xí)。

  我們?cè)陔x線(xiàn)數(shù)據(jù)集的培訓(xùn)集上培訓(xùn)模型，在開(kāi)發(fā)集上調(diào)整參數(shù)，在集上評(píng)估調(diào)整參數(shù)優(yōu)化后的模型。集的領(lǐng)域級(jí)別分類(lèi)精度約為90%，意向級(jí)別分類(lèi)精度約為87%，模型符合在線(xiàn)可用標(biāo)準(zhǔn)。

四、結(jié)語(yǔ)

  在本文中，我們向讀者描述了攜程的一站式機(jī)器人愿景，并提出了其優(yōu)勢(shì)和挑戰(zhàn)。我們采用了結(jié)合自然語(yǔ)言理解和對(duì)話(huà)管理的算法架構(gòu)，使一站式機(jī)器人著陸。

  未來(lái)，我們將繼續(xù)從多個(gè)角度進(jìn)行優(yōu)化，包括更精細(xì)的自然語(yǔ)言理解、更準(zhǔn)確的意圖分類(lèi)和槽分析模型、容錯(cuò)對(duì)話(huà)管理過(guò)程、更豐富的知識(shí)庫(kù)、更好的意圖擴(kuò)展等，希望創(chuàng)建智能一站式機(jī)器人，與各業(yè)務(wù)線(xiàn)人員更好地服務(wù)攜程用戶(hù)。

  【作者簡(jiǎn)介】經(jīng)緯，從事機(jī)器人算法研發(fā)，專(zhuān)注于nlp該領(lǐng)域的算法研究和應(yīng)用，如數(shù)據(jù)和場(chǎng)景驅(qū)動(dòng)的算法研發(fā)。

  更多攜程技術(shù)人員干貨文章，請(qǐng)關(guān)注攜程技術(shù)微信公眾號(hào)。