亚洲欧美中文在线观看,永久939w78w78w乳液,色5月婷婷 亚洲,2021精品国产自在观看

  • <small id="wqkfw"></small>

    <address id="wqkfw"></address>
  • 日記

    5U文學網 > 作文 > 日記 > 知識庫和知識圖譜的關系,知識圖譜 關系

    知識庫和知識圖譜的關系,知識圖譜 關系

    | admin

    知識圖譜是什么?有哪些應用價值

    知識圖譜 (Knowledge Graph) 是當前的研究熱點。自從2012年Google推出自己第一版知識圖譜以來,它在學術界和工業(yè)界掀起了一股熱潮。各大互聯(lián)網企業(yè)在之后的短短一年內紛紛推出了自己的知識圖譜產品以作為回應。比如在國內,互聯(lián)網巨頭百度和搜狗分別推出”知心“和”知立方”來改進其搜索質量。那么與這些傳統(tǒng)的互聯(lián)網公司相比,對處于當今風口浪尖上的行業(yè) - 互聯(lián)網金融, 知識圖譜可以有哪方面的應用呢?

    目錄

    1. 什么是知識圖譜?

    2. 知識圖譜的表示

    3. 知識圖譜的存儲

    4. 應用

    5. 挑戰(zhàn)

    6. 結語

    1. 什么是知識圖譜?

    知識圖譜本質上是語義網絡,是一種基于圖的數(shù)據(jù)結構,由節(jié)點(Point)和邊(Edge)組成。在知識圖譜里,每個節(jié)點表示現(xiàn)實世界中存在的“實體”,每條邊為實體與實體之間的“關系”。知識圖譜是關系的最有效的表示方式。通俗地講,知識圖譜就是把所有不同種類的信息(Heterogeneous Information)連接在一起而得到的一個關系網絡。知識圖譜提供了從“關系”的角度去分析問題的能力。

    知識圖譜這個概念最早由Google提出,主要是用來優(yōu)化現(xiàn)有的搜索引擎。不同于基于關鍵詞搜索的傳統(tǒng)搜索引擎,知識圖譜可用來更好地查詢復雜的關聯(lián)信息,從語義層面理解用戶意圖,改進搜索質量。比如在Google的搜索框里輸入Bill Gates的時候,搜索結果頁面的右側還會出現(xiàn)Bill Gates相關的信息比如出生年月,家庭情況等等。

    另外,對于稍微復雜的搜索語句比如 ”Who is the wife of Bill Gates“,Google能準確返回他的妻子Melinda Gates。這就說明搜索引擎通過知識圖譜真正理解了用戶的意圖。

    上面提到的知識圖譜都是屬于比較寬泛的范疇,在通用領域里解決搜索引擎優(yōu)化和問答系統(tǒng)(Question-Answering)等方面的問題。接下來我們看一下特定領域里的 (Domain-Specific) 知識圖譜表示方式和應用,這也是工業(yè)界比較關心的話題。

    2. 知識圖譜的表示

    假設我們用知識圖譜來描述一個事實(Fact) - “張三是李四的父親”。這里的實體是張三和李四,關系是“父親”(is_father_of)。當然,張三和李四也可能會跟其他人存在著某種類型的關系(暫時不考慮)。當我們把電話號碼也作為節(jié)點加入到知識圖譜以后(電話號碼也是實體),人和電話之間也可以定義一種關系叫 has_phone,就是說某個電話號碼是屬于某個人。下面的圖就展示了這兩種不同的關系。

    另外,我們可以把時間作為屬性(Property)添加到 has_phone 關系里來表示開通電話號碼的時間。這種屬性不僅可以加到關系里,還可以加到實體當中,當我們把所有這些信息作為關系或者實體的屬性添加后,所得到的圖譜稱之為屬性圖 (Property Graph)。屬性圖和傳統(tǒng)的RDF格式都可以作為知識圖譜的表示和存儲方式,但二者還是有區(qū)別的,這將在后面章節(jié)做簡單說明。

    3. 知識圖譜的存儲

    知識圖譜是基于圖的數(shù)據(jù)結構,它的存儲方式主要有兩種形式:RDF存儲格式和圖數(shù)據(jù)庫(Graph Database)。至于它們有哪些區(qū)別,請參考【1】。下面的曲線表示各種數(shù)據(jù)存儲類型在最近幾年的發(fā)展情況。從這里我們可以明顯地看到基于圖的存儲方式在整個數(shù)據(jù)庫存儲領域的飛速發(fā)展。這幅曲線圖來源于 Graph DBMS increased their popularity by 500% within the last 2 years

    下面的列表表示的是目前比較流行的基于圖存儲的數(shù)據(jù)庫排名。從這個排名中可以看出neo4j在整個圖存儲領域里占據(jù)著NO.1的地位,而且在RDF領域里Jena還是目前為止最為流行的存儲框架。這部分數(shù)據(jù)來源于 DB-Engines Ranking

    當然,如果需要設計的知識圖譜非常簡單,而且查詢也不會涉及到1度以上的關聯(lián)查詢,我們也可以選擇用關系型數(shù)據(jù)存儲格式來保存知識圖譜。但對那些稍微復雜的關系網絡(現(xiàn)實生活中的實體和關系普遍都比較復雜),知識圖譜的優(yōu)點還是非常明顯的。首先,在關聯(lián)查詢的效率上會比傳統(tǒng)的存儲方式有顯著的提高。當我們涉及到2,3度的關聯(lián)查詢,基于知識圖譜的查詢效率會高出幾千倍甚至幾百萬倍。其次,基于圖的存儲在設計上會非常靈活,一般只需要局部的改動即可。比如我們有一個新的數(shù)據(jù)源,我們只需要在已有的圖譜上插入就可以。于此相反,關系型存儲方式靈活性方面比較差,它所有的Schema都是提前定義好的,如果后續(xù)要改變,它的代價是非常高的。最后,把實體和關系存儲在圖數(shù)據(jù)結構是一種符合整個故事邏輯的最好的方式。

    4. 應用

    在本文中,我們主要討論知識圖譜在互聯(lián)網金融行業(yè)中的應用。當然,很多應用場景和想法都可以延伸到其他的各行各業(yè)。這里提到的應用場景只是冰山一角, 在很多其他的應用上,知識圖譜仍然可以發(fā)揮它潛在的價值, 我們在后續(xù)的文章中會繼續(xù)討論。

    反欺詐

    反欺詐是風控中非常重要的一道環(huán)節(jié)?;诖髷?shù)據(jù)的反欺詐的難點在于如何把不同來源的數(shù)據(jù)(結構化,非結構)整合在一起,并構建反欺詐引擎,從而有效地識別出欺詐案件(比如身份造假,團體欺詐,代辦包裝等)。而且不少欺詐案件會涉及到復雜的關系網絡,這也給欺詐審核帶來了新的挑戰(zhàn)。 知識圖譜,作為關系的直接表示方式,可以很好地解決這兩個問題。 首先,知識圖譜提供非常便捷的方式來添加新的數(shù)據(jù)源,這一點在前面提到過。其次,知識圖譜本身就是用來表示關系的,這種直觀的表示方法可以幫助我們更有效地分析復雜關系中存在的特定的潛在風險。

    反欺詐的核心是人,首先需要把與借款人相關的所有的數(shù)據(jù)源打通,并構建包含多數(shù)據(jù)源的知識圖譜,從而整合成為一臺機器可以理解的結構化的知識。在這里,我們不僅可以整合借款人的基本信息(比如申請時填寫的信息),還可以把借款人的消費記錄、行為記錄、網上的瀏覽記錄等整合到整個知識圖譜里,從而進行分析和預測。這里的一個難點是很多的數(shù)據(jù)都是從網絡上獲取的非結構化數(shù)據(jù),需要利用機器學習、自然語言處理技術把這些數(shù)據(jù)變成結構化的數(shù)據(jù)。

    不一致性驗證

    不一致性驗證可以用來判斷一個借款人的欺詐風險,這個跟交叉驗證類似。比如借款人張三和借款人李四填寫的是同一個公司電話,但張三填寫的公司和李四填寫的公司完全不一樣,這就成了一個風險點,需要審核人員格外的注意。

    再比如,借款人說跟張三是朋友關系,跟李四是父子關系。當我們試圖把借款人的信息添加到知識圖譜里的時候,“一致性驗證”引擎會觸發(fā)。引擎首先會去讀取張三和李四的關系,從而去驗證這個“三角關系”是否正確。很顯然,朋友的朋友不是父子關系,所以存在著明顯的不一致性。

    不一致性驗證涉及到知識的推理。通俗地講,知識的推理可以理解成“鏈接預測”,也就是從已有的關系圖譜里推導出新的關系或鏈接。 比如在上面的例子,假設張三和李四是朋友關系,而且張三和借款人也是朋友關系,那我們可以推理出借款人和李四也是朋友關系。

    組團欺詐

    相比虛假身份的識別,組團欺詐的挖掘難度更大。這種組織在非常復雜的關系網絡里隱藏著,不容易被發(fā)現(xiàn)。當我們只有把其中隱含的關系網絡梳理清楚,才有可能去分析并發(fā)現(xiàn)其中潛在的風險。知識圖譜,作為天然的關系網絡的分析工具,可以幫助我們更容易地去識別這種潛在的風險。舉一個簡單的例子,有些組團欺詐的成員會用虛假的身份去申請貸款,但部分信息是共享的。下面的圖大概說明了這種情形。從圖中可以看出張三、李四和王五之間沒有直接的關系,但通過關系網絡我們很容易看出這三者之間都共享著某一部分信息,這就讓我們馬上聯(lián)想到欺詐風險。雖然組團欺詐的形式眾多,但有一點值得肯定的是知識圖譜一定會比其他任何的工具提供更佳便捷的分析手段。

    異常分析(Anomaly Detection)

    異常分析是數(shù)據(jù)挖掘研究領域里比較重要的課題。我們可以把它簡單理解成從給定的數(shù)據(jù)中找出“異?!秉c。在我們的應用中,這些”異常“點可能會關聯(lián)到欺詐。既然知識圖譜可以看做是一個圖 (Graph),知識圖譜的異常分析也大都是基于圖的結構。由于知識圖譜里的實體類型、關系類型不同,異常分析也需要把這些額外的信息考慮進去。大多數(shù)基于圖的異常分析的計算量比較大,可以選擇做離線計算。在我們的應用框架中,可以把異常分析分為兩大類: 靜態(tài)分析和動態(tài)分析,后面會逐一講到。

    - 靜態(tài)分析

    所謂的靜態(tài)分析指的是,給定一個圖形結構和某個時間點,從中去發(fā)現(xiàn)一些異常點(比如有異常的子圖)。下圖中我們可以很清楚地看到其中五個點的相互緊密度非常強,可能是一個欺詐組織。所以針對這些異常的結構,我們可以做出進一步的分析。

    - 動態(tài)分析

    所謂的動態(tài)分析指的是分析其結構隨時間變化的趨勢。我們的假設是,在短時間內知識圖譜結構的變化不會太大,如果它的變化很大,就說明可能存在異常,需要進一步的關注。分析結構隨時間的變化會涉及到時序分析技術和圖相似性計算技術。有興趣的讀者可以去參考這方面的資料【2】。

    失聯(lián)客戶管理

    除了貸前的風險控制,知識圖譜也可以在貸后發(fā)揮其強大的作用。比如在貸后失聯(lián)客戶管理的問題上,知識圖譜可以幫助我們挖掘出更多潛在的新的聯(lián)系人,從而提高催收的成功率。

    現(xiàn)實中,不少借款人在借款成功后出現(xiàn)不還款現(xiàn)象,而且玩“捉迷藏”,聯(lián)系不上本人。即便試圖去聯(lián)系借款人曾經提供過的其他聯(lián)系人,但還是沒有辦法聯(lián)系到本人。這就進入了所謂的“失聯(lián)”狀態(tài),使得催收人員也無從下手。那接下來的問題是,在失聯(lián)的情況下,我們有沒有辦法去挖掘跟借款人有關系的新的聯(lián)系人? 而且這部分人群并沒有以關聯(lián)聯(lián)系人的身份出現(xiàn)在我們的知識圖譜里。如果我們能夠挖掘出更多潛在的新的聯(lián)系人,就會大大地提高催收成功率。舉個例子,在下面的關系圖中,借款人跟李四有直接的關系,但我們卻聯(lián)系不上李四。那有沒有可能通過2度關系的分析,預測并判斷哪些李四的聯(lián)系人可能會認識借款人。這就涉及到圖譜結構的分析。

    智能搜索及可視化展示

    基于知識圖譜,我們也可以提供智能搜索和數(shù)據(jù)可視化的服務。智能搜索的功能類似于知識圖譜在Google, Baidu上的應用。也就是說,對于每一個搜索的關鍵詞,我們可以通過知識圖譜來返回更豐富,更全面的信息。比如搜索一個人的身份證號,我們的智能搜索引擎可以返回與這個人相關的所有歷史借款記錄、聯(lián)系人信息、行為特征和每一個實體的標簽(比如黑名單,同業(yè)等)。另外,可視化的好處不言而喻,通過可視化把復雜的信息以非常直觀的方式呈現(xiàn)出來, 使得我們對隱藏信息的來龍去脈一目了然。

    精準營銷

    “A knowledge graph allows you to take core information about your customer—their name, where they reside, how to contact them—and relate it to who else they know, how they interact on the web, and more”-- Michele Goetz, a Principal Analyst at Forrester Research

    一個聰明的企業(yè)可以比它的競爭對手以更為有效的方式去挖掘其潛在的客戶。在互聯(lián)網時代,營銷手段多種多樣,但不管有多少種方式,都離不開一個核心 - 分析用戶和理解用戶。知識圖譜可以結合多種數(shù)據(jù)源去分析實體之間的關系,從而對用戶的行為有更好的理解。比如一個公司的市場經理用知識圖譜來分析用戶之間的關系,去發(fā)現(xiàn)一個組織的共同喜好,從而可以有針對性的對某一類人群制定營銷策略。只有我們能更好的、更深入的(Deep understanding)理解用戶的需求,我們才能更好地去做營銷。

    5. 挑戰(zhàn)

    知識圖譜在工業(yè)界還沒有形成大規(guī)模的應用。即便有部分企業(yè)試圖往這個方向發(fā)展,但很多仍處于調研階段。主要的原因是很多企業(yè)對知識圖譜并不了解,或者理解不深。但有一點可以肯定的是,知識圖譜在未來幾年內必將成為工業(yè)界的熱門工具,這也是從目前的趨勢中很容易預測到的。當然,知識圖譜畢竟是一個比較新的工具,所以在實際應用中一定會涉及到或多或少的挑戰(zhàn)。

    數(shù)據(jù)的噪聲

    首先,數(shù)據(jù)中存在著很多的噪聲。即便是已經存在庫里的數(shù)據(jù),我們也不能保證它有100%的準確性。在這里主要從兩個方面說起。第一,目前積累的數(shù)據(jù)本身有錯誤,所以這部分錯誤數(shù)據(jù)需要糾正。 最簡單的糾正辦法就是做離線的不一致性驗證,這點在前面提過。第二, 數(shù)據(jù)的冗余。比如借款人張三填寫公司名字為”普惠“,借款人李四填寫的名字為”普惠金融“,借款人王五則填寫成”普惠金融信息服務有限公司“。雖然這三個人都隸屬于一家公司,但由于他們填寫的名字不同,計算機則會認為他們三個是來自不同的公司。那接下來的問題是,怎么從海量的數(shù)據(jù)中找出這些存在歧義的名字并將它們合并成一個名字? 這就涉及到自然語言處理中的”消歧分析”技術。

    非結構化數(shù)據(jù)處理能力

    在大數(shù)據(jù)時代,很多數(shù)據(jù)都是未經處理過的非結構化數(shù)據(jù),比如文本、圖片、音頻、視頻等。特別在互聯(lián)網金融行業(yè)里,我們往往會面對大量的文本數(shù)據(jù)。怎么從這些非結構化數(shù)據(jù)里提取出有價值的信息是一件非常有挑戰(zhàn)性的任務,這對掌握的機器學習,數(shù)據(jù)挖掘,自然語言處理能力提出了更高的門檻。

    知識推理

    推理能力是人類智能的重要特征,使得我們可以從已有的知識中發(fā)現(xiàn)隱含的知識, 一般的推理往往需要一些規(guī)則的支持【3】。例如“朋友”的“朋友”,可以推理出“朋友”關系,“父親”的“父親”可以推理出“祖父”的關系。再比如張三的朋友很多也是李四的朋友,那我們可以推測張三和李四也很有可能是朋友關系。當然,這里會涉及到概率的問題。當信息量特別多的時候,怎么把這些信息(side information)有效地與推理算法結合在一起才是最關鍵的。常用的推理算法包括基于邏輯(Logic) 的推理和基于分布式表示方法(Distributed Representation)的推理。隨著深度學習在人工智能領域的地位變得越來越重要,基于分布式表示方法的推理也成為目前研究的熱點。如果有興趣可以參考一下這方面目前的工作進展【4,5,6,7】。

    大數(shù)據(jù)、小樣本、構建有效的生態(tài)閉環(huán)是關鍵

    雖然現(xiàn)在能獲取的數(shù)據(jù)量非常龐大,我們仍然面臨著小樣本問題,也就是樣本數(shù)量少。假設我們需要搭建一個基于機器學習的反欺詐評分系統(tǒng),我們首先需要一些欺詐樣本。但實際上,我們能拿到的欺詐樣本數(shù)量不多,即便有幾百萬個貸款申請,最后被我們標記為欺詐的樣本很可能也就幾萬個而已。這對機器學習的建模提出了更高的挑戰(zhàn)。每一個欺詐樣本我們都是以很高昂的“代價”得到的。隨著時間的推移,我們必然會收集到更多的樣本,但樣本的增長空間還是有局限的。這有區(qū)別于傳統(tǒng)的機器學習系統(tǒng),比如圖像識別,不難拿到好幾十萬甚至幾百萬的樣本。

    在這種小樣本條件下,構建有效的生態(tài)閉環(huán)尤其的重要。所謂的生態(tài)閉環(huán),指的是構建有效的自反饋系統(tǒng)使其能夠實時地反饋給我們的模型,并使得模型不斷地自優(yōu)化從而提升準確率。為了搭建這種自學習系統(tǒng),我們不僅要完善已有的數(shù)據(jù)流系統(tǒng),而且要深入到各個業(yè)務線,并對相應的流程進行優(yōu)化。這也是整個反欺詐環(huán)節(jié)必要的過程,我們要知道整個過程都充滿著博弈。所以我們需要不斷地通過反饋信號來調整我們的策略。

    6. 結語

    知識圖譜在學術界和工業(yè)界受到越來越多的關注。除了本文中所提到的應用,知識圖譜還可以應用在權限管理,人力資源管理等不同的領域。在后續(xù)的文章中會詳細地講到這方面的應用。

    參考文獻

    【1】De Abreu, D., Flores, A., Palma, G., Pestana, V., Pinero, J., Queipo, J., ... Vidal, M. E. (2013). Choosing Between Graph Databases and RDF Engines for Consuming and Mining Linked Data. In COLD.

    【2】User Behavior Tutorial

    【3】劉知遠 知識圖譜——機器大腦中的知識庫 第二章 知識圖譜——機器大腦中的知識庫

    【4】Nickel, M., Murphy, K., Tresp, V., Gabrilovich, E. A Review of Relational Machine Learning for Knowledge Graphs.

    【5】Socher, R., Chen, D., Manning, C. D., Ng, A. (2013). Reasoning with neural tensor networks for knowledge base completion. In Advances in Neural Information Processing Systems (pp. 926-934).

    【6】Bordes, A., Usunier, N., Garcia-Duran, A., Weston, J., Yakhnenko, O. (2013). Translating embeddings for modeling multi-relational data. In Advances in Neural Information Processing Systems (pp. 2787-2795).

    【7】Jenatton, R., Roux, N. L., Bordes, A., Obozinski, G. R. (2012). A latent factor model for highly multi-relational data. In Advances in Neural Information Processing Systems(pp. 3167-3175).

    知識圖譜(一)

    知識圖譜技術是人工智能的重要組成部分,其研究的是對人類知識的獲取、表示、推理、應用等技術。知識圖譜于2012年5月17日被Google正式提出,其初衷是為了提高搜索引擎的能力,增強用戶的搜索質量以及搜索體驗。目前,隨著智能信息服務應用的不斷發(fā)展,知識圖譜已被廣泛應用于智能搜索、智能問答、個性化推薦等領域。知識圖譜代表的是人工智能認知層面的問題,而深度學習很大程度上處理感知層面的問題,未來的技術大趨勢是深度學習與知識圖譜的結合,實現(xiàn)數(shù)據(jù)統(tǒng)計與知識驅動的結合,推動人工智能的發(fā)展。

    1.1 知識圖譜的定義

    在維基百科的官方詞條中:知識圖譜是Google用于增強其搜索引擎功能的知識庫 。本質上,知識圖譜是一種揭示實體之間關系的語義網絡,可以對現(xiàn)實世界的事物及其相互關系進行形式化地描述。現(xiàn)在的知識圖譜已被用來泛指各種大規(guī)模的知識庫。

    三元組是知識圖譜的一種通用表示方式,即 G=(E,R,S),其中E={e1,e2,……,e|E|}是知識庫中的

    實體集合,共包含|E|種不同實體;R={r,r,……,r } 12 |E|是知識庫中的關系集合,共包含 | R | 種不同關系; S ? E × R × E 代表知識庫中的三元組集合。三元組 的基本形式主要包括實體1、關系、實體2和概念、屬性、屬性值等,實體是知識圖譜中的最基本元素, 不同的實體間存在不同的關系。概念主要指集合、 類別、對象類型、事物的種類,例如人物、地理等; 屬性主要指對象可能具有的屬性、特征、特性、特 點以及參數(shù),例如國籍、生日等;屬性值主要指對 象指定屬性的值,例如中國、1988-09-08等

    知識圖譜,供應鏈知識庫,知識自動化是什么?

    在知識表示和推理中,知識圖譜是使用圖結構的數(shù)據(jù)模型或拓撲來整合數(shù)據(jù)的知識庫。 知識圖通常用于存儲具有自由形式語義的實體(對象、事件、情況或抽象概念)的相互關聯(lián)描述。

    知識圖譜基礎(一)-什么是知識圖譜

    筆者是一只已經離職的AI產品經理,主要擅長的方向是知識圖譜與自然語言處理,寫這些文章是為了總結歸納目前已經搭建的知識體系,也在于科普。如有不對,請指正。

    知識圖譜在國內屬于一個比較新興的概念,國內目前paper都比較少,應用方主要集中在BAT這類手握海量數(shù)據(jù)的企業(yè),這個概念是google在2012年提出的,當時主要是為了將傳統(tǒng)的keyword-base搜索模型向基于語義的搜索升級。知識圖譜可以用來更好的查詢復雜的關聯(lián)信息,從語義層面理解用戶意圖,改進搜索質量。

    個人認為,知識圖譜最大的優(yōu)勢是在于對數(shù)據(jù)的描述能力非常強大,各種機器學習算法雖然在預測能力上很不錯,但是在描述能力上非常弱,知識圖譜剛好填補了這部分空缺。

    知識圖譜的定義非常多,我這里提供一部分我自己的理解:

    1.知識圖譜主要目標是用來描述真實世界中存在的各種實體和概念,以及他們之間的強關系,我們用關系去描述兩個實體之間的關聯(lián),例如姚明和火箭隊之間的關系,他們的屬性,我們就用“屬性--值對“來刻畫它的內在特性,比如說我們的人物,他有年齡、身高、體重屬性。

    2.知識圖譜可以通過人為構建與定義,去描述各種概念之間的弱關系,例如:“忘了訂單號”和“找回訂單號”之間的關系

    知識庫目前可以分為兩種類型:Curated KBs 和 Extracted KBs

    Curated KBs :以yago2和freebase為代表,他們從維基百科和WordNet等知識庫抽取了大量的實體及實體關系,可以把它理解城一種結構化的維基百科。

    Extracted KBs :主要是以Open Information Extraction (Open IE),? Never-Ending Language Learning (NELL)為代表,他們直接從上億個網頁中抽取實體關系三元組。與freebase相比,這樣得到的實體知識更具有多樣性,而它們的實體關系和實體更多的則是自然語言的形式,如“姚明出生于上海?!?可以被表示為(“Yao Ming”, “was also born in”, “Shanghai”)。直接從網頁中抽取出來的知識,也會存在一定的噪聲,其精確度低于Curated KBs。

    a)“姚明出生于上?!?/p>

    b)“姚明是籃球運動員”

    c)“姚明是現(xiàn)任中國籃協(xié)主席”

    以上就是一條條知識,把大量的知識匯聚起來就成為了知識庫(Knowledge Base)。我們可以從wikipedia,百度百科等百科全書獲取到大量的知識。但是,這些百科全書的知識是由非結構化的自然語言組建而成的,這樣的組織方式很適合人們閱讀但并不適合計算機處理。

    為了方便計算機的處理和理解,我們需要更加形式化、簡潔化的方式去表示知識,那就是三元組(triple)。

    “姚明出生于中國上?!?可以用三元組表示為(Yao Ming, PlaceOfBirth, Shanghai)[1]。這里我們可以簡單的把三元組理解為(實體entity,實體關系relation,實體entity)。如果我們把實體看作是結點,把實體關系(包括屬性,類別等等)看作是一條邊,那么包含了大量三元組的知識庫就成為了一個龐大的知識圖。

    有些時候會將實體稱為topic,如Justin Bieber。實體關系也可分為兩種,一種是屬性property,一種是關系relation。如下圖所示,屬性和關系的最大區(qū)別在于,屬性所在的三元組對應的兩個實體,常常是一個topic和一個字符串,如屬性Type/Gender,對應的三元組(Justin Bieber, Type, Person),而關系所在的三元組所對應的兩個實體,常常是兩個topic。如關系PlaceOfBrith,對應的三元組(Justin Bieber, PlaceOfBrith, London)。

    (圖中藍色方塊表示topic,橙色橢圓包括屬性值,它們都屬于知識庫的實體;藍色直線表示關系,橙色直線表示屬性,它們都統(tǒng)稱為知識庫的實體關系,都可以用三元組刻畫實體和實體關系)

    這里只是簡單介紹一下數(shù)據(jù)結構,知識表達這一塊會在《知識圖譜基礎(二)-知識圖譜的知識表達系統(tǒng)》中詳細講解。

    讀者只要記住,freebase的基礎知識表達形式:(實體)-[關系]-(實體),(實體)-[關系]-(值)即可,參考圖3,姚明和葉莉的關系。

    通過知識圖譜,不僅可以將互聯(lián)網的信息表達成更接近人類認知世界的形式,而且提供了一種更好的組織、管理和利用海量信息的方式。下圖是筆者整理的知識圖譜有關的應用,接下來的一些文章筆者會對下面的應用進行剖析。

    從圖4上看,知識圖譜的應用主要集中在搜索與推薦領域,robot(客服機器人,私人助理)是問答系統(tǒng),本質上也是搜索與推薦的延伸??赡苁且驗橹R圖譜這項技術(特指freebase)誕生之初就是為了解決搜索問題的。知識存儲這一塊可能是企查查和啟信寶這些企業(yè)發(fā)現(xiàn)使用圖結構的數(shù)據(jù)比較好清洗加工。

    在語義搜索這一塊,知識圖譜的搜索不同于常規(guī)的搜索,常規(guī)的搜索是根據(jù)keyword找到對應的網頁集合,然后通過page rank等算法去給網頁集合內的網頁進行排名,然后展示給用戶;基于知識圖譜的搜索是在已有的圖譜知識庫中遍歷知識,然后將查詢到的知識返回給用戶,通常如果路徑正確,查詢出來的知識只有1個或幾個,相當精準。

    問答系統(tǒng)這一塊,系統(tǒng)同樣會首先在知識圖譜的幫助下對用戶使用自然語言提出的問題進行語義分析和語法分析,進而將其轉化成結構化形式的查詢語句,然后在知識圖譜中查詢答案。

    知識圖譜概念是什么?

    知識圖譜的概念是:知識圖譜是自頂向下(top-down)的構建方式。自頂向下指的是先為知識圖譜定義好本體與數(shù)據(jù)模式,再將實體加入到知識庫。

    該構建方式需要利用一些現(xiàn)有的結構化知識庫作為其基礎知識庫,例如 Freebase 項目就是采用這種方式,它的絕大部分數(shù)據(jù)是從維基百科中得到的。

    然而目前,大多數(shù)知識圖譜都采用自底向上(bottom-up)的構建方式。自底向上指的是從一些開放連接數(shù)據(jù)(也就是 “信息”)中提取出實體,選擇其中置信度較高的加入到知識庫,再構建實體與實體之間的聯(lián)系。

    知識圖譜的體系架構是:

    知識圖譜的架構主要包括自身的邏輯結構以及體系架構。

    知識圖譜在邏輯結構上可分為模式層與數(shù)據(jù)層兩個層次,數(shù)據(jù)層主要是由一系列的事實組成,而知識將以事實為單位進行存儲。

    如果用(實體1,關系,實體2)、(實體、屬性,屬性值)這樣的三元組來表達事實,可選擇圖數(shù)據(jù)庫作為存儲介質,例如開源的 Neo4j、Twitter 的 FlockDB、JanusGraph 等。

    模式層構建在數(shù)據(jù)層之上,主要是通過本體庫來規(guī)范數(shù)據(jù)層的一系列事實表達。本體是結構化知識庫的概念模板,通過本體庫而形成的知識庫不僅層次結構較強,并且冗余程度較小。

    大規(guī)模知識庫的構建與應用需要多種智能信息處理技術的支持。通過知識抽取技術,可以從一些公開的半結構化、非結構化的數(shù)據(jù)中提取出實體、關系、屬性等知識要素。通過知識融合,可消除實體、關系、屬性等指稱項與事實對象之間的歧義,形成高質量的知識庫。

    知識推理則是在已有的知識庫基礎上進一步挖掘隱含的知識,從而豐富、擴展知識庫。分布式的知識表示形成的綜合向量對知識庫的構建、推理、融合以及應用均具有重要的意義。

    219597