一、項(xiàng)目概述

知識圖譜是將知識連接起來形成的一個(gè)網(wǎng)絡(luò)。由節(jié)點(diǎn)和邊組成，節(jié)點(diǎn)是實(shí)體，邊是兩個(gè)實(shí)體的關(guān)系，節(jié)點(diǎn)和邊都可以有屬性。知識圖譜除了可以查詢實(shí)體的屬性外，還可以很方便的從一個(gè)實(shí)體通過遍歷關(guān)系的方式找到相關(guān)的實(shí)體及屬性信息。

基于知識圖譜+flask的KBQA醫(yī)療問答系統(tǒng)基于醫(yī)療方面知識的問答，通過搭建一個(gè)醫(yī)療領(lǐng)域知識圖譜，并以該知識圖譜完成自動問答與分析服務(wù)。 基于知識圖譜+flask的KBQA醫(yī)療問答系統(tǒng)以neo4j作為存儲，本系統(tǒng)知識圖譜建模使用的最大向前匹配是一種貪心算法，從句首開始匹配，每次選擇最長的詞語。由于只需一次遍歷，因此在速度上相對較快。 算法相對簡單，容易實(shí)現(xiàn)和理解，不需要復(fù)雜的數(shù)據(jù)結(jié)構(gòu)。 對于中文文本中大部分是左向的情況，最大向前匹配通常能夠較好地切分。與最大向前匹配相反，最大向后匹配從句尾開始匹配，每次選擇最長的詞語。適用于大部分右向的中文文本。雙向最大匹配結(jié)合了最大向前匹配和最大向后匹配的優(yōu)勢，從兩個(gè)方向分別匹配，然后選擇分詞數(shù)量較少的一種結(jié)果。這種方法綜合考慮了左向和右向的特點(diǎn)，提高了切分的準(zhǔn)確性，以關(guān)鍵詞執(zhí)行cypher查詢，并返回相應(yīng)結(jié)果查詢語句作為問答。后面我又設(shè)計(jì)了一個(gè)簡單的基于 Flask 的聊天機(jī)器人應(yīng)用，利用nlp自然語言處理，通過醫(yī)療AI助手根據(jù)用戶的問題返回結(jié)果，用戶輸入和系統(tǒng)返回的輸出結(jié)果都會一起自動存儲到sql數(shù)據(jù)庫。

在多模式匹配方面， Aho-Corasick算法專門用于在一個(gè)文本中同時(shí)搜索多個(gè)模式（關(guān)鍵詞）。相比于暴力搜索算法，Aho-Corasick算法的時(shí)間復(fù)雜度較低，在本知識圖譜建模問答系統(tǒng)中，性能更為顯著。在線性時(shí)間復(fù)雜度方面，進(jìn)行預(yù)處理的階段，Aho-Corasick算法構(gòu)建了一個(gè)確定性有限自動機(jī)（DFA），使得在搜索階段的時(shí)間復(fù)雜度為O(n)，其中n是待搜索文本的長度。這種線性時(shí)間復(fù)雜度使得算法在本應(yīng)用中非常高效。在靈活性方面， Aho-Corasick算法在構(gòu)建有限自動機(jī)的過程中，可以方便地添加、刪除模式串，而不需要重新構(gòu)建整個(gè)數(shù)據(jù)結(jié)構(gòu)，提高了算法的靈活性和可維護(hù)性。

二、實(shí)現(xiàn)知識圖譜的醫(yī)療知識問答系統(tǒng)基本流程

1. 配置好所需要的環(huán)境（jdk,neo4j,pycharm,python等）

2. 爬取所需要的醫(yī)學(xué)數(shù)據(jù)，獲取所需基本的醫(yī)療數(shù)據(jù)。

3. 對醫(yī)療數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗處理。

4. 基于貪心算法進(jìn)行分詞策略。

5. 關(guān)系抽取定義與實(shí)體識別。

6. 知識圖譜建模。

7. 基于 Aho-Corasick算法進(jìn)行多模式匹配。

8. 設(shè)計(jì)一個(gè)基于 Flask 的聊天機(jī)器人AI助手。

9. 設(shè)計(jì)用戶輸入和系統(tǒng)輸出記錄數(shù)據(jù)自動存儲到sql數(shù)據(jù)庫。

三、項(xiàng)目工具所用的版本號

Neo4j版本：Neo4j Desktop1.4.15;
neo4j里面醫(yī)療系統(tǒng)數(shù)據(jù)庫版本：4.4.5;
Pycharm版本：2021;
JDK版本：jdk1.8.0_211;
MongoDB版本：MongoDB-windows-x86_64-5.0.14;
flask版本：3.0.0

四、所需要軟件的安裝和使用

(一)安裝JAVA
1.下載java安裝包：
官網(wǎng)下載鏈接：https://www.oracle.com/java/technologies/javase-downloads.html

本人下載的版本為JDK-1.8,JDK版本的選擇一定要恰當(dāng)，版本太高或者太低都可能導(dǎo)致后續(xù)的neo4j無法使用。

安裝好JDK之后就要開始配置環(huán)境變量了。 配置環(huán)境變量的步驟如下：
右鍵單擊此電腦—點(diǎn)擊屬性—點(diǎn)擊高級系統(tǒng)設(shè)置—點(diǎn)擊環(huán)境變量

在下方的系統(tǒng)變量區(qū)域，新建環(huán)境變量，命名為JAVA_HOME，變量值設(shè)置為剛才JAVA的安裝路徑，我這里是C:\Program Files\Java\jdk1.8.0_211

編輯系統(tǒng)變量區(qū)的Path，點(diǎn)擊新建，然后輸入 %JAVA_HOME%\bin

打開命令提示符CMD（WIN+R,輸入cmd)，輸入 java -version，若提示Java的版本信息，則證明環(huán)境變量配置成功。

2.安裝好JDK之后，就可以安裝neo4j了
2.1 下載neo4j
官方下載鏈接：https://neo4j.com/download-center/#community
也可以直接下載我上傳到云盤鏈接：
Neo4j Desktop Setup 1.4.15.exe
鏈接：https://pan.baidu.com/s/1eXw0QjqQ9nfpXwR09zLQHA?pwd=2023
提取碼：2023

打開之后會有一個(gè)自己設(shè)置默認(rèn)路徑，可以根據(jù)自己電腦情況自行設(shè)置，然后等待啟動就行了

打開之后我們新建一個(gè)數(shù)據(jù)庫，名字叫做：“基于醫(yī)療領(lǐng)域的問答系統(tǒng)”

詳細(xì)信息看下圖:

數(shù)據(jù)庫所用的是4.4.5版本，其他數(shù)據(jù)庫參數(shù)信息如下：

五、項(xiàng)目結(jié)構(gòu)整體目錄
├── pycache \\編譯結(jié)果的保存目錄

│ │ ├── answer_search.cpython-39.pyc

│ │ ├── question_classifier.cpython-39.pyc

│ │ │── 基于問句解析.cpython-39.pyc

│ │ │── 基于問句解析結(jié)果查詢.cpython-39.pyc

│ │ │── 基于問題分類.cpython-39.pyc

├── data\本項(xiàng)目的數(shù)據(jù)

│ └── medical.json \本項(xiàng)目的數(shù)據(jù)，通過build_medicalgraph.py導(dǎo)neo4j

├── dict

│ ├── check.txt \診斷檢查項(xiàng)目實(shí)體庫

│ ├── deny.txt \否定詞詞庫

│ ├── department.txt \醫(yī)療科目實(shí)體庫

│ ├── disease.txt \疾病實(shí)體庫

│ ├── drug.txt \藥品實(shí)體庫

│ ├── food.txt \食物實(shí)體庫

│ ├── producer.txt \在售藥品庫

│ └── symptom.txt \疾病癥狀實(shí)體庫

├── prepare_data \爬蟲及數(shù)據(jù)處理

│ ├──__pycache__

│ ├── build_data.py \數(shù)據(jù)庫操作腳本

│ ├── data_spider.py \網(wǎng)絡(luò)資訊采集腳本

│ └── max_cut.py \基于詞典的最大向前/向后腳本

│ ├── 處理后的medical數(shù)據(jù).xlsx

│ ├── MongoDB數(shù)據(jù)轉(zhuǎn)為json格式數(shù)據(jù)文件.py

│ ├──從MongoDB導(dǎo)出的medical.csv

│ ├──data.json #從MongoDB導(dǎo)出的json格式數(shù)據(jù)

├── static \靜態(tài)資源文件

├── templates

│ ├──index.html \問答系統(tǒng)前端UI頁面

├── app.py \啟動flask問答AI腳本主程序

├── question_classifier.py \問句類型分類腳本

├── answer_search.py \基于問題答復(fù)腳本

├── build_medicalgraph.py \構(gòu)建醫(yī)療圖譜腳本

├── chatbot_graph.py \醫(yī)療AI助手問答系統(tǒng)機(jī)器人腳本

├── question_parser.py [\基于問句解析腳本](file://基于問句解析腳本)

├── 刪除所有關(guān)系.py \可有可無的腳本文件

├── 刪除關(guān)系鏈.py \可有可無的腳本文件

├── 兩節(jié)點(diǎn)新加關(guān)系.py \可有可無的腳本文件

├── 交互 匹配所有節(jié)點(diǎn).py \可有可無的腳本文件

這里chatbot_graph.py腳本首先從需要運(yùn)行的chatbot_graph.py文件開始分析。
該腳本構(gòu)造了一個(gè)問答類ChatBotGraph，定義了QuestionClassifier類型的成員變量classifier、QuestionPase類型的成員變量parser和AnswerSearcher類型的成員變量searcher。

question_classifier.py腳本構(gòu)造了一個(gè)問題分類的類QuestionClassifier，定義了特征詞路徑、特征詞、領(lǐng)域actree、詞典、問句疑問詞等成員變量。question_parser.py問句分類后需要對問句進(jìn)行解析。該腳本創(chuàng)建一個(gè)QuestionPaser類，該類包含三個(gè)成員函數(shù)。
answer_search.py問句解析之后需要對解析后的結(jié)果進(jìn)行查詢。該腳本創(chuàng)建了一個(gè)AnswerSearcher類。與build_medicalgraph.py類似，該類定義了Graph類的成員變量g和返回答案列舉的最大個(gè)數(shù)num_list。該類的成員函數(shù)有兩個(gè)，一個(gè)查詢主函數(shù)一個(gè)回復(fù)模塊。

問答系統(tǒng)框架的構(gòu)建是通過chatbot_graph.py、answer_search.py、question_classifier.py、question_parser.py等腳本實(shí)現(xiàn)。

五、系統(tǒng)實(shí)現(xiàn)

數(shù)據(jù)的抓取與存儲

安裝MongoDB數(shù)據(jù)庫：
MongoDB官方下載地址：
https://www.mongodb.com/try





安裝完成：

然后我們進(jìn)行MongoDB的環(huán)境配置：
在變量Path里加入E:\MongoDB\bin

打開終端（cmd）輸入mongod --dbpath E:\MongoDB\data\db

在瀏覽器輸入

127.0.0.1:27017

查看MongoDB服務(wù)是否啟動成功：

安裝好MongoDB之后開始爬取數(shù)據(jù)：
數(shù)據(jù)來源于尋醫(yī)問藥網(wǎng)：http://jib.xywy.com/

具體的疾病詳情頁面如下：
首先對網(wǎng)址上的疾病鏈接進(jìn)行分析，以感冒為例：
感冒的鏈接：http://jib.xywy.com/il_sii_38.htm

可以看到，上面包含了疾病的簡介、病因、預(yù)防、癥狀、檢查、治療、并發(fā)癥、飲食保健等詳情頁的內(nèi)容。下面我們要使用爬蟲把信息收集起來。要收集 url 下面對應(yīng)的數(shù)據(jù)，具體爬蟲代碼如下：
之前老版本的insert方法被棄用，再用會出現(xiàn)警告。insert 替換為了 insert_one，這樣就不會再收到關(guān)于 insert 方法被棄用的警告了。

'''基于尋醫(yī)問藥的醫(yī)療數(shù)據(jù)采集'''
# 使用 insert_one 或 insert_many 方法。提供了更多的靈活性，并且支持更多的功能，比如插入后返回的文檔的 _id 值。
class MedicalSpider:
    def __init__(self):
        self.conn = pymongo.MongoClient()
        self.db = self.conn['medical2']
        self.col = self.db['data']

    def insert_data(self, data):
        # 使用 insert_one 方法插入單個(gè)文檔
        self.col.insert_one(data)

根據(jù)url,請求html

用于獲取指定 URL 的 HTML 內(nèi)容的函數(shù)，使用了 Python 的 requests 庫。在這個(gè)代碼中，設(shè)置請求的頭部信息（User-Agent），代理信息（proxies），然后使用 requests.get 方法獲取頁面內(nèi)容，并指定了編碼為 ‘gbk’。

'''根據(jù)url,請求html'''
def get_html(self,url):
    headers = {
   
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
    }
    proxies = {
   
        'http': None,
        'https': None
    }
    html = requests.get(url=url, headers=headers, proxies=proxies)
    html.encoding = 'gbk'
    return html.text

爬取醫(yī)療相關(guān)的信息，包括疾病描述、疾病預(yù)防、疾病癥狀、治療方法等。

url_parser 函數(shù)

def url_parser(self, content):
    selector = etree.HTML(content)
    urls = ['http://www.anliguan.com' + i for i in selector.xpath('//h2[@class="item-title"]/a/@href')]
    return urls

url_parser 函數(shù)函數(shù)的作用是解析傳入的 HTML 內(nèi)容，提取出頁面中疾病相關(guān)的鏈接。具體來說：

• etree.HTML(content): 使用 lxml 庫中的 etree 模塊將 HTML 內(nèi)容轉(zhuǎn)換成可被 XPath 解析的對象。
• selector.xpath('//h2[@class="item-title"]/a/@href'): 使用 XPath 選擇器提取所有 <h2> 標(biāo)簽中 class 屬性為 "item-title" 的子節(jié)點(diǎn) <a> 的 href 屬性，得到的是一組相對鏈接。
• ['http://www.anliguan.com' + i for i in ...]: 將相對鏈接轉(zhuǎn)換成完整的鏈接，拼接在 'http://www.anliguan.com' 前面。

這個(gè)函數(shù)的作用是解析傳入的 HTML 內(nèi)容，提取出頁面中疾病相關(guān)的鏈接。具體來說：

spider_main函數(shù)是主要的爬蟲邏輯，循環(huán)遍歷頁面，爬取不同類型的醫(yī)療信息，并將結(jié)果存儲到數(shù)據(jù)庫中文章來源地址http://www.zghlxwxcb.cn/news/detail-790952.html

'''url解析'''
def url_parser(self,content):
    selector=etree.HTML(content)
    urls=['http://www.anliguan.com'+i for i in selector.xpath('//h2[@class="item-title"]/a/@href')]
    return urls

'''主要的爬取的鏈接'''
def spider_main(self):
    # 收集頁面
    for page in range(1,11000):
        try:
            basic_url='http://jib.xywy.com/il_sii/gaishu/%s.htm'%page # 疾病描述
            cause_url='http://jib.xywy.com/il_sii/cause/%s.htm'%page # 疾病起因
            prevent_url='http://jib.xywy.com/il_sii/prevent/%s.htm'%page # 疾病預(yù)防
            symptom_url='http://jib.xywy.com/il_sii/symptom/%s.htm'%page #疾病癥狀
            inspect_url='http://jib.xywy.com/il_sii/inspect/%s.htm'%page # 疾病檢查
            treat_url='http://jib.xywy.com/il_sii/treat/%s.htm'%page # 疾病治療
            food_url = 'http://jib.xywy.com/il_sii/food/%s.htm' % page # 飲食治療
            drug_url = 'http://jib.xywy.com/il_sii/drug/%s.htm' % page #藥物
            

• basic_url、symptom_url、food_url、drug_url 和 cause_url 是根據(jù) page 變量構(gòu)建的不同 URL 地址，用于訪問和爬取不同類型信息的網(wǎng)頁。
  - data 是一個(gè)字典，用于存儲從不同 URL 中獲取的數(shù)據(jù)。
  2. 對不同 URL 進(jìn)行爬取和信息提?。?br> - data['ba

到了這里，關(guān)于大數(shù)據(jù)知識圖譜——基于知識圖譜+flask的大數(shù)據(jù)(KBQA)NLP醫(yī)療知識問答系統(tǒng)（全網(wǎng)最詳細(xì)講解及源碼/建議收藏）的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！