伊人大香蕉网站,www.水蜜桃视频,精品高清无码一区二区三区四区 ,日韩女优激情电影在线观看,国产无码中文字幕在线观看 ,亚洲最大免费在线播放视频,大色鬼AV,男人天堂手机在线

向AI轉(zhuǎn)型的程序員都關(guān)注了這個號???

機(jī)器學(xué)習(xí)AI算法工程?? 公眾號：datayx

依存句法分析是自然語言處理核心技術(shù)之一，旨在通過分析句子中詞語之間的依存關(guān)系來確定句子的句法結(jié)構(gòu)，如下圖實(shí)例所示：?

依存句法分析作為底層技術(shù)，可直接用于提升其他NLP任務(wù)的效果，這些任務(wù)包括但不限于語義角色標(biāo)注、語義匹配、事件抽取等。該技術(shù)具有很高的研究價(jià)值及應(yīng)用價(jià)值。為了方便研究人員和商業(yè)合作伙伴共享效果領(lǐng)先的依存句法分析技術(shù)，我們開源了基于大規(guī)模標(biāo)注數(shù)據(jù)訓(xùn)練的高性能的依存句法分析工具，并提供一鍵式安裝及預(yù)測服務(wù)，用戶只需一條命令即可獲取依存句法分析結(jié)果。

依存句法分析標(biāo)注關(guān)系集合

DuCTB1.0數(shù)據(jù)集含14種標(biāo)注關(guān)系，具體含義見下表：

項(xiàng)目介紹

DDParser(Baidu?Dependency?Parser)是百度自然語言處理部基于深度學(xué)習(xí)平臺飛槳(PaddlePaddle)和大規(guī)模標(biāo)注數(shù)據(jù)研發(fā)的依存句法分析工具。其訓(xùn)練數(shù)據(jù)不僅覆蓋了多種輸入形式的數(shù)據(jù)，如鍵盤輸入query、語音輸入query，還覆蓋了多種場景的數(shù)據(jù)，如新聞、論壇。該工具在隨機(jī)評測數(shù)據(jù)上取得了優(yōu)異的效果。同時(shí)，該工具使用簡單，一鍵完成安裝及預(yù)測。

本項(xiàng)目所用方法出自論文《Deep Biaffine Attention for Neural Dependency Parsing》，也有對應(yīng)的pytorch版本。

代碼以及運(yùn)行教程??獲?。?/span>

關(guān)注微信公眾號 datayx ?然后回復(fù)? 句法分析? 即可獲取。

AI項(xiàng)目體驗(yàn)地址 https://loveai.tech

效果說明

CTB5: Chinese Treebank 5.0?是Linguistic Data Consortium (LDC)在2005年發(fā)布的中文句法樹庫，包含18,782條句子，語料主要來自新聞和雜志，如新華社日報(bào)。
DuCTB1.0:?Baidu Chinese Treebank1.0是百度構(gòu)建的中文句法樹庫，即本次所發(fā)布的依存句法分析工具-DDParser的訓(xùn)練數(shù)據(jù)來源，具體信息參見數(shù)據(jù)來源

注：由于CTB5數(shù)據(jù)集規(guī)模較小，最優(yōu)模型（即評測模型）使用了句子的word級表示、POS(詞性標(biāo)簽)表示、以及預(yù)訓(xùn)練詞向量，而DuCTB1.0數(shù)據(jù)集規(guī)模較大，其最優(yōu)模型僅使用了句子的word級和char級表示。

快速開始

版本依賴

python: >=3.6.0
paddlepaddle: 1.8.2
LAC: >=0.1.4

一鍵安裝

用戶可以使用以下方式進(jìn)行一鍵安裝及預(yù)測：

pip安裝 pip install ddparser
半自動安裝先從?https://pypi.org/project/ddparser/?下載包，解壓后使用python setup.py install安裝包。

功能使用

未分詞方式

代碼示例

已分詞方式

代碼示例

注：標(biāo)簽含義見依存句法分析標(biāo)注關(guān)系集合。

進(jìn)階使用

項(xiàng)目下載

用戶可以通過git clone https://github.com/baidu/DDParser下載源碼，并且執(zhí)行下列命令安裝依賴庫：

pip install --upgrade paddlepaddle-gpu
pip install --upgrade LAC

模型下載

我們發(fā)布了基于DuCTB1.0訓(xùn)練的模型，通過執(zhí)行cd ddparser && sh download_pretrained_model.sh下載模型，模型將保存在./ddparser/model_files/baidu下。

訓(xùn)練

用戶可以通過sh run_train.sh訓(xùn)練模型。詳細(xì)命令如下所示：

注：用戶可通過修改train_data_path,?valid_data_path和test_data_path指定訓(xùn)練集，評估集和測試集, 參數(shù)含義見參數(shù)說明，所用數(shù)據(jù)集格式見數(shù)據(jù)格式說明。

評估

用戶可以通過執(zhí)行sh download_data.sh下載我們提供的評估集，其將保存在./data/baidu/下。該評估集共2,592條句子，平均長度為11.27字符。
用戶可以通過執(zhí)行sh run_evaluate.sh評估模型效果，詳細(xì)命令如下所示：

注：用戶可通過修改test_data_path指定評估集,所用數(shù)據(jù)集格式見數(shù)據(jù)格式說明。

預(yù)測

基于源碼，我們提供兩種基于命令行的預(yù)測方法，分別用于已分詞數(shù)據(jù)和未分詞數(shù)據(jù)。

基于已分詞數(shù)據(jù)的預(yù)測

預(yù)測的輸入數(shù)據(jù)要求以CoNLL-X(官方說明)格式組織，缺失字段使用“-”代替。通過執(zhí)行sh run_predict.sh進(jìn)行預(yù)測，詳細(xì)命令如下所示：

注：用戶可通過修改infer_data_path和infer_result_path指定要預(yù)測的數(shù)據(jù)集和預(yù)測結(jié)果的路徑。

基于未分詞數(shù)據(jù)的預(yù)測
預(yù)測的輸入數(shù)據(jù)為字符串形式，一行一條數(shù)據(jù)。通過執(zhí)行sh run_predict_query.sh對來自標(biāo)準(zhǔn)輸入的數(shù)據(jù)進(jìn)行預(yù)測，詳細(xì)命令如下所示：