Awesome-Chinese-NLP

https://github.com/crownpku/Awesome-Chinese-NLP

Contents 列表

1.?Chinese NLP Toolkits 中文NLP工具

2.?Corpus 中文語料

3.?Organizations 中文NLP學術組織及競賽

4.?Industry 中文NLP商業服務

5.?Learning Materials 學習資料

Chinese NLP Toolkits 中文NLP工具

Toolkits 綜合NLP工具包

THULAC 中文詞法分析工具包?by 清華 (C++/Java/Python)

NLPIR?by 中科院 (Java)

LTP 語言技術平臺?by 哈工大 (C++)?pylyp?LTP的python封裝

FudanNLP?by 復旦 (Java)

BaiduLac?by 百度 Baidu's open-source lexical analysis tool for Chinese, including word segmentation, part-of-speech tagging & named entity recognition.

HanLP?(Java)

SnowNLP?(Python) Python library for processing Chinese text

YaYaNLP?(Python) 純python編寫的中文自然語言處理包，取名于“牙牙學語”

小明NLP?(Python) 輕量級中文自然語言處理工具

DeepNLP?(Python) Deep Learning NLP Pipeline implemented on Tensorflow with pretrained Chinese models.

chinese_nlp?(C++ & Python) Chinese Natural Language Processing tools and examples

Chinese-Annotator?(Python) Annotator for Chinese Text Corpus 中文文本標注工具

Poplar?(Typescript) A web-based annotation tool for natural language processing (NLP)

Popular NLP Toolkits for English/Multi-Language 常用的英文或支持多語言的NLP工具包

CoreNLP?by Stanford (Java) A Java suite of core NLP tools.

NLTK?(Python) Natural Language Toolkit

spaCy?(Python) Industrial-Strength Natural Language Processing

textacy?(Python) NLP, before and after spaCy

OpenNLP?(Java) A machine learning based toolkit for the processing of natural language text.

gensim?(Python) Gensim is a Python library for topic modelling, document indexing and similarity retrieval with large corpora.

Chinese Word Segment 中文分詞

Jieba 結巴中文分詞?(Python及大量其它編程語言衍生) 做最好的 Python 中文分詞組件

kcws 深度學習中文分詞?(Python) BiLSTM+CRF與IDCNN+CRF

ID-CNN-CWS?(Python) Iterated Dilated Convolutions for Chinese Word Segmentation

Genius 中文分詞?(Python) Genius是一個開源的python中文分詞組件，采用 CRF(Conditional Random Field)條件隨機場算法。

loso 中文分詞?(Python)

yaha "啞哈"中文分詞?(Python)

ChineseWordSegmentation?(Python) Chinese word segmentation algorithm without corpus（無需語料庫的中文分詞）

Information Extraction 信息提取

MITIE?(C++) library and tools for information extraction

Duckling?(Haskell) Language, engine, and tooling for expressing, testing, and evaluating composable language rules on input strings.

IEPY?(Python) IEPY is an open source tool for Information Extraction focused on Relation Extraction.

Snorkel?A training data creation and management system focused on information extraction

Neural Relation Extraction implemented with LSTM in TensorFlow

A neural network model for Chinese named entity recognition

Information-Extraction-Chinese?Chinese Named Entity Recognition with IDCNN/biLSTM+CRF, and Relation Extraction with biGRU+2ATT 中文實體識別與關系提取

Familia?百度出品的 A Toolkit for Industrial Topic Modeling

Text Classification?All kinds of text classificaiton models and more with deep learning. 用知乎問答語聊作為測試數據。

QA & Chatbot 問答和聊天機器人

Rasa NLU?(Python) turn natural language into structured data, a Chinese fork at?Rasa NLU Chi

Rasa Core?(Python) machine learning based dialogue engine for conversational software

Snips NLU?(Python) Snips NLU is a Python library that allows to parse sentences written in natural language and extracts structured information.

DeepPavlov?(Python) An open source library for building end-to-end dialog systems and training chatbots.

ChatScript?Natural Language tool/dialog manager, a rule-based chatbot engine.

Chatterbot?(Python) ChatterBot is a machine learning, conversational dialog engine for creating chat bots.

Chatbot?(Python) 基於向量匹配的情境式聊天機器人

Tipask?(PHP) 一款開放源碼的PHP問答系統，基于Laravel框架開發，容易擴展，具有強大的負載能力和穩定性。

QuestionAnsweringSystem?(Java) 一個Java實現的人機問答系統，能夠自動分析問題并給出候選答案。

QA-Snake?(Python) 基于多搜索引擎和深度學習技術的自動問答

使用TensorFlow實現的Sequence to Sequence的聊天機器人模型?(Python)

使用深度學習算法實現的中文閱讀理解問答系統?(Python)

DuReader中文閱讀理解Baseline代碼?(Python)

基于SmartQQ的自動機器人框架?(Python)

QASystemOnMedicalKG?(Python) 以疾病為中心的一定規模醫藥領域知識圖譜，并以該知識圖譜完成自動問答與分析服務。

Corpus 中文語料

開放知識圖譜OpenKG.cn

開放中文知識圖譜的schema

大規模中文概念圖譜CN-Probase?公眾號介紹

農業知識圖譜?農業領域的信息檢索，命名實體識別，關系抽取，分類樹構建，數據挖掘

CLDC中文語言資源聯盟

中文 Wikipedia Dump

98年人民日報詞性標注庫@百度盤

搜狗20061127新聞語料(包含分類)@百度盤

UDChinese?(for training spaCy POS)

中文word2vec模型

上百種預訓練中文詞向量

Synonyms:中文近義詞工具包?基于維基百科中文和word2vec訓練的近義詞庫，封裝為python包文件。

Chinese_conversation_sentiment?A Chinese sentiment dataset may be useful for sentiment analysis.

中文突發事件語料庫?Chinese Emergency Corpus

dgk_lost_conv 中文對白語料?chinese conversation corpus

用于訓練中英文對話系統的語料庫?Datasets for Training Chatbot System

八卦版問答中文語料

中國股市公告信息爬取?通過python腳本從巨潮網絡的服務器獲取中國股市（sz,sh）的公告(上市公司和監管機構)

tushare財經數據接口?TuShare是一個免費、開源的python財經數據接口包。

保險行業語料庫?[52nlp介紹Blog] OpenData in insurance area for Machine Learning Tasks

最全中華古詩詞數據庫?唐宋兩朝近一萬四千古詩人, 接近5.5萬首唐詩加26萬宋詩. 兩宋時期1564位詞人，21050首詞。

DuReader中文閱讀理解數據

中文語料小數據?包含了中文命名實體識別、中文關系識別、中文閱讀理解等一些小量數據

中文人名語料庫?中文姓名,姓氏,名字,稱呼,日本人名,翻譯人名,英文人名。

中文敏感詞詞庫?敏感詞過濾的幾種實現+某1w詞敏感詞庫

中文簡稱詞庫?A corpus of Chinese abbreviation, including negative full forms.

中文數據預處理材料?中文分詞詞典和中文停用詞

漢語拆字字典

SentiBridge: 中文實體情感知識庫?刻畫人們如何描述某個實體，包含新聞、旅游、餐飲，共計30萬對。

OpenCorpus?A collection of freely available (Chinese) corpora.

Organizations 中文NLP學術組織及競賽

清華大學自然語言處理與人文計算實驗室

北京大學計算語言學教育部重點實驗室

中科院計算所自然語言處理研究組

哈工大智能技術與自然語言處理實驗室

復旦大學自然語言處理組

蘇州大學自然語言處理組

南京大學自然語言處理研究組

東北大學自然語言處理實驗室

廈門大學智能科學與技術系自然語言處理實驗室

鄭州大學自然語言處理實驗室

微軟亞洲研究院自然語言處理

華為諾亞方舟實驗室

CUHK Text Mining Group

PolyU Social Media Mining Group

HKUST Human Language Technology Center

National Taiwan University NLP Lab

中國中文信息學會

NLP Conference Calender?Main conferences, journals, workshops and shared tasks in NLP community.

2017 第一屆“訊飛杯”中文機器閱讀理解評測

2017 AI-Challenger 圖像中文描述?用一句話描述給定圖像中的主要信息，挑戰中文語境下的圖像理解問題。

2017 AI-Challenger 英中機器文本翻譯?用大規模的數據，提升英中文本機器翻譯模型的能力。

2017 知乎看山杯機器學習挑戰賽?根據知乎給出的問題及話題標簽的綁定關系的訓練數據，訓練出對未標注數據自動標注的模型。

2018 開放領域的中文問答任務?對于給定的一句中文問題，問答系統從給定知識庫中選擇若干實體或屬性值作為該問題的答案。

2018 微眾銀行智能客服問句匹配大賽?針對中文的真實客服語料，進行問句意圖匹配；給定兩個語句，判定兩者意圖是否相近。

Industry 中文NLP商業服務

百度云NLP?提供業界領先的自然語言處理技術，提供優質文本處理及理解技術

阿里云NLP?為各類企業及開發者提供的用于文本分析及挖掘的核心工具

騰訊云NLP?基于并行計算、分布式爬蟲系統，結合獨特的語義分析技術，一站滿足NLP、轉碼、抽取、數據抓取等需求

訊飛開放平臺?以語音交互為核心的人工智能開放平臺

搜狗實驗室?分詞和詞性標注

玻森數據?上海玻森數據科技有限公司，專注中文語義分析技術

云孚科技?NLP工具包、知識圖譜、文本挖掘、對話系統、輿情分析等

智言科技?專注于深度學習和知識圖譜技術突破的人工智能公司

追一科技?主攻深度學習和自然語言處理

Learning Materials 學習資料

中文Deep Learning Book

Stanford CS224n Natural Language Processing with Deep Learning 2017

Oxford CS DeepNLP 2017

Speech and Language Processing?by Dan Jurafsky and James H. Martin

52nlp 我愛自然語言處理

hankcs 碼農場

文本處理實踐課資料?文本處理實踐課資料，包含文本特征提取（TF-IDF），文本分類，文本聚類，word2vec訓練詞向量及同義詞詞林中文詞語相似度計算、文檔自動摘要，信息抽取，情感分析與觀點挖掘等實驗。

nlp_tasks?Natural Language Processing Tasks and Selected References

自然語言處理 中文分詞

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。