解决方案

【语料库】语料库资源汇总

seo靠我 2023-09-25 19:28:13

国内可用免费语料库(凡没有标注不可用的链接均可用)

(一) 国家语委

1国家语委现代汉语语料库 http://www.cncorpus.org/

现代汉语通用平衡语料库现在重新开放网络查询了。重开后的在线检SEO靠我索速度更快,功能更强,同时提供检索结果下载。现代汉语语料库在线提供免费检索的语料约2000万字,为分词和词性标注语料。

2古代汉语语料库 http://www.cncorpus.org/login.asSEO靠我px

网站现在还增加了一亿字的古代汉语生语料,研究古代汉语的也可以去查询和下载。同时,还提供了分词、词性标注软件、词频统计、字频统计软件,基于国家语委语料库的字频词频统计结果和发布的词表等,以供学习研究SEO靠我语言文字的老师同学使用。

 (二) 北京大学计算语言学研究所

1《人民日报》标注语料库 http://www.icl.pku.edu.cn/icl_res/

《人民日报》标注语料库中一半的语料(1998年上半SEO靠我年)共1300万字已经通过《人民日报》新闻信息中心公开提供许可使用权。其中一个月的语料(1998年1月)近200万字在互联网上公布,供自由下载。

(三) 北京语言大学

汉语国际教育技术研发中心:HSK动态SEO靠我作文语料库 http://202.112.195.192:8060/hsk/login.asp

语言研究所:北京口语语料查询系统(B J K Y) http://www.blcu.edu.cn/yys/SEO靠我6_beijing/6_beijing_chaxun.asp

(四)台湾中央研究院

中研院语料库WWW版所有功能均开放使用,但为防主机资源耗用过剧及顾及数据传输之实际限制,暂以检索结果为限制的条件:院内检SEO靠我索限两万行数据,院外检索限两千行数据。

1现代汉语平衡语料库 http://www.sinica.edu.tw/SinicaCorpus/

专门针对语言分析而设计的,每个文句都依词断开,并标示词类。语料的SEO靠我搜集也尽量做到现代汉语分配在不同的主题和语式上,是现代汉语无穷多的语句中一个代表性的样本。现有语料库主要针对语言分析而设计,由中央研究院信息所、语言所词库小组完成,内含有简介、使用说明,现行的语料库是SEO靠我4.0的版本。

2古汉语语料库 http://www.sinica.edu.tw/ftms-bin/ftmsw

古汉语语料库包含以下五个语料库: 上古汉语、中古汉语(含大藏经)、近代汉语、其他、出土文献。SEO靠我部分数据取自史语所汉籍全文数据库,故两者间略有重迭。此语料库之出土文献语料库,全部取自史语所汉简小组所制作的数据库。

3近代汉语标记语料库 http://www.sinica.edu.tw/Early_SEO靠我Mandarin/

为应汉语史研究需求而建构的语料库。目前素语料库所搜集的语料已含盖上古汉语(先秦至西汉)、中古汉语(东汉魏晋南北朝)、近代汉语(唐五代以后)大部分的重要语料,并己陆续开放使用;在标记语SEO靠我料库方面,上古汉语及近代汉语都已有部分语料完成标注的工作,并视结果逐步提供上线检索。

4树图数据库 http://treebank.sinica.edu.tw/

「中文句結構樹資料庫」(Sinica TrSEO靠我eebank Version 3.0) 包含了6個檔案,61,087個中文樹圖,361,834個詞,是中央研究院詞庫小組從中央研究院平衡語料庫 (Sinica Corpus) 中抽取句子,經由電腦剖析SEO靠我成結構樹,並加以人工修正、檢驗後所得的成果。在中文句結構樹中,我們標示了中文句語意和語法的訊息。此一「中文句結構樹資料庫」目前開放網上檢索及資料移轉,以供學者專家在中文句法、語意關係研究參考之用。另有SEO靠我1000個句結構樹開放下載。

5中英双语知识本体词网 http://bow.sinica.edu.tw/

结合词网,知识本体,与领域标记的词汇知识库。

6搜文解字 http://words.sinica.eSEO靠我du.tw/

包含「搜词寻字」、「文学之美」、「游戏解惑」、「古文字的世界」四个单元,可由部件、部首、字、音、词互查,并可查询在四书、老、庄、唐诗中的出处,及直接连结到出处,阅读原文。

7文国寻宝记 htSEO靠我tp://www.sinica.edu.tw/wen/

在搜文解字的基础之上,以华语文学习者为对象,进一步将字、词、音的检索功能与国编、华康、南一等三种版本的国小国语课本结合,与唐诗三百首、宋词三百首、SEO靠我红楼梦、水浒传等文学典籍结合,提供网络上国语文学习的素材。

8唐诗三百首 http://cls.admin.yzu.edu.tw/300/

以国中、小学学生为主要使用对象,提供吟唱、绘画、书法等多媒体数据SEO靠我,文字数据报含作者生平、读音标注、翻译、批注、评注、典故出处等资料;检索点包含作者、诗题、诗句、综合资料、体裁分类等;检索结果可以列出全文,并选择标示相关之文字及多媒体数据。并提供了一套可以自动检查格SEO靠我律、韵脚、批改的「依韵入诗格律自动检测索引教学系统」,协助孩子们依韵作诗,协助教师批改习作。

9汉籍电子文献 http://www.sinica.edu.tw/~tdbproj/handy1/

包含整部2SEO靠我5史 整部阮刻13经、超过2000万字的台湾史料、1000万字的大正藏以及其他典籍。

10红楼梦网络教学研究数据中心 http://cls.hs.yzu.edu.tw/HLM/home.htm

元智大学中SEO靠我国文学网络系统研究室所开发的「网络展书读—中国文学网络系统」,为研究中心负责人罗凤珠老师主持,红楼梦是其中一个子系统,其他还包括善本书、诗经、唐宋诗词、作诗填词等子系统。此网站为国内Internet最SEO靠我大中国文学研究数据库,提供用户最完整的中国文学研究数据。

(五)中国传媒大学

1中国传媒大学文本语料库检索系统

http://ling.cuc.edu.cn/RawPub/

2在线分词标注系统

http://lSEO靠我ing.cuc.edu.cn/cucseg/

3新词语研究资源库

http://ling.cuc.edu.cn/newword/web/index.asp

4音视频语料检索系统

http://ling.cucSEO靠我.edu.cn/mmcpub(目前系统正在升级改造中)

(六)哈尔滨工业大学

1哈工大信息检索研究室对外共享语料库资源 http://ir.hit.edu.cn/demo/ltp/Sharing_PlanSEO靠我.htm

该语料库为汉英双语语料库,10万对齐双语句对,文本文件格式,同义词词林扩展版,77,343条词语,秉承《同义词词林》的编撰风格,同时采用五级编码体系,多文档自动文摘语料库,40个主题,文本文件SEO靠我格式,同一主题下是同一事件的不同报道,汉语依存树库,不带关系5万句,带关系1万句,LTML化,分词、词性、句法部分人工标注,可以图形化查看,问答系统问题集,6264句,已标注问题类型,LTML化,分词SEO靠我、词性、句法、词义、浅层语义等程序处理得到,单文档自动文摘语料库,211篇,分不同体裁,LTML化,文摘句标注,分词、词性、句法、词义、浅层语义、文本分类、指代消解等程序处理得到。

(七)清华大学

汉语均SEO靠我衡语料库TH-ACorpus: http://www.lits.tsinghua.edu.cn/ainlp/source.htm(似乎在改版,一直上不去)

(八)香港教育学院

语言资讯科学中心及其语料库实SEO靠我验室 http://www.livac.org/index.php?lang=sc

自1995年开始,以「共时」方式处理了超常的大量汉语语料,通过精密的技术,累积众多精确的统计数据,建立了LIVAC (SEO靠我Linguistic Variation in Chinese Speech Communities)共时语料库。本语料库最大特点是采用「共时性」视窗模式,严谨地定时分别收集来自多地的定量同类语料,可SEO靠我供各种客观的比较研究,方便有关的信息科技发展与应用。此外,语料库又兼顾了「历时性」,方便各方人士客观地观察与研究视窗内的有代表性的语言发展全面动态。

(九)中国科学院计算技术研究所

跨语言语料库 httpSEO靠我://mtgroup.ict.ac.cn/new/resource/index.php(目前不可用,不知道是否在升级)

目前的双语句对数据库中有约180,000对已对齐的中英文句子。 本数据库支持简单的SEO靠我中英文查询服务。 查询结果包括句对编号、中文句子、英文句子、句对来源。

(十)中文语言资源联盟

中文语言资源联盟 http://www.chineseldc.org/

(Chinese LinguisticSEO靠我 Data Consortium,简称ChineseLDC)的建立。ChineseLDC是吸收国内高等院校,科研机构和公司参加的开放式语言资源联盟。其目的是建成能代表当今中文信息处理水平的,通用的中文SEO靠我语言信息知识库。ChineseLDC 将建设和收集中文信息处理所需要的各种语言资源,包括词典,语料库,数据,工具等。在建立和收集语言资源的基础上,分发资源,促成统一的标准和规范,推荐给用户,并且针对中SEO靠我文信息处理领域的关键技术建立评测机制,为中文信息处理的基础研究和应用开发提供支持。(之所以排名这么后,是因为是国家出钱的项目,却没有什么免费资源。)

国外语料库资源(链接皆可用,内有语料库简介,会持续更SEO靠我新,最新更新日期11-05-10)

1. 杨百翰大学

杨百翰大学语料库 http://view.byu.edu/杨百翰大学的Mark Davies教授开发的语料库统一检索平台,整合了美国当代英语语料库、美SEO靠我国历史英语语料库、美国时代杂志语料库、BNC、西班牙语料库、葡萄牙语料库等6个语料库的资源。该网站每月有60,000人的使用量,也许是目前最广泛使用的网络语料库。

2. 联合国官方资料库

联合国文件数据库SEO靠我(提供80万份六种语言平行文档) http://documents.un.org/simple.asp

本文件系统包括了1993年以来联合国印发的所有正式文件。不过,联合国的早期文件也逐日添加到本系统。SEO靠我本文件系统也提供从1946年以来联合国大会、安全理事会、经济及社会理事会和托管理事会通过的所有决议。本系统不提供新闻稿、联合国出版物、联合国条约汇编或新闻部印发的新闻材料。由日本捐赠的3万多份数字化文SEO靠我件已被增添进正式文件系统。

3. 兰开斯特大学

兰开斯特汉语语料库 (LCMC) http://ota.oucs.ox.ac.uk/scripts/download.php?otaid=2474

应学术界对SEO靠我免费对公众开放的平衡的现代汉语语料库的需求的情况下筹建的。 LCMC 语料库是由兰开斯特大学语言学系承担的并得到英国经社研究委员会资助(项目代号:RES-000-220135)的研究项目。 LCMC语SEO靠我料库是与 Freiburg-LOB Corpus of British English (即FLOB)平行对应的汉语语料库,它有助于我们从事汉语的单语和英汉双语的对比研究。通过该网址可以免费索取LCMSEO靠我C预料用于研究之用。 http://ota.oucs.ox.ac.uk/scripts/download.php?otaid=2474

4. 语言开放典藏社群(OLAC)

OLAC(Open LanguaSEO靠我ge Archives Community) http://search.language-archives.org/index.html语言开放典藏社群是由个人或组织所组成的国际性合作协会。许多种类SEO靠我的协会需要语言资源,如:语言学家、工程师、教师、演说家,也有许多机构提供片段性的架构,如:文件管理器、软件开发者和出版者。理论上,用户希望透过单一接口便可以取得任何需要的资源,其中资源种类涵盖:①资料SEO靠我(Data):任何描述语言的相关信息;②工具(Tool):有助于创造、浏览、查询或使用语言数据的计算器资源;③建议(Advice):譬如,告知使用者什么资源具有高可靠度?在此情境中哪一种工具适合采用?SEO靠我当新的数据衍生出时该如何创造?但实际上,却有着语言资源散布在不同的网站、使用者无法得到想要的资源、语言资源在不同网站拥有不同名字(Name)造成召回率(recallrate)低,在其他领域有相同意义,SEO靠我造成正确率低(precision rate)、许多语言资源并非以文字为基础、不确定是否有建议适当软件,以及所提出的建议是否中肯…等问题。OLAC由此诞生。藉由下列步骤进行创造世界性语言资源的虚拟图书馆SEO靠我:针对语言资源数字典藏发展一致性的实践指引;发展网络上具有互操作性且提供存取相关语言资源的储存器(Repositories)和服务中心。简介可以参看 http://140.109.18.114/bloSEO靠我g/?p=1049

5. SKETCHENGINE多语言语料库

www.sketchengine.co.uk

每个邮箱可以注册一次,免费期是一个月,免费期过了就再注册一个邮箱,再注册一次。其中汉语语料库是没SEO靠我有加工的生语料库,使用价值不大。关键是其中的英语语料库实际上是原来要付费才能使用的BNC,可以好好利用。

6. COCA———美国当代英语语料库(Corpus of Contemporary A2merSEO靠我ican English)

http://www.americancorpus.org/

由美国B righam Young University的M ark Davies教授开发的高达3.6亿词汇的美国SEO靠我最新当代英语语料库,是当今世界上最大的英语平衡语料库。与其它语料库不同的是它是免费在线供大家使用,给全世界英语学习者带来了福音,是不可多得的一个英语学习宝库,也是观察美国英语使用和变化的一个绝佳窗口。SEO靠我

(以上来自: http://blog.sina.com.cn/gjxyxkgy)

国内外语料库建设一览

北京大学语言信息工程系捷译双语语料库Web对齐工具(自动+手动)开放注册

访问地址在 http://aSEO靠我ligner.pkucat.com

文档: http://aligner.pkucat.net/doc/html/

如果有需要者可以给 yjs@pkucat.com 老师写信申请,说明身份和理由即可。

htSEO靠我tp://bbs.pkucat.com/modcp.php?action=moderate&op=members

已证实可用的英汉平行语料库(部分)

--TEC

http://www.umist.ac.ukSEO靠我/ctis/research/research-overview.htm

翻译语料库方面则以英国曼彻斯特大学科技学院(UMIST) 翻译研究中心1995年创建的世界上第一个翻译语料库( TranslatSEO靠我ional EnglishCorpus , TEC) 最为著名。该语料库主要收集从各国语言翻译成英语的文本,目前已有上千万词的语料(目标是5 千万词) ,分小说(约占80 %) 传记、报纸和期刊4 个SEO靠我子库。它并不要求必须双语对齐。

该库不仅对语料进行了附码标注,还带有许多超语言信息的标注,如对译者情况(包括译者姓名、性别、民族、职业、翻译方向等) 、翻译方式、翻译类型、源语、原书情况、出版社等等均一SEO靠我一予以标注。

--北大双语语料库

北大计算语言学研究所的双语语料库,英汉对齐的句子已有5万多对,并开发了相应的对齐工具和双语语料库管理软件。正在此基础上做汉英对照短语库,预计规模将达数十万条。

--中英双语SEO靠我在线(CEO)测试开通

网址为 http://www.fleric.org.cn/ceo/

--紅樓夢漢英平行語料庫

http://score.crpp.nie.edu.sg/hlm/index.htm

--SEO靠我 The Babel English-Chinese Parallel Corpus

http://www.lancs.ac.uk/fass/projects...abel/babel.htm

The BSEO靠我abel English-Chinese Parallel Corpus,which was created on our research project Contrasting English aSEO靠我nd Chinese (ESRC Award Reference RES-000-23-0553),consists of 327 English articles and their translaSEO靠我tions in Mandarin Chinese. Of these 115 texts (121,493 English tokens plus 135,493 Chinese tokens) wSEO靠我ere collected from the World of English between October 2000 and February 2001 while the remaining 2SEO靠我12 texts (132,140 English tokens plus 151,969 Chinese tokens) were collected from Time from SeptembeSEO靠我r 2000 to January 2001. The corpus contains a total of 544,095 words (253,633 English words and 287,SEO靠我462 Chinese tokens). Here is a list of the titles of the articles included in the corpus.

The corpus SEO靠我is tagged for part of speech and aligned at the sentence level. The English texts were tagged using SEO靠我the CLAWS C7 tagset while Chinese texts were tagged using the Peking University tagset. Sentence aliSEO靠我gnment was done automatically and corrected by hand. The corpus is also marked for paragraph and senSEO靠我tence. But different markup systems were adopted for the two subcorpora. For the component of the WoSEO靠我rld of English, sentences were marked consecutively throughout whereas for Time, sentences were markSEO靠我ed within each paragraph.

The Babel parallel corpus can be accessed via the ParaConc Web or MySql intSEO靠我erface (both hosted at The Institute of Education, Singapore). Users can search in either English orSEO靠我 Chinese texts. The concordancer returns matched whole sentences and their translations as well as tSEO靠我he their locations. At the bottom of the resulting concordance page is a query report that indicate SEO靠我the query strings and distribution of matches. Users can also specify the format the output concordaSEO靠我nces as POS-tagged or plain texts.

--上海交通大学语言工程研究所目前有JDEST,LOB,BROWN,CLEC四个语料库共计700万词可供网上检索, 并可以对检索和统SEO靠我计数据结果下载.

http://corpus.sjtu.edu.cn/WebCast/

--The Translational English Corpus (TEC)

http://www.llc.manSEO靠我chester.ac.uk/ctis/research/english-corpus/

http://ronaldo.cs.tcd.ie/tec/jnlp/

--English Chinese ParalSEO靠我lel Concordancer (E-C Concord)

The Hong Kong Institute of Education.

Project leader: Dr. Wang Lixun. PSEO靠我rogram designers: Chris Greaves, Wang Lixun

http://ec-concord.ied.edu.hk/paraconc/index.htm

--AcademiaSEO靠我 Sinica Balanced Corpus of Modern Chinese 中央研究院现代汉语平衡语料库

http://www.sinica.edu.tw/SinicaCorpus/

--LancSEO靠我aster Corpus of Mandarin Chinese

http://bowland-files.lancs.ac.uk/cor...gi-bin/conc.pl

may be changed SEO靠我to

http://www.lancs.ac.uk/fass/projects/corpus/LCMC/

--Peoples Daily 2000 corpus

some related informatiSEO靠我on here

http://www.lancs.ac.uk/fass/projects/corpus/pdc2000/default.htm

--A Parallel Corpus of ChineseSEO靠我 Legal Texts 中國法律文件漢英平行語料庫

http://score.crpp.nie.edu.sg/law/index.htm

--语料库语言学与英语教育教学。华南师范大学外国语言文化学院语料SEO靠我库语言学研究室

http://sfs.scnu.edu.cn/corpus4u/default.aspx

语料库工具

http://www.fleric.org.cn/crg/tools.htm 北外语料库SEO靠我语言学沙龙

Beiwai Corpus Research Group (CRG)

Corpus tools developed by group members

Chi-square and loglikeSEO靠我lihood Calculator, (卡方检验和对数似然率计算工具)

TreeTagger for Windows, (语料库词性标注工具TreeTagger的Windows界面)

ColligatorSEO靠我 1.0 & 2.0, (语料库类联接分析工具)

PatternBuilder 1.0, (赋码语料库检索辅助工具)

The Edinburgh Associative Thesaurus (EAT) fSEO靠我or Windows,(爱丁堡联想词库Windows查询工具)

Wordlist Tools 1.0 Beta,(词表分析工具)

My Good Old Blackboard,(我的电子黑板)

BFSU SSEO靠我tanford Parser 1.0,(英文自动句法分析工具)。

BFSU Stanford POS Tagger 1.0,(英文自动词性赋码工具)。

BFSU Sentence Collector 1.SEO靠我0,(例句提取工具)。

BFSU NewWord Marker 1.0,(生词标注工具)。

BFSU Sentence Segmenter 1.0,(英文自动分句工具)。

Web Colligator。

CoSEO靠我llocator 1.0: A collocation extraction tool,(搭配分析工具)。

Log-likelihood ratio calculator,(对数似然率计算器)。

ReadSEO靠我ability Analyzer 1.0 ,(英文文本可读性分析工具)。

Other free corpus tools

AntConc: A free concordancer(跟WordSmith主要SEO靠我功能接近的语料库索引工具)

Range: Vocabulary coverage tools(基于底表的分级词汇测量工具)

语料库检索软件Paraconc 和Multiconcord:

Paraconc由BSEO靠我arlow制作(该软件的演示版可在网上下载),该软件的特点是可以进行多达四种语言的同时检索,或者是一个原文的三个译本的检索。这一软件的特点是可以灵活定义语言、索引行的大小、标注符号的隐显,而且支持通配SEO靠我符检索。

Multiconcord也是一个在Windows窗口下运行的软件。这种软件和Paraconc在检索功能上相似,但检索结果在呈现方式上不同。另外,Paraconc可以检索纯文本格式的文件;MulSEO靠我ticoncord 则需要一个Minimark 程序来最低程度地标记文本,如< p > (段落) 和< s > (句子)。

转自: http://www.douban.com/note/26908172SEO靠我4/
“SEO靠我”的新闻页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与 我们联系删除或处理,客服邮箱:html5sh@163.com,稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同 其观点或证实其内容的真实性。

网站备案号:浙ICP备17034767号-2