最新汉字字、词频度统计（2003新字频）
发布时间：2019-06-08 15:56:28 所属栏目：编程 来源：蓝点
导读：> 作者：福建双笔码软件开拓有限公司 胡小山、张清财 汉字字、词频度统计是中文信息化重要内容之一，统计的精确率很洪流平上取决于所选择的汉字语料和语料发生期间以及语料总量；本文陈诉作者从467,355,735字今世语料中对GB13000.1字符集20902字和近60000条
|
> 作者：福建双笔码软件开拓有限公司 胡小山、张清财 汉字字、词频度统计是中文信息化重要内容之一，统计的精确率很洪流平上取决于所选择的汉字语料和语料发生期间以及语料总量；本文陈诉作者从467,355,735字今世语料中对GB13000.1字符集20902字和近60000条简体词语举办了畅通频度统计，可以嗣魅这是当前最具行使代价的汉字字、词频度统计。 一、语料组成 总字数：467,355,735字。 1、 1999年至2003年4月报刊文摘、政经事势、科学技能：375，689，126字，占80.4％。 2、 当代文学：91，666，609字，占19.6％。 二、字频轮廓 ⒈ 在以上语料中，总共用到的汉字为10647个，扣除繁体字1038个，共用简体字9609个，在GB 13000.1字符集20902字中有10255个不曾呈现。 ⒉ 与1988年国度语委发布的字频表较量，与青玉轮畅通字频表较量，字频有较大的涨落，表1为30个高频字的频度较量。 表1：30个高频字的频度较量表      从上表举办说明： 个中：“的、一、了、是、在、人、不、有、中、大、国、上、这、和、以、个、为、地”这18个字，三家统计均在前30呈现，位置略有差异。 个中：“我、他、到、来、时”这5个字，2003新字频和语委字频均在前30呈现，青玉轮字频未在前30呈现。 个中：“年、出、会、生、要、发”这6个字，2003新字频和青玉轮字频均在前30呈现，语委字频未在前30呈现。 个中：2003新字频有1个字“市(28)”在前30中独占；语委字频有7个字“们(34)、说(37)、全(72)、小(65)、子(50)、可(53)、就(45)” 在其前30中独占；青玉轮字频有6个字“用(67)、作(41)、学(69)、成(44)、行(32)、对(33)” 在其前30中独占。括弧中数字为在新字频中的位置。 以上可以得出结论；语委频度因为完成时刻为1988年，同当前较量有所毛病；青玉轮频度因为选用语料题目以及语料总量不敷，因此也有较大毛病。 三、词频环境 1.词汇选择原则：二字词选择频度100以上，计30000条；三字词选择频度30以上，计6000条；四字词选择频度10以上，计16000条；多字词选择频度5以上，计8000条。 2.原国标词库44791条中有489条不切合上述前提，个中268条频度为0，如故保存。 3.二字常用词前30个  4.三字常用词前30个  5.四字常用词前30个  6.多字常用词前30个  本字、词频度已经应用于汉字双笔码系列输入法软件，结果明显。 （编辑：河北网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
