Частотность и современный японский язык
Друзья, как вы думаете, как часто употребляются те либо иные японские слова в интернете? Наверное, человек 人 одно из самых распространенных слов.
У меня возникла идея, что если взять всю японскую википедию и вычленить из нее все слова, а также посчитать кол-во повторений этих слов (см. Частотность), отсортировать полученный результат по убыванию, то сверху вниз пойдут самые употребимые слова по направлению к самым неупотребимым. Из этих слов можно составить неплохой электронный словарь. К сожалению, чтобы это реализовать, необходимы навыки парсинга интернет страниц, которых у меня нет.
Кстати, я посчитал частотность иероглифов на основании электронного словаря Warodai (около 125000 слов). Вот первые сто иероглифов в порядке убывания.
[Spoiler (click to open)]
人
2074
一
1981
者
1581
大
1574
子
1549
物
1466
出
1395
合
1384
手
1342
学
1336
気
1266
生
1239
上
1198
行
1168
無
1141
日
1129
金
1113
性
1107
国
1096
法
1095
分
1074
文
1047
地
1043
中
1032
付
1022
水
1011
事
1002
理
999
不
996
会
990
目
975
言
970
入
967
的
959
書
950
動
940
立
933
下
924
取
924
本
902
化
895
数
893
体
892
力
846
間
845
機
844
主
841
御
838
た
830
業
823
用
816
心
815
小
812
自
787
切
786
時
774
定
772
家
756
所
751
天
739
見
739
通
739
電
711
外
688
方
688
三
683
名
682
口
679
内
675
引
675
々
663
道
663
年
654
代
653
長
652
語
650
高
644
字
626
前
619
神
619
部
615
木
610
作
608
色
606
形
601
度
597
二
592
信
586
食
585
有
583
発
581
線
579
義
578
実
570
場
565
回
564
戦
558
面
555
同
553
山
553
У меня возникла идея, что если взять всю японскую википедию и вычленить из нее все слова, а также посчитать кол-во повторений этих слов (см. Частотность), отсортировать полученный результат по убыванию, то сверху вниз пойдут самые употребимые слова по направлению к самым неупотребимым. Из этих слов можно составить неплохой электронный словарь. К сожалению, чтобы это реализовать, необходимы навыки парсинга интернет страниц, которых у меня нет.
Кстати, я посчитал частотность иероглифов на основании электронного словаря Warodai (около 125000 слов). Вот первые сто иероглифов в порядке убывания.
[Spoiler (click to open)]
人
2074
一
1981
者
1581
大
1574
子
1549
物
1466
出
1395
合
1384
手
1342
学
1336
気
1266
生
1239
上
1198
行
1168
無
1141
日
1129
金
1113
性
1107
国
1096
法
1095
分
1074
文
1047
地
1043
中
1032
付
1022
水
1011
事
1002
理
999
不
996
会
990
目
975
言
970
入
967
的
959
書
950
動
940
立
933
下
924
取
924
本
902
化
895
数
893
体
892
力
846
間
845
機
844
主
841
御
838
た
830
業
823
用
816
心
815
小
812
自
787
切
786
時
774
定
772
家
756
所
751
天
739
見
739
通
739
電
711
外
688
方
688
三
683
名
682
口
679
内
675
引
675
々
663
道
663
年
654
代
653
長
652
語
650
高
644
字
626
前
619
神
619
部
615
木
610
作
608
色
606
形
601
度
597
二
592
信
586
食
585
有
583
発
581
線
579
義
578
実
570
場
565
回
564
戦
558
面
555
同
553
山
553