Subject: 	中日新聞IDチェック
	Date: 	2007年1月28日 13:38:29:JST

○○さん

大名です。

言語情報システム論の授業では，中日新聞記事データ集の記事のIDが重複していないかを
次のやり方でチェックしました。

$ perl -ne 'if (m/<KIJI kiji_no="(\d+)"/) { print "$1\n" }' /corpus/ChunichiShinbun/ChunichiOriginal/chunichi*.txt | sort | uniq -c | sort -r | more

もちろん，重複したものだけを出力するのなら，次のようにしてもオーケーです。(-cd なら回数も出力。)

$ perl -ne 'if (m/<KIJI kiji_no="(\d+)"/) { print "$1\n" }' /corpus/ChunichiShinbun/ChunichiOriginal/chunichi*.txt | sort | uniq -d | more

参考まで。

--
名古屋大学大学院国際開発研究科
国際コミュニケーション専攻
大名 力 (Tsutomu OHNA)