feat(simplified): 字表擴充到 1006 字並補齊跳過清單
What:簡體字表由 102 字擴充到 1006 字;lang-guard.sh 的跳過清單補上 jsc-meta 的 references/ste100.md 與 tools/ste100-lint.sh。 Why:102 字的舊表覆蓋率太低——拿 21 個常見簡體詞實測只抓到 4 個,「简体字」 「举办」「觉得」「战争」「医药」這類全部漏掉,規則等於形同虛設。跳過清單則是 對稱性問題:規則文件與機檢工具本身會列舉簡體字當範例,不跳過就每次先抓到自己。 How:字表逐字檢查「簡化後才出現的字形」,剔除正體也在用的字(后、台、干、只、 里、面、制、志、出、斗、丑、了、卷、咸、云、留、言、短、困、陷、游、封、吞), 再拿 jsc 全部 11 個存取庫共 221 個檔案的既有正體中文語料回歸驗證,誤報為零。 檔頭寫明排除原則與「改完必須拿語料重驗」的要求。跳過清單比照 ste100-lint.sh 的做法。 Who:非程式碼輸出的繁中無亂碼檢查。
This commit is contained in:
@@ -98,6 +98,8 @@ scan_file() { # $1=檔案路徑;命中就把報告印到 stdout 並回傳 1,
|
|||||||
*/simplified.txt|simplified.txt) return 0 ;;
|
*/simplified.txt|simplified.txt) return 0 ;;
|
||||||
*/ste100-guard.sh|ste100-guard.sh) return 0 ;;
|
*/ste100-guard.sh|ste100-guard.sh) return 0 ;;
|
||||||
*/lang-guard.sh|lang-guard.sh) return 0 ;;
|
*/lang-guard.sh|lang-guard.sh) return 0 ;;
|
||||||
|
*/references/ste100.md|ste100.md) return 0 ;;
|
||||||
|
*/ste100-lint.sh|ste100-lint.sh) return 0 ;;
|
||||||
esac
|
esac
|
||||||
# 二進位檔跳過。只認 NUL 位元組——拿「非可列印字元」當判準會把所有含中文的檔案誤判成二進位。
|
# 二進位檔跳過。只認 NUL 位元組——拿「非可列印字元」當判準會把所有含中文的檔案誤判成二進位。
|
||||||
raw=$(head -c 1024 "$f" 2>/dev/null | wc -c)
|
raw=$(head -c 1024 "$f" 2>/dev/null | wc -c)
|
||||||
|
|||||||
+998
-88
File diff suppressed because it is too large
Load Diff
Reference in New Issue
Block a user