Hướng dẫn Soát lỗi chính tả với phần mềm hỗ trợ

Soát lỗi chính tả chẳng có gì ghê gớm , chỉ việc đọc file văn bản sau OCR (bằng vFlat, Abbyy...), gặp lỗi thì sửa thôi . Tuy vậy, soát lỗi chính tả là công đoạn chiếm nhiều thời gian nhất, chiếm khoảng 80%-90% tổng thời gian làm ebook.
Hiện nay, vFlat cho kết quả OCR tương đối tốt, ít lỗi chính tả nhưng lại chưa hỗ trợ kiểu chữ nghiêng/đậm/chỉ số trên... cũng như chưa hỗ trợ xuất ra Heading. Abbyy thì ngược lại.
Mặc dù chất lượng OCR của Abbyy không tốt nhưng những lỗi sai chính tả cũng chỉ là sai hoặc thiếu về dấu câu/mũ (với nguyên âm) hoặc sai d-đ... nhìn chung đọc lên đa số nội dung vẫn hiểu được.
Kết hợp một số phần mềm có thể giúp giảm đáng kể tỷ lệ lỗi chính tả sau OCR của Abbyy.
Hiện tại, để xử lý sau OCR, mình sử dụng lần lượt 3 phần mềm theo thứ tự sau:
- Text Crawler: phải tự xây dựng "cơ sở dữ liệu"
- Sigil: dựa vào file từ điển Vietnamese.dic
- Google Docs: chỉ việc bấm Yes/No
Đương nhiên Google Docs hoạt động độc lập, nhưng nếu 2 phần mềm đầu tiên xử lý không tốt (còn nhiều lỗi chính tả) thì bấm Google Docs cũng khá là mỏi tay Soát lỗi bằng Text Crawler và soát lỗi bằng Sigil có chút phụ thuộc lẫn nhau.

Về mặt nào đó, phải làm một số (khá nhiều) thao tác chuẩn bị thì mới có thể soát lỗi bằng Text Crawler được và sau khi làm xong các thao tác chuẩn bị đó cũng coi như đóng gói sơ bộ ebook được rồi.
Bài viết gồm 8-9 mục nhỏ ứng với các công đoạn (sẽ post lần lượt bên dưới), các bạn quan tâm làm lần lượt theo thứ tự từng bước là được.

Các bước cụ thể:
I. Thiết lập ABBYY
II. Thiết lập file Word
III. Chuyển file Word thành file TXT
IV. Chỉnh sửa file TXT
V. Soát chính tả tự động bằng Text Crawler
VI. Liệt kê cụm từ có thể là lỗi chính tả (bằng Text Crawler)
VII. Sửa file final.docx trước khi copy vào Sigil
VIII. Soát chính tả trong Sigil
IX. Dự phòng

Mục I, II, III, IV là các thao tác chuẩn bị để "đánh dấu" các cụm từ có định dạng chữ nghiêng, chữ đậm trước khi chuyển file Word thành file text cho Text Crawler thay thế hàng loạt. Sau này khôi phục lại file Word sẽ khôi phục được luôn định dạng nghiêng/đậm (không bị "mất dấu" định dạng).

Mình sẽ lấy quyển "Ellie yêu dấu" của bạn Nga Hoàng làm ví dụ.
Link: Vui lòng đăng nhập hoặc đăng ký để xem link

2 file đính kèm bên dưới để thực hành.
file Word các bạn tự download file pdf ở link bên trên và OCR bằng Abbyy.

 

I. Thiết lập ABBYY
Recognise: English, Vietnamese
Lưu pdf: Save as Searchable PDF Document
Lưu file Word: Editable Copy
Đặt tên lần lượt là OCR Ellie.pdf và OCR Ellie.docx
Chi tiết như ảnh bên dưới

​

 

II. Thiết lập file Word
1. Dồn chú thích về cuối file
Vào Menu References, bấm mũi tên ở góc Footnotes, hiện ra bảng thì bấm vào Endnotes: End of Document
Ở mục Number Format, chọn 1, 2, 3, …
Ở mục Apply changes to: chọn Whole document
Sau đó bấm Convert...
Toàn bộ chú thích sẽ được đánh số 1, 2, 3, … và nội dung chú thích sẽ được dồn về cuối file Word. (Abbyy nhận dạng vẫn thiếu một vài chú thích, sau này làm chú thích vẫn phải soát lại để bổ sung)

Chi tiết xem video 01.mp4
Link: Vui lòng đăng nhập hoặc đăng ký để xem link

2. Thao tác chuẩn bị trong Word
B1: loại bỏ dấu “<”, dấu “>” và sửa dấu &
- dùng tính năng Search của Word, sửa chính tả các vị trí có dấu < và dấu >, nếu không phải lỗi chính tả thì thay dấu nhỏ hơn “<” bằng “&lt;” và thay dấu lớn hơn “>” bằng “&gt;”
- thay & bằng &amp;

B2 thay dấu phẩy đứng và dấu nháy kép dạng đứng bằng dấu dạng nghiêng
Find: '
Replace: ’
Find: "
Replace: ”

- thay dấu phẩy đứng ' bằng dấu phẩy nghiêng ’
- thay dấu nháy kép dạng đứng " bằng dấu nháy kép dạng nghiêng ”
- Chi tiết xem video 02.mp4
Link: Vui lòng đăng nhập hoặc đăng ký để xem link

B3 Loại bỏ line break và section break
Find: ^l hoặc ^b
Replace: ^p hoặc dấu cách
cái này không có quy luật, có thể bỏ qua

 

III. Chuyển file Word thành file TXT
1. Thêm hàng loạt thẻ p, i, b vào file Word
Thêm hàng loạt thẻ p
Find: ^p
Replace: </p>^&<p>
Bấm tổ hợp phím Ctrl B 2 lần và bấm tổ hợp phím Ctrl I 2 lần
Bấm Replace All

Thêm hàng loạt thẻ i
Find: (Bấm tổ hợp phím Ctrl I)
Replace: <i>^&</i>
Bấm Replace All

Thêm hàng loạt thẻ b
(có thể bỏ qua vì Heading trong file epub mặc định là kiểu Bold)
Find: (Bấm tổ hợp phím CtrlB)
Replace: <b>^&</b>
Bấm Replace All

Chi tiết xem video 03.mp4
Link: Vui lòng đăng nhập hoặc đăng ký để xem link

2. Tạo file TXT
Mục đích của bước này là tạo file txt từ file word đã được xử lý để giữ định dạng nghiêng, đậm
Trong Word bấm vào menu File, ở Save as Type chọn Plain Text, hiện ra bảng thì chọn Other Encoding rồi chọn Unicode.

Chi tiết xem video 04.mp4
Link: Vui lòng đăng nhập hoặc đăng ký để xem link

 

IV. Chỉnh sửa file TXT
Xóa hàng loạt <p></p> và xóa dòng kẻ ở cuối file
Chi tiết xem video 05.mp4
Link: Vui lòng đăng nhập hoặc đăng ký để xem link

 

V. Soát chính tả tự động bằng Text Crawler
- Chạy lần lượt theo thứ tự từ file Dict1-00.txt → Dict1-01.txt →… Dict1-04.txt → Dict2-01.txt → Dict2-02.txt →… Dict1-16.txt → Dict3-01.txt →… Dict4-01.txt →… → last.txt
- Với mỗi file, khi TextCrawler hiện bảng thông báo thì bấm Yes/OK (2 lần).
- Khi TextCrawler chạy xong sẽ liệt kê các lỗi chính tả (và đã được sửa lỗi), bấm phím F11 để mở rộng bảng liệt kê này để xem lại (có thể bỏ qua cho nhanh).
- Tắt TextCrawler, chọn No, không cần ghi lại gì hết.
- file kết quả đầu ra nằm trong thư mục Out, kéo nó và thả vào thư mục In để ghi đè lên file cũ (chọn Move và Replace) làm đầu vào cho lần soát chính tả tiếp theo.

- Chi tiết xem file 06.mp4
Link: Vui lòng đăng nhập hoặc đăng ký để xem link

Do "dữ liệu" tích lũy được lên tới hơn 16.000 từ/cụm từ, Text Crawler không tiếp nhận được lượng dữ liệu lớn như vậy nên phải chia ra thành nhiều file "dữ liệu", mỗi file chứa khoảng 800 từ/cụm từ để Text Crawler chạy thành nhiều lần. Lấy file đầu ra của lần trước làm file đầu vào cho lần sau. Mỗi lần chạy Text Crawler hết khoảng 2-5 phút tùy kích thước, độ dày của sách.
(Nếu có phần mềm nào có tính năng thay thế hàng loạt mà chấp nhận được "dữ liệu" lên đến 20.000 từ/cụm từ thì tốt quá, đỡ phải bấm nhiều lần )

- tham khảo cách sử dụng Text Crawler ở đây: Vui lòng đăng nhập hoặc đăng ký để xem link

 

VI. Liệt kê cụm từ có thể là lỗi chính tả (bằng Text Crawler)
Có nhiều cụm từ trong tiếng Việt mà hiểu thế nào cũng đúng, chỉ có thể xác định nó có phải lỗi chính tả hay không dựa vào ngữ cảnh xung quanh.
Ví dụ: "gọi lên" có thể hiểu là "gọi lên" cũng có thể hiểu là lỗi chính tả của từ "gợi lên".
Những cụm từ như vậy được tập hợp thành mấy file riêng, chỉ dùng để Text Crawler liệt kê ra chứ không thay thế tự động. Dựa vào bảng liệt kê của Text Crawler và ngữ cảnh xung quanh để quyết định nó có phải lỗi chính tả hay không mà sửa lỗi cho hợp lý.

B1
- file đầu ra “OCR Ellie.txt” ở thư mục Out sau khi chạy Text Crawler với dữ liệu “Last.txt” thì kéo thả vào thư mục In rồi chọn Move và Replace
- Mở file “OCR Ellie.txt” trong thư mục In, Select All, copy rồi paste vào file Word mới đặt tên là final.docx.
- Chi tiết xem file 07.mp4
- Link: Vui lòng đăng nhập hoặc đăng ký để xem link

B2
- chạy Text Crawler với file “dữ liệu” Temp-A1.txt, khi Text Crawler chạy xong, căn cứ vào bảng liệt kê để sửa lỗi chính tả trong file final.docx. Không phải cụm từ nào liệt kê cũng là lỗi chính tả.
- Chi tiết xem file 08.mp4
- Link: Vui lòng đăng nhập hoặc đăng ký để xem link

B3
- xóa file “OCR Ellie.txt” ở thư mục Out
- mở file “OCR Ellie.txt” ở thư mục In, Select All và xóa toàn bộ nội dung
- copy toàn bộ nội dung file final.docx và paste vào file “OCR Ellie.txt” ở thư mục In. Save và đóng file “OCR Ellie.txt” để chạy Text Crawler với file dữ liệu Temp-A2.txt
- Chi tiết xem file 09.mp4
- Link: Vui lòng đăng nhập hoặc đăng ký để xem link

B4
- xóa file “OCR Ellie.txt” ở thư mục Out
- mở file “OCR Ellie.txt” ở thư mục In, Select All và xóa toàn bộ nội dung
- copy toàn bộ nội dung file final.docx và paste vào file “OCR Ellie.txt” ở thư mục In. Save và đóng file “OCR Ellie.txt” để chạy Text Crawler với file dữ liệu “Temp B.txt”
(bước này giống B3 nên không có video minh họa)

Lưu ý:
- dùng Text Crawler để thay thế (chính tả) hàng loạt thì thay theo độ dài tăng dần: vần → từ đơn → cụm 2 từ đơn → cụm 3 từ đơn → cụm 4 từ đơn
- dùng Text Crawler để liệt kê các lỗi nghi ngờ là chính tả thì theo độ dài giảm dần: cụm từ → từ đơn

 

VII. Sửa file final.docx trước khi copy vào Sigil
- Cắt (cut) phần nội dung chú thích ở cuối file final.docx và paste vào file Word khác, đặt tên là gc.docx. Thêm hàng loạt thẻ p cho file gc.
- thêm <p> vào đầu file gc.docx và xóa <p></p><p> ở cuối file gc.docx
- Chi tiết xem file 10.mp4
- Link: Vui lòng đăng nhập hoặc đăng ký để xem link

 

VIII. Soát chính tả trong Sigil
- về đầu file file final.docx, xóa </p>
- trong thư mục In, double click vào file simple.epub
- copy toàn bộ nội dung file gc.docx rồi paste vào gc.xhtml của simple.epub (paste vào đoạn giữa <body> và </body>)
copy toàn bộ nội dung file final.docx rồi paste vào nd.xhtml của simple.epub (paste vào đoạn giữa <body> và </body>)

- để tăng tốc độ xử lý cho Sigil, tách file nd.xhtml của simple.epub thành 2 file nhỏ hơn: kéo con chạy đến khoảng giữa file nd.xhtml rồi bấm tổ hợp phím Ctrl Enter
- Bấm tổ hợp phím Alt Q, Sigil sẽ hiện ra một bảng liệt kê những từ có thể là lỗi chính tả, bấm vào các từ là lỗi chính tả rồi sửa
- nếu đoạn nào cần đối chiếu với bản scan thì copy rồi paste vào thanh Search trong file searchable pdf.
- Chi tiết xem video 11.mp4
- Link: Vui lòng đăng nhập hoặc đăng ký để xem link

- cài đặt từ điển chính tả cho Sigil: xem ở Vui lòng đăng nhập hoặc đăng ký để xem link

Soát xong lỗi chính tả trong Sigil thì dùng Calibre để chuyển đổi file simple.epub thành file Word, tiếp tục tách file word vừa được chuyển đổi thành 2 file và upload lên Google Drive để soát lỗi tiếp. (mỗi file khoảng 40.000-60.000 từ thì Google Docs xử lý sẽ nhanh)

Đến đây chỉ cần đánh dấu Heading, đánh dấu canh lề phải, canh lề giữa… và duyệt lại chú thích là có thể đóng gói ebook “chuyên nghiệp” được rồi.

 

Ban đầu không gắn <p> thì bước này đã đỡ phải xoá rồi cụ? Hay là có mục đích kỹ thuật cụ thể mong cụ giải đáp!

 

Sau khi soát lỗi tự động bằng Text Crawler sẽ giảm được khoảng một vài nghìn lỗi chính tả (1% đến 5% hoặc hơn tùy chất lượng bản scan), thời gian mất khoảng 60-120 phút. Trong khi Text Crawler soát lỗi tự động (từ file Dict1-00.txt đến last.txt) nên đọc hoặc soát lỗi ebook khác, thỉnh thoảng ngó lên bấm Yes/OK thôi, không phải canh làm gì

Tạm xong.

 

Với những văn bản có các khổ thơ định dạng nghiêng hoặc những văn bản có định dạng đậm/nghiêng ở cuối paragraph, phải thêm thẻ p ngay từ đầu và phải bấm tổ hợp phím Ctrl B 2 lần và bấm tổ hợp phím Ctrl I 2 lần (not bold, not italic) để chặn định dạng đậm và định dạng nghiêng ở 2 đầu paragraph, không cho nó nhảy sang paragraph khác, nếu sau này mới thêm thẻ p thì khi đóng gói sửa lỗi mệt nghỉ luôn (Sigil hoặc Calibre Editor cũng tự sửa được mà mình không thích lắm, với một số cụm từ có cả định dạng đậm và nghiêng nhiều khi nó không sửa được hoặc sai lung tung).

Đọc tiếp

Ví dụ như văn bản trong file đính kèm

Nói về hành trình âm nhạc của Trịnh Công Sơn, có người đã cho rằng hành trình của Trịnh là hành trình của “cát bụi lộng lẫy”. Như vậy, “cát bụi” đã trở thành một biểu trưng trong ca từ Trịnh Công Sơn, là sự hóa thân của kiếp người bé nhỏ, dễ trôi dạt, mong manh trước dâu bể cuộc đời:
Hạt bụi nào hóa kiếp thân tôi
Để một mai vươn hình hài lớn dậy
Ôi cát bụi tuyệt vời
Mặt trời soi một kiếp rong chơi
Hạt bụi nào hóa kiếp thân tôi
Để một mai tôi về làm cát bụi
Ôi cát bụi mệt nhoài
Tiếng động nào gõ nhịp khôn nguôi.
(Cát bụi)
Sách “Sáng thế” đã dạy rằng, con người ta được sinh ra từ cát bụi và để rồi lại trở về với cát bụi. Cát bụi chính là sự hóa thân của con người, khởi đầu là hạt cát, được thổi vào linh hồn và hình hài, rồi “rong chơi” trên cõi tạm, khi đã “mệt nhoài với cuộc đời thì lại hóa kiếp về làm cát bụi,

Nếu thêm thẻ i trước rồi thêm thẻ p sau:

Nói về hành trình âm nhạc của Trịnh Công Sơn, có người đã cho rằng hành trình của Trịnh là hành trình của <i>“cát bụi lộng lẫy”.</i> Như vậy, “cát bụi” đã trở thành một biểu trưng trong ca từ Trịnh Công Sơn, là sự hóa thân của kiếp người bé nhỏ, dễ trôi dạt, mong manh trước dâu bể cuộc đời:</p>
<p><i>Hạt bụi nào hóa kiếp thân tôi</p>
<p>Để một mai vươn hình hài lớn dậy</p>
<p>Ôi cát bụi tuyệt vời</p>
<p>Mặt trời soi một kiếp rong chơi</p>
<p>Hạt bụi nào hóa kiếp thân tôi</i><i></p>
<p>Để một mai tôi về làm cát bụi</p>
<p>Ôi cát bụi mệt nhoài</p>
<p>Tiếng động nào gõ nhịp khôn nguôi.</p>
<p></i>(Cát bụi)</p>
<p>Sách “Sáng thế” đã dạy rằng, con người ta được sinh ra từ cát bụi và để rồi lại trở về với cát bụi. Cát bụi chính là sự hóa thân của con người, khởi đầu là hạt cát, được thổi vào linh hồn và hình hài, rồi <i>“rong chơi”</i> trên cõi tạm, khi đã <i>“mệt nhoài</i> với cuộc đời thì lại hóa kiếp về làm cát bụi,

--> cả đoạn in nghiêng chỉ có 1 cặp <i></i> đặt không đúng
--> đoạn in nghiêng sau này sẽ bị lỗi

Nếu thêm thẻ p trước (not bold, not italic), thẻ i sau:

Nói về hành trình âm nhạc của Trịnh Công Sơn, có người đã cho rằng hành trình của Trịnh là hành trình của <i>“cát bụi lộng lẫy”.</i> Như vậy, “cát bụi” đã trở thành một biểu trưng trong ca từ Trịnh Công Sơn, là sự hóa thân của kiếp người bé nhỏ, dễ trôi dạt, mong manh trước dâu bể cuộc đời:</p>
<p><i>Hạt bụi nào hóa kiếp thân tôi</i></p>
<p><i>Để một mai vươn hình hài lớn dậy</i></p>
<p><i>Ôi cát bụi tuyệt vời</i></p>
<p><i>Mặt trời soi một kiếp rong chơi</i></p>
<p><i>Hạt bụi nào hóa kiếp thân tôi</i></p>
<p><i>Để một mai tôi về làm cát bụi</i></p>
<p><i>Ôi cát bụi mệt nhoài</i></p>
<p><i>Tiếng động nào gõ nhịp khôn nguôi.</i></p>
<p>(Cát bụi)</p>
<p>Sách “Sáng thế” đã dạy rằng, con người ta được sinh ra từ cát bụi và để rồi lại trở về với cát bụi. Cát bụi chính là sự hóa thân của con người, khởi đầu là hạt cát, được thổi vào linh hồn và hình hài, rồi <i>“rong chơi”</i> trên cõi tạm, khi đã <i>“mệt nhoài</i> với cuộc đời thì lại hóa kiếp về làm cát bụi,

--> Mỗi câu in nghiêng đều có <i></i> chặn ở 2 đầu

 

Chỗ này nếu đầu sách và cuối sách ko có ^p thì replace kiểu này có ảnh hưởng gì mấy bước sau ko nhỉ?

 

^p là ký tự đại diện cho dấu xuống dòng (nhấn enter khi soạn văn bản) chứ không phải là chính ký tự "p" đâu bạn.

 

Bug này của cụ inno14 mình đã fix chỉ với một thao tác đơn giản ở dưới, không phải nhọc công gắn <p> rồi lại xóa <p> đâu. Bạn test lại với đoạn văn bản phía trên bằng cách của mình thử xem thế nào.

- Giải thích pp: Thay vì vừa gắn </p>^p<p> vừa xóa nghiêng đậm thì chỉ cần xóa nghiêng đậm cho ^p bằng cách find ^p replace bằng no bold no italic là tất cả các dấu xuống dòng ^p đã không còn định dạng gì để ảnh hưởng đến các đoạn thơ nữa. Như thế đỡ phải xóa <p> về sau nhìn rất rối mắt mà <p> trong pp của inno14 đã lỗi thời rồi.

 

mình hiểu mà
vì thấy như vậy nếu đầu và cuối sách ko có ^p thì sẽ ko gì để replace, nên ko rõ có ảnh hưởng gì các bước sau ko

 

Bổ sung một <p> ở đầu sách, một </p> cuối sách. Nhưng như đã nói phía trên, thẻ <p> là không cần thiết.

 

Ở bước này xóa cả cụm <p></p> nghĩa là xóa những dòng trống thôi, để sau này soát lỗi chính tả trong Sigil cho đỡ rối mắt chứ có phải loại bỏ thẻ p đâu
Thẻ p vẫn còn nguyên mà. Xem video đính kèm ở mục IV là rõ mà Vui lòng đăng nhập hoặc đăng ký để xem link

 

OK, cái này hay

Nhưng sau khi sửa chính tả tự động bằng Text Crawler ở mục V (thực ra là thay thế hàng loạt ) đến file cuối cùng sẽ lợi dụng thẻ p (lợi dụng <p>) để sửa một số từ thông dụng đứng đầu paragraph thành chữ hoa nữa (xem file last.txt) nên vẫn phải sử dụng thẻ p

 

Khi thêm hàng loạt thẻ p vào file Word (Find: ^p; Replace:</p>^&<p>) thì ở vị trí đầu tiên của file Word sẽ thiếu 1 thẻ <p> còn ở vị trí cuối cùng của file Word sẽ thừa 1 thẻ <p>, cái này không ảnh hưởng gì đến mục V và VI (soát hoặc liệt kê lỗi chính tả bằng Text Crawler), chỉ cần chú ý ở mục VIII "Soát lỗi chính tả bằng Sigil" thôi, khi đó phải về đầu file Word gõ thêm <p> và đến cuối file Word xóa <p>
Nghĩa là sửa tí chút để Sigil nó không báo lỗi (cú pháp) thì mới lợi dụng Sigil để soát lỗi chính tả được. Trong video ở mục VIII có nói rõ cái này rồi.