We create ground-truth files that are created by every language including these types of files. because * ্য this letter is not in ben.unicharset files and shows and creates without * * ্য ground-truth files and when I training its shows me this error for missing * * ্য . I think that. but not sure.*
On Thursday, 14 September, 2023 at 6:43:45 pm UTC+6 Ali hussain wrote: > I mean in langdata_lstm > https://github.com/tesseract-ocr/langdata_lstm/tree/main/ben > every language has its own unicharset file. > > On Thursday, 14 September, 2023 at 6:35:29 pm UTC+6 zdenop wrote: > >> unicharset is created automatically (by official training procedure >> https://github.com/tesseract-ocr/tesstrain) >> >> >> Zdenko >> >> >> št 14. 9. 2023 o 13:56 Ali hussain <mdalihu...@gmail.com> napísal(a): >> >>> I have faced in my own trianed_text this normalization error. I think >>> the main problem is * ্য *in these words. and i did't find* ্য* >>> in ben.unicharset file. I think this is the reason for the show error. >>> if I create a unicharset for * ্য *and add in ben.unicharset file it >>> will work? >>> I don't know how to create a unicharset for this * ্য * like look at >>> these words you can understand better. thx >>> >>> ব্যাটারির >>> র্যাবের >>> র্যাঙ্কিংয়েও >>> হ্যাকাররা >>> >>> *This is the main error.: * >>> Extracting unicharset from plain text file data/ben/all-gt >>> Invalid start of grapheme sequence:D=0x981 >>> Normalization failed for string 'পারে মটোরোলার গবেষকেদের তৈরি বিশেষ এ >>> উলকি ত্বকের ওপর আঁঁকা এক ধরনের সার্কিটের মতো এতে কোনো ব্যাটারির প্রয়োজন >>> পড়ে না' >>> Dropping isolated joiner: 0x200c >>> Invalid start of grapheme sequence:H=0x9cd >>> Dropping isolated joiner: 0x200c >>> Invalid start of grapheme sequence:H=0x9cd >>> Normalization failed for string 'হবে এসব স্থানে মোটরসাইকেল নিয়ে ও হেঁটে >>> র্যাবের দল টহল দেবে র্যাবের পোশাকধারী সদস্যের পাশাপাশি সাদা পোশাকে >>> গোয়েন্দা' >>> Dropping isolated joiner: 0x200c >>> Invalid start of grapheme sequence:H=0x9cd >>> Normalization failed for string 'র্যাবের এক বিজ্ঞপ্তিতে এ তথ্য জানানো >>> হয় রমজান মাসে আর্থিক লেনদেন বেড়ে যাওয়ায় ছিনতাই চাঁদাবাজির মতো সন্ত্রাসী >>> কর্মকাণ্ড রোধে' >>> Dropping isolated joiner: 0x200c >>> Invalid start of grapheme sequence:H=0x9cd >>> Normalization failed for string 'কার্যক্রম জোরদার করা হবে এ ব্যাপারে >>> র্যাবের গণমাধ্যম শাখার পরিচালক উইং কমান্ডার এ টি এম হাবিবুর রহমান প্রথম >>> আলো' >>> Dropping isolated joiner: 0x200c >>> Invalid start of grapheme sequence:H=0x9cd >>> Normalization failed for string 'বড় ব্যবধানে হারানোর পর এখন বিশ্বকাপ >>> জয়ের স্বপ্নে বিভোর ব্রাজিলের সমর্থকেরা ফুটবলে ব্রাজিলিয়ান উত্থানের >>> প্রতিধ্বনি শোনা যাচ্ছে ফিফার র্যাঙ্কিংয়েও' >>> Dropping isolated joiner: 0x200c >>> Invalid start of grapheme sequence: H=0x9cd >>> Normalization failed for string 'নয় নম্বরে গত বছরের জুলাই থেকে শুরু >>> হয়েছিল ফিফা র্যাঙ্কিংয়ে ব্রাজিলের অবনমন স্বাগতিক হওয়ার সুবাদে বিশ্বকাপ >>> বাছাই পর্ব খেলতে' >>> Dropping isolated joiner: 0x200c >>> Invalid start of grapheme sequence: H=0x9cd >>> Dropping isolated joiner: 0x200c >>> Invalid start of grapheme sequence: H=0x9cd >>> Normalization failed for string 'এসব পদক্ষেপ নিয়েছে র্যাব নিরাপত্তা >>> পরিকল্পনার অংশ হিসেবে অন্য আইনশৃঙ্খলা বাহিনীর পাশাপাশি র্যাবও নিজস্ব >>> দায়িত্বপূর্ণ এলাকায় তিন ধাপে' >>> Dropping isolated joiner: 0x200c >>> Invalid start of grapheme sequence: H=0x9cd >>> Normalization failed for string 'ঠেকাতে র্যাবের পদক্ষেপের কথা উল্লেখ >>> করেন উইং কমান্ডার হাবিবুর রহমান এ ব্যাপারে তিনি বলেন বাস রেল লঞ্চ কাউন্টার >>> ও' >>> Dropping isolated joiner: 0x200c >>> Invalid start of grapheme sequence: H=0x9cd >>> Dropping isolated joiner: 0x200c >>> Invalid start of grapheme sequence: H=0x9cd >>> Normalization failed for string 'নিয়ন্ত্রণে রাখতে অন্যবারের মতো এবারের >>> রমজান মাসেও দেশজুড়ে বাড়তি নিরাপত্তা ব্যবস্থা নিয়েছে র্যাপিড একশন >>> ব্যাটালিয়ন র্যাব আজ বৃহস্পতিবার' >>> Invalid start of grapheme sequence: M=0x9be >>> Invalid start of grapheme sequence: M=0x9be >>> Invalid start of grapheme sequence: M=0x9be >>> Normalization failed for string 'ফিশিং এটাক বলে এ ছাড়া ডিকশনারি এটাক বা >>> সহজে অনুমান করা যায় এমন শব্দনির্ভর পাসওয়াার্ডগুলো দিয়েও আক্রমণ করে >>> হ্যাকাররা গবেষকেরা' >>> Dropping isolated joiner: 0x200c >>> Invalid start of grapheme sequence: H=0x9cd >>> Normalization failed for string 'ফাইনালে ব্রাজিলের কাছে হেরে কনফেডারেশনস >>> কাপের শিরোপাটা অধরা থেকে গেলেও ফিফা র্যাঙ্কিংয়ের শীর্ষস্থানটা হারাতে >>> হয়নি স্পেনকে ১৫৩২ পয়েন্ট নিয়ে' >>> >>> -- >>> You received this message because you are subscribed to the Google >>> Groups "tesseract-ocr" group. >>> To unsubscribe from this group and stop receiving emails from it, send >>> an email to tesseract-oc...@googlegroups.com. >>> To view this discussion on the web visit >>> https://groups.google.com/d/msgid/tesseract-ocr/0fa2828c-0791-4f2f-9c69-a772cc688bean%40googlegroups.com >>> >>> <https://groups.google.com/d/msgid/tesseract-ocr/0fa2828c-0791-4f2f-9c69-a772cc688bean%40googlegroups.com?utm_medium=email&utm_source=footer> >>> . >>> >> -- You received this message because you are subscribed to the Google Groups "tesseract-ocr" group. To unsubscribe from this group and stop receiving emails from it, send an email to tesseract-ocr+unsubscr...@googlegroups.com. To view this discussion on the web visit https://groups.google.com/d/msgid/tesseract-ocr/46cf5d0a-1037-4d75-96d6-ddb1cafa1a3cn%40googlegroups.com.
