Fixed remaining test cases

I also updated them to all use the same input file, and cleaned up lots of the 
remaining files in the old test directories.


Project: http://git-wip-us.apache.org/repos/asf/incubator-joshua/repo
Commit: http://git-wip-us.apache.org/repos/asf/incubator-joshua/commit/503a5fdd
Tree: http://git-wip-us.apache.org/repos/asf/incubator-joshua/tree/503a5fdd
Diff: http://git-wip-us.apache.org/repos/asf/incubator-joshua/diff/503a5fdd

Branch: refs/heads/7_confsystem
Commit: 503a5fddfbe573f49c79d49b6c3f8301957b3fcf
Parents: e76fce6
Author: Matt Post <p...@cs.jhu.edu>
Authored: Sat Sep 17 19:35:40 2016 +0200
Committer: Matt Post <p...@cs.jhu.edu>
Committed: Sat Sep 17 19:35:40 2016 +0200

----------------------------------------------------------------------
 .../java/org/apache/joshua/decoder/cky/BnEn.in  | 100 ++
 .../joshua/decoder/cky/BnEnDecodingTest.java    |  15 +-
 .../org/apache/joshua/decoder/cky/BnEnHiero.in  | 100 --
 .../joshua/decoder/cky/BnEnPackedTest.conf      |  43 +
 .../joshua/decoder/cky/BnEnPackedTest.gold      | 864 +++++++++++++++++
 .../apache/joshua/decoder/cky/BnEnSAMTTest.conf |  43 +
 .../apache/joshua/decoder/cky/BnEnSAMTTest.gold | 864 +++++++++++++++++
 .../resources/bn-en/hiero/class_lm_2gram.gz     | Bin 18052 -> 0 bytes
 .../src/test/resources/bn-en/hiero/input.bn     | 100 --
 .../bn-en/hiero/joshua-berkeleylm.config        |  47 -
 .../resources/bn-en/hiero/joshua-classlm.config |  52 -
 .../test/resources/bn-en/hiero/joshua.config    |  48 -
 .../bn-en/hiero/output-berkeleylm.gold          | 943 -------------------
 .../resources/bn-en/hiero/output-classlm.gold   | 887 -----------------
 .../src/test/resources/bn-en/hiero/output.gold  | 805 ----------------
 .../test/resources/bn-en/hiero/output.gold.bleu |  14 -
 .../bn-en/hiero/output.scores.berkeleylm.gold   | 100 --
 .../resources/bn-en/hiero/output.scores.gold    | 805 ----------------
 .../resources/bn-en/hiero/test-berkeleylm.sh    |  33 -
 .../test/resources/bn-en/hiero/test-classlm.sh  |  32 -
 .../test/resources/bn-en/hiero/test-filter.sh   |  35 -
 .../src/test/resources/bn-en/hiero/test.sh      |  35 -
 .../src/test/resources/bn-en/hiero/topN.pl      |  18 -
 .../src/test/resources/bn-en/packed/input.bn    | 100 --
 .../test/resources/bn-en/packed/joshua.config   |  50 -
 .../src/test/resources/bn-en/packed/output.gold | 862 -----------------
 .../resources/bn-en/packed/output.scores.gold   | 862 -----------------
 .../test/resources/bn-en/packed/reference.en.0  | 100 --
 .../test/resources/bn-en/packed/reference.en.1  | 100 --
 .../test/resources/bn-en/packed/reference.en.2  | 100 --
 .../test/resources/bn-en/packed/reference.en.3  | 100 --
 .../resources/bn-en/packed/reference.en.all     | 400 --------
 .../src/test/resources/bn-en/packed/test.sh     |  20 -
 .../src/test/resources/bn-en/samt/input.bn      | 100 --
 .../src/test/resources/bn-en/samt/joshua.config |  51 -
 .../src/test/resources/bn-en/samt/output.gold   | 862 -----------------
 .../test/resources/bn-en/samt/output.gold.bleu  |  14 -
 .../resources/bn-en/samt/output.scores.gold     | 862 -----------------
 .../test/resources/bn-en/samt/reference.en.0    | 100 --
 .../test/resources/bn-en/samt/reference.en.1    | 100 --
 .../test/resources/bn-en/samt/reference.en.2    | 100 --
 .../test/resources/bn-en/samt/reference.en.3    | 100 --
 .../src/test/resources/bn-en/samt/test.sh       |  35 -
 43 files changed, 1924 insertions(+), 9077 deletions(-)
----------------------------------------------------------------------


http://git-wip-us.apache.org/repos/asf/incubator-joshua/blob/503a5fdd/joshua-core/src/test/java/org/apache/joshua/decoder/cky/BnEn.in
----------------------------------------------------------------------
diff --git a/joshua-core/src/test/java/org/apache/joshua/decoder/cky/BnEn.in 
b/joshua-core/src/test/java/org/apache/joshua/decoder/cky/BnEn.in
new file mode 100644
index 0000000..be6a92b
--- /dev/null
+++ b/joshua-core/src/test/java/org/apache/joshua/decoder/cky/BnEn.in
@@ -0,0 +1,100 @@
+রবীন্দ্রনাথের জন্ম হয়েছিল 
কলকাতার এক পিরালী ব্রাহ্মণ 
পরিবারে ।
+সাম্প্রতিককালে ভারতের সঙ্গে 
যুক্তরাষ্ট্রের সম্পর্কের 
উন্নতি হয়েছে ।
+গণিত তাই বিজ্ঞানের ভাষা ।
+এ থেকে সহজেই বোঝা যায় যে এই 
মেট্রিকটি হবে এফআরডব্লিউ 
মেট্রিক ।
+একই সঙ্গে বাংলার 
ভূমিকেন্দ্রিক 
সামন্ততন্ত্রের পতনের 
পূর্বাভাষও মেলে এই উপন্যাস 
থেকে ।
+নির্বচনে মুজিব ও তাঁর দল 
নিরঙ্কুষ সংখ্যাগরিষ্ঠতা অ
র্জন করে ।
+হিটলারও বাভারিয়ার মিউনিখ 
শহরেই তার কাজ চালিয়ে যেতে 
থাকেন ।
+টাক্স ছাড়াও ওএস-ট্যান ও আরও 
কিছু লিনাক্স 
প্রতিনিধিত্বকারী চরিত্র 
রয়েছে তবে এগুলো খুব প্রচলিত 
নয় ।
+ইহা সামাজিক অবস্থার 
প্রেক্ষিতে 
সিদ্ধান্তগ্রহনকারী তার 
প্রতিপক্ষের সহিত 
ক্রীড়াক্ষেত্রে সিদ্ধান্ত 
গ্রহনে প্রচলিত নিয়ম 
ব্যাখ্যা করে থাকে ।
+বৃষ্টিপাতঃ বাৎসরিক ২৫৪০ মিলি 
মিটার
+২০০৪ সালে ম্যাসাচুসেটস অ
ঙ্গরাজ্যের বস্টন শহরে অনুষ্ঠ
িত ডেমোক্র্যাট দলের জাতীয় 
সম্মেলন তিনি মূল বক্তৃতা -lrb- 
keynote speech -rrb- প্রদান করেন ।
+জনসংখ্যার ভিত্তিতে ক্ষমতার 
বন্টন পূর্ব পাকিস্তানের অ
নুকূল হওয়ায় পশ্চিম 
পাকিস্তান & quot ; এক ইউনিট তত্ত্ব 
& quot ; নামে এক অভিনব ধারণার 
সূত্রপাত করে যেখানে সমগ্র 
পশ্চিম পাকিস্তান একটি প্রদেশ 
হিসেবে বিবেচিত হয় ।
+• পরিমাপন তত্ত্ব
+বহিঃসংযোগ সমূহ
+টাটা কমিউনিকেশনসের বিদেশ 
সঞ্চার নিগম লিমিটেড ভবন এটি 
শহরের টেলিযোগাযোগ ব্যবস্থার 
একটি অন্যতম প্রধান 
সরবরাহকারী
+তিনি সেই বছরের ৪ই নভেম্বরের 
জাতীয় নির্বাচনে জয়ী হন এবং 
মার্কিন যুক্তরাষ্ট্রের ৪৪তম 
রাষ্ট্রপতি হিসেবে নির্বাচিত 
হন ।
+বহু ভারতীয় প্রজাতি 
গন্ডোয়ানায় জাত টেক্সা থেকে 
উদ্ভুত ।
+ব্রিটেনের লেখকদের রচিত নাটক 
উপন্যাস গল্প এবং সম্প্রতি 
চিত্রনাট্য বিশ্বব্যাপী আদৃত 
।
+১৯১৯ সালের মে মাসে এটি সওগাত 
পত্রিকায় প্রকাশিত হয় ।
+২০০৫ সালে উইমেনস টেনিস অ
্যাসোসিয়েশন ট্যুরের 
টায়ার-থ্রি টুর্নামেন্ট 
সানফিস্ট ওপেন নেতাজি ইন্ডোর 
স্টেডিয়ামে আয়োজিত হয়েছিল 
।
+এই সম্ভাবনা দূরীকরণের জন্য 
নানাবিধ ব্যবস্থা গ্রহণ করা 
হয় ।
+১৯৬৬ সালের ৫ ফেব্রুয়ারি 
লাহোরে বিরোধী দলসমূহের একটি 
জাতীয় সম্মেলন অনুষ্ঠিত হয় ।
+বাংলাদেশ অর্গানাইজেশন অফ দি 
ইসলামিক কনফারেন্স ও ইসলামিক 
ডেভেলপমেণ্ট ব্যাংকের 
সদস্যপদ গ্রহণ করে ।
+বিষয়শ্রেণী : বিশ্বকোষ
+রাশিয়া ফ্রান্স ও ইসরায়েল 
ভারতের প্রধান অ
স্ত্রসরবরাহকারী রাষ্ট্র ও 
প্রতিরক্ষা সহকারী দেশ ।
+এই হল আমাদের পরিচিত কাল্পনিক 
একক যার সাহায্যে গণিতের থিওরী 
সমুহ বাস্তব সংখ্যার সেট থেকে 
জটিল সংখ্যার সেটে উন্নীত হয় ।
+& lt ; ঠিকানা & gt ;
+সেপ্টেম্বর
+এই তত্ত্ব থেকে অবশ্য মহা 
বিস্ফোরণোর বিরোধিতা করা যায় 
না বরং তা সমর্থন করা যেতে পারে 
।
+কৃষি উৎপাদনে ফ্রান্স ইউরোপের 
সবচেয়ে গুরুত্বপূর্ণ দেশ ; 
এটি মূলত খাদ্যশস্য ওয়াইন 
পনির ও অন্যান্য কৃষিদ্রব্য 
ইউরোপ ও সারা বিশ্বে রপ্তানি 
করে ।
+তাদের গণিতে পাটীগণিতের 
প্রাধান্য ছিল ।
+দেশগুলো হলোঃ ফ্রান্স হংকং 
চীন বেলজিয়াম সুইজারল্যান্ড 
জার্মানী ডেনমার্ক সুইডেন অ
স্ট্রিয়া চেকোশ্লোভাকিয়া 
আর্জেন্টিনা ইতালি নরওয়ে 
হাঙ্গেরী যুগোশ্লাভিয়া 
বুলগেরিয়া রুমানিয়া গ্রীস 
মিশর সিঙ্গাপুর ইন্দোনেশিয়া 
থাইল্যান্ড জাপান বার্মা 
হল্যান্ড সোভিয়েট রাশিয়া 
ইরান ইরাক ও শ্রীলংকা ।
+এই ব্যাসিলিকার স্থানে এখন 
ব্যাংক অফ ইংল্যান্ড অবস্থিত ।
+দেশটির উত্তরে বিস্কাই উপসাগর 
দক্ষিণ দিকে জিব্রাল্টার 
প্রণালী প্রণালীর দক্ষিণে 
মরক্কো পশ্চিম ও দক্ষিণ-পশ্চিম 
দিকে আটলান্টিক মহাসাগর ।
+তাছাড়া এ পরিস্থিতে বোঝা 
যায় জরুরি মুহূর্তে 
জাতিসংঘের দ্রুত সিদ্ধান্ত 
নেবার অক্ষমতা ।
+কার্ল মার্ক্সের কাজের 
মাধ্যমেই ইহা পরিচালিত হয় ।
+এর বিষয়বস্তু কখনও পুরাণ 
থেকে কখনও মধ্যযুগীয় 
প্রেমকাহিনিগুলি থেকে কখনও 
আবার একালের সামাজিক ও 
রাজনৈতিক ঘটনাবলি থেকে গৃহীত ।
+তিনটি পরিমাপের উপর ভিত্তি 
করে মহাবিশ্বের যে বয়স পাওয়া 
গেছে তা হল প্রায় ১৩.৭ ± ০.২ 
বিলিয়ন বছর ।
+কাছেই রয়েছে পূর্ব রাশিয়া 
যা ওখটস্ক সাগর ও জাপান সাগরের 
অপর পারে অবস্থিত ।
+কলকাতায় অবস্থিত ভারতের 
জাতীয় গ্রন্থাগার দেশের অ
গ্রণী পাবলিক লাইব্রেরি ।
+ছত্রাকবিদ্যা
+রাষ্ট্রসঙ্ঘের মহাসচিব বান কি 
মুন
+মিনিক্সের রচয়িতা ছিলেন 
এন্ড্রু টানেনবম এক প্রখ্যাত অ
পারেটিং সিস্টেম ডিজাইন 
প্রশিক্ষক ।
+দ্য টাইম্ ‌ স অফ ইন্ডিয়া-তে 
লেখা হয় যে & quot ; it is absurd to compare it with any 
other indian cinema ... pather panchali is pure cinema & quot ; -lrb- “ 
একে অন্য যেকোনও ভারতীয় 
চলচ্চিত্রের সাথে তুলনা করা অ
বাস্তব ... পথের পাঁচালী হল 
বিশুদ্ধ চলচ্চিত্র ” -rrb- ।
+এরপর ১৯৫৩ খ্রিস্টাব্দের মে 
মাসে নজরুল ও প্রমীলা দেবীকে 
চিকিৎসার জন্য লন্ডন পাঠানো 
হয় ।
+এর দক্ষিণ ও পূর্বে আছে 
বিস্তীর্ণ সমভূমি ; পশ্চিম ও 
উত্তরে আছে রুক্ষ পাহাড় ও 
পর্বত ।
+ট্রেডমার্ক
+লর্ড ওয়েলেসলির -lrb- 
গভর্নর-জেনারেল ১৭৯৭-১৮০৫ -rrb- 
শাসনকালে শহরের উল্লেখযোগ্য 
বৃদ্ধি ঘটেছিল ।
+অনেক গুরুত্বপূর্ন ও বাস্তব 
সমস্যা সমাধানের জন্য জটিল 
সংখ্যা অপরিহার্য
+মহা বিস্ফোরণের একটি 
উল্লেখযোগ্য ফলাফল হল 
বর্তমানকালে মহাবিশ্বের অ
বস্থা অতীত এবং ভবিষ্যতের অ
বস্থা থেকে সম্পূর্ণ পৃথক ।
+উইন্ডোজ মিলিনিয়াম
+রবীন্দ্রনাথ অবশ্য একাধিক 
শৈলী আয়ত্ত্ব করেছিলেন ।
+শ্রম অর্থনীতি
+ব্রিটেন একসময় বিশ্বের 
প্রধান ও অগ্রগামী অর্থনৈতিক 
শক্তি ছিল ।
+পাকিস্তানের সামরিক শাসনের 
বিরুদ্ধে আন্দোলন এবং 
পাকিস্তানের গোষ্ঠীগত 
বৈষম্যের বিরুদ্ধে প্রতিবাদ ও 
বাঙালিদের আন্দোলনকে 
স্বাধীনতার পথে ধাবিত করার 
জন্য তিনি ব্যাপকভাবে 
প্রশংসিত ।
+এখানে উল্লেখ করা প্রয়োজন যে 
অনেকে ইন্টারনেট এবং 
ওয়ার্ল্ড ওয়াইড ওয়েবকে 
সমার্থক শব্দ হিসেবে গণ্য 
করলেও প্রকৃতপক্ষে শব্দদ্বয় 
ভিন্ন বিষয় নির্দেশ করে ।
+. z এর আনুসাঙ্গীক পোলার কো-অ
র্ডিনেট দুটি হচ্ছে r = -pipe-
+নভেম্বর
+১৯৭২ খ্রীস্টাব্দে তদানিন্তন 
আরপানেটে সর্বপ্রথম 
ইলেক্ট্রনিক মেইল প্রেরণ করা 
হয় ।
+জীব বিজ্ঞানের যে শাখায় 
ছত্রাক ও এর ব্যবহারিক বিষয় 
নিয়ে আলোচনা করা হয় তাকে 
ছত্রাকবিদ্যা -lrb- mycology -rrb-
+পানি নদী থেকে উঠানো হতো 
কয়েকটি পুর দিয়ে- দড়ি ও 
বালটির মাধ্যমে পানি পশু 
দ্বারা টেনে তোলার এক পদ্ধতি ।
+এর মধ্যে রয়েছে উপজাতীয় 
নৃত্য লোকজ নৃত্য শাস্ত্রীয় 
নৃত্য ইত্যাদি ।
+ভারতের প্রাচীনতম সাহিত্য 
প্রথমে মৌখিকভাবে ও পরে লিখিত 
আকারে প্রচলিত হয় ।
+১৯৮৯ সালে নির্মিত গণশত্রু 
ছবিটিতে তাঁর পরিচালনা 
তুলনামূলকভাবে দুর্বল এবং 
এটিকে দীর্ঘদিনের অ
সুস্থতাশেষে ফিরে আসার পর 
সত্যজিতের চলচ্চিত্র 
নির্মাণের পুনর্প্রচেষ্টা 
হিসেবেই গণ্য করা হয় ।
+• বলবিদ্যা
+অন্যান্য স্বত্ত্ব-সংরক্ষিত অ
পারেটিং সিস্টেম যেমন উইন্ডোজ 
এবং ম্যাক ওএস হতে লিনাক্স 
বিভিন্নভাবে আলাদা ।
+এশিয়া টাইমসের ভাষ্য অ
নুযায়ী & # 44 ;
+মুক্ত সোর্স বা ওপেন সোর্স -lrb- open 
source -rrb- এর অর্থ হলো কম্পিউটার 
সফটওয়্যার এর সোর্স কোড বা 
মূল সাংকেতিক ভাষাকে মুক্ত 
ভাবে বিতরণ করা ।
+বাংলাদেশ অনলাইনে ঢাকা
+প্রথম বিশ্বযুদ্ধে জার্মানি 
হেরে যায় ।
+তবে এ বিষয়টি বোঝার জন্য 
বর্তমানেও গবেষণা এগিয়ে চলছে 
।
+সুপারএইচ
+তাকে সামরিক বাহিনীর জন্য 
আনফিট ঘোষণা করা হয়েছিল ।
+ভুট্টো এ্যাসেম্বলি বয়কট 
করার হুমকি দিয়ে ঘোষণা দেন যে 
ইয়াহিয়া খান মুজিবকে সরকার 
গঠনের জন্য আহ্বান জানালে তিনি 
সে সরকারকে মেনে নেবেন না ।
+আর computer শব্দের অর্থ গণনাকারী 
যন্ত্র ।
+১৭৭৬ সালের ৪ জুলাই এই 
উপনিবেশগুলি একটি স্বাধীনতার 
ঘোষণাপত্র জারি করে ।
+জার্মানি -lrb- জার্মান ভাষায় : 
deutschland ডয়চ্ ‌ লান্ট্ ‌ আ-ধ্ব-ব : [ 
dɔʏtʃlant ] -rrb- মধ্য ইউরোপের একটি 
রাষ্ট্র ।
+খ্রিস্টধর্ম রাশিয়ার প্রধান 
ধর্ম ।
+কিন্তু গলদের শিক্ষার 
রোমানীকরণের গতি ছিল ধীর ।
+বিষয়শ্রেণী : গনু ফাউন্ডেশন
+আর্থিক নীতি ও রাজস্ব নীতিকেও 
ইহা অধ্যয়ন করে ।
+এর মধ্যে রয়েছে : হয়তো তোমার 
পাব দেখা ওরে এ কোন 
স্নেহ-সুরধুনী ।
+১৯৯২ সালের ২৩ এপ্রিল সত্যজিৎ 
মৃত্যুবরণ করেন ।
+এই সময় নজরুলের মেডিকেল 
রিপোর্ট ভিয়েনার বিখ্যাত 
চিকিৎসকদের কাছে পাঠানো হয় ।
+অভিনয় ছাড়াও বিভিন্ন সময়ে 
রানী মুখার্জী বিভিন্ন দাতব্য 
সংস্থার সাথে যুক্ত থেকেছেন ।
+বাংলা সাহিত্য এবং সংস্কৃতিতে 
তার বিশেষ অবদানের 
স্বীকৃতিস্বরুপ ১৯৭৪ 
খ্রিস্টাব্দের ৯ ডিসেম্বর 
তারিখে ঢাকা বিশ্ববিদ্যালয় 
তাকে সম্মানসূচক ডি.লিট 
উপাধিতে ভূষিত করে ।
+কলকাতার দুর্গাপূজা শহরের অ
ন্যতম পর্যটন আকর্ষণও বটে ।
+কিন্তু বহু লক্ষ পূর্ব 
জার্মান অর্থনৈতিকভাবে 
সমৃদ্ধ ও গণতান্ত্রিক পশ্চিম 
জার্মানিতে অভিবাসী হওয়া 
শুরু করলে ১৯৬১ সালে পূর্ব 
জার্মানি সরকার বার্লিনে একটি 
প্রাচীর তুলে দেয় এবং দেশের 
সীমান্ত জোরদার করে ।
+প্রথমটি হচ্ছে ছবিটির নির্বাক 
প্রথম সাত মিনিট যা চারুর 
একঘেয়েমি জীবন ফুটিয়ে তোলে 
এবং দ্বিতীয়টি হল & quot ; বাগানের 
দোলনার দৃশ্য & quot ; যেখানে চারু অ
মলের জন্য তার ভালবাসার 
মুখোমুখি হয় ।
+১৮ শতকের একদল চিন্তাবিদ ও 
লেখক আয় ও উৎপাদনের চক্রাকার 
প্রবাহের মাধ্যমে অর্থনৈতিক 
চিন্তাধারার উন্নয়ন ঘটান ।
+যোনীতে লিঙ্গ প্রবিষ্টকরণের 
পূর্বে কামোদ্দীপক 
কার্যকলাপকে বলা হয় শৃঙ্গার ।
+এটি মূলত শূকরের মাঝেই পাওয়া 
যেত যা কিনা শূকরকে 
ইনফ্লুয়েঞ্জাতে আক্রান্ত 
করত ।
+এগুলি একএ হয়ে mycelium গঠন করে ।
+রাশিয়া বর্তমানে একটি 
গণতান্ত্রিক রাষ্ট্র ।
+লিঙ্গ
+এই অবস্থাকে বলা হয় রাগমোচন 
-lrb- অনগ্যাজম -rrb- ।
+ইতিহাসের বিভিন্ন পর্বে 
এখানেই স্থাপিত হয়েছিল 
বিশালাকার একাধিক সাম্রাজ্য ।
+ব্যাস্টিক অর্থনীতি
+ব্যবহারকারীর কাছে অপারেটিং 
সিস্টেমের সবচেয়ে দৃশ্যমান 
রূপ হল কম্পিউটারের ইন্টারফেস 
।
+বিস্তারিতঃ ১৯৭১ সালের অ
স্থায়ী বাংলাদেশ সরকার

http://git-wip-us.apache.org/repos/asf/incubator-joshua/blob/503a5fdd/joshua-core/src/test/java/org/apache/joshua/decoder/cky/BnEnDecodingTest.java
----------------------------------------------------------------------
diff --git 
a/joshua-core/src/test/java/org/apache/joshua/decoder/cky/BnEnDecodingTest.java 
b/joshua-core/src/test/java/org/apache/joshua/decoder/cky/BnEnDecodingTest.java
index b4b68fa..8ad98db 100644
--- 
a/joshua-core/src/test/java/org/apache/joshua/decoder/cky/BnEnDecodingTest.java
+++ 
b/joshua-core/src/test/java/org/apache/joshua/decoder/cky/BnEnDecodingTest.java
@@ -48,11 +48,11 @@ public class BnEnDecodingTest {
   @DataProvider(name = "testFiles")
   public Object[][] lmFiles() {
     return new Object[][]{
-      {"BnEnHieroTest.conf", "BnEnHiero.in", "BnEnHieroTest.gold"},
-      {"BnEnBerkeleyLMTest.conf", "BnEnHiero.in", "BnEnBerkeleyLMTest.gold"},
-      {"BnEnClassLMTest.conf" , "BnEnHiero.in", "BnEnClassLMTest.gold"},
-//      {"BnEnPackedTest.conf", "BnEn.in", "BnEnPackedTest.gold"},
-//      {"BnEnSAMTTest.conf", "BnEn.in", "BnEnSAMTTest.gold"}
+      {"BnEnHieroTest.conf", "BnEn.in", "BnEnHieroTest.gold"},
+      {"BnEnBerkeleyLMTest.conf", "BnEn.in", "BnEnBerkeleyLMTest.gold"},
+      {"BnEnClassLMTest.conf" , "BnEn.in", "BnEnClassLMTest.gold"},
+      {"BnEnPackedTest.conf", "BnEn.in", "BnEnPackedTest.gold"},
+      {"BnEnSAMTTest.conf", "BnEn.in", "BnEnSAMTTest.gold"}
       };
   }
   
@@ -79,6 +79,11 @@ public class BnEnDecodingTest {
 
     // Then
     List<String> goldStrings = 
loadStringsFromFile(this.getClass().getResource(goldFile).getFile());
+
+//    System.err.println("\n\n\nTEST OUTPUT");
+//    for (String line: decodedStrings)
+//      System.err.println(line);
+
     assertEquals(decodedStrings, goldStrings);
   }
 }

http://git-wip-us.apache.org/repos/asf/incubator-joshua/blob/503a5fdd/joshua-core/src/test/java/org/apache/joshua/decoder/cky/BnEnHiero.in
----------------------------------------------------------------------
diff --git 
a/joshua-core/src/test/java/org/apache/joshua/decoder/cky/BnEnHiero.in 
b/joshua-core/src/test/java/org/apache/joshua/decoder/cky/BnEnHiero.in
deleted file mode 100644
index be6a92b..0000000
--- a/joshua-core/src/test/java/org/apache/joshua/decoder/cky/BnEnHiero.in
+++ /dev/null
@@ -1,100 +0,0 @@
-রবীন্দ্রনাথের জন্ম হয়েছিল 
কলকাতার এক পিরালী ব্রাহ্মণ 
পরিবারে ।
-সাম্প্রতিককালে ভারতের সঙ্গে 
যুক্তরাষ্ট্রের সম্পর্কের 
উন্নতি হয়েছে ।
-গণিত তাই বিজ্ঞানের ভাষা ।
-এ থেকে সহজেই বোঝা যায় যে এই 
মেট্রিকটি হবে এফআরডব্লিউ 
মেট্রিক ।
-একই সঙ্গে বাংলার 
ভূমিকেন্দ্রিক 
সামন্ততন্ত্রের পতনের 
পূর্বাভাষও মেলে এই উপন্যাস 
থেকে ।
-নির্বচনে মুজিব ও তাঁর দল 
নিরঙ্কুষ সংখ্যাগরিষ্ঠতা অ
র্জন করে ।
-হিটলারও বাভারিয়ার মিউনিখ 
শহরেই তার কাজ চালিয়ে যেতে 
থাকেন ।
-টাক্স ছাড়াও ওএস-ট্যান ও আরও 
কিছু লিনাক্স 
প্রতিনিধিত্বকারী চরিত্র 
রয়েছে তবে এগুলো খুব প্রচলিত 
নয় ।
-ইহা সামাজিক অবস্থার 
প্রেক্ষিতে 
সিদ্ধান্তগ্রহনকারী তার 
প্রতিপক্ষের সহিত 
ক্রীড়াক্ষেত্রে সিদ্ধান্ত 
গ্রহনে প্রচলিত নিয়ম 
ব্যাখ্যা করে থাকে ।
-বৃষ্টিপাতঃ বাৎসরিক ২৫৪০ মিলি 
মিটার
-২০০৪ সালে ম্যাসাচুসেটস অ
ঙ্গরাজ্যের বস্টন শহরে অনুষ্ঠ
িত ডেমোক্র্যাট দলের জাতীয় 
সম্মেলন তিনি মূল বক্তৃতা -lrb- 
keynote speech -rrb- প্রদান করেন ।
-জনসংখ্যার ভিত্তিতে ক্ষমতার 
বন্টন পূর্ব পাকিস্তানের অ
নুকূল হওয়ায় পশ্চিম 
পাকিস্তান & quot ; এক ইউনিট তত্ত্ব 
& quot ; নামে এক অভিনব ধারণার 
সূত্রপাত করে যেখানে সমগ্র 
পশ্চিম পাকিস্তান একটি প্রদেশ 
হিসেবে বিবেচিত হয় ।
-• পরিমাপন তত্ত্ব
-বহিঃসংযোগ সমূহ
-টাটা কমিউনিকেশনসের বিদেশ 
সঞ্চার নিগম লিমিটেড ভবন এটি 
শহরের টেলিযোগাযোগ ব্যবস্থার 
একটি অন্যতম প্রধান 
সরবরাহকারী
-তিনি সেই বছরের ৪ই নভেম্বরের 
জাতীয় নির্বাচনে জয়ী হন এবং 
মার্কিন যুক্তরাষ্ট্রের ৪৪তম 
রাষ্ট্রপতি হিসেবে নির্বাচিত 
হন ।
-বহু ভারতীয় প্রজাতি 
গন্ডোয়ানায় জাত টেক্সা থেকে 
উদ্ভুত ।
-ব্রিটেনের লেখকদের রচিত নাটক 
উপন্যাস গল্প এবং সম্প্রতি 
চিত্রনাট্য বিশ্বব্যাপী আদৃত 
।
-১৯১৯ সালের মে মাসে এটি সওগাত 
পত্রিকায় প্রকাশিত হয় ।
-২০০৫ সালে উইমেনস টেনিস অ
্যাসোসিয়েশন ট্যুরের 
টায়ার-থ্রি টুর্নামেন্ট 
সানফিস্ট ওপেন নেতাজি ইন্ডোর 
স্টেডিয়ামে আয়োজিত হয়েছিল 
।
-এই সম্ভাবনা দূরীকরণের জন্য 
নানাবিধ ব্যবস্থা গ্রহণ করা 
হয় ।
-১৯৬৬ সালের ৫ ফেব্রুয়ারি 
লাহোরে বিরোধী দলসমূহের একটি 
জাতীয় সম্মেলন অনুষ্ঠিত হয় ।
-বাংলাদেশ অর্গানাইজেশন অফ দি 
ইসলামিক কনফারেন্স ও ইসলামিক 
ডেভেলপমেণ্ট ব্যাংকের 
সদস্যপদ গ্রহণ করে ।
-বিষয়শ্রেণী : বিশ্বকোষ
-রাশিয়া ফ্রান্স ও ইসরায়েল 
ভারতের প্রধান অ
স্ত্রসরবরাহকারী রাষ্ট্র ও 
প্রতিরক্ষা সহকারী দেশ ।
-এই হল আমাদের পরিচিত কাল্পনিক 
একক যার সাহায্যে গণিতের থিওরী 
সমুহ বাস্তব সংখ্যার সেট থেকে 
জটিল সংখ্যার সেটে উন্নীত হয় ।
-& lt ; ঠিকানা & gt ;
-সেপ্টেম্বর
-এই তত্ত্ব থেকে অবশ্য মহা 
বিস্ফোরণোর বিরোধিতা করা যায় 
না বরং তা সমর্থন করা যেতে পারে 
।
-কৃষি উৎপাদনে ফ্রান্স ইউরোপের 
সবচেয়ে গুরুত্বপূর্ণ দেশ ; 
এটি মূলত খাদ্যশস্য ওয়াইন 
পনির ও অন্যান্য কৃষিদ্রব্য 
ইউরোপ ও সারা বিশ্বে রপ্তানি 
করে ।
-তাদের গণিতে পাটীগণিতের 
প্রাধান্য ছিল ।
-দেশগুলো হলোঃ ফ্রান্স হংকং 
চীন বেলজিয়াম সুইজারল্যান্ড 
জার্মানী ডেনমার্ক সুইডেন অ
স্ট্রিয়া চেকোশ্লোভাকিয়া 
আর্জেন্টিনা ইতালি নরওয়ে 
হাঙ্গেরী যুগোশ্লাভিয়া 
বুলগেরিয়া রুমানিয়া গ্রীস 
মিশর সিঙ্গাপুর ইন্দোনেশিয়া 
থাইল্যান্ড জাপান বার্মা 
হল্যান্ড সোভিয়েট রাশিয়া 
ইরান ইরাক ও শ্রীলংকা ।
-এই ব্যাসিলিকার স্থানে এখন 
ব্যাংক অফ ইংল্যান্ড অবস্থিত ।
-দেশটির উত্তরে বিস্কাই উপসাগর 
দক্ষিণ দিকে জিব্রাল্টার 
প্রণালী প্রণালীর দক্ষিণে 
মরক্কো পশ্চিম ও দক্ষিণ-পশ্চিম 
দিকে আটলান্টিক মহাসাগর ।
-তাছাড়া এ পরিস্থিতে বোঝা 
যায় জরুরি মুহূর্তে 
জাতিসংঘের দ্রুত সিদ্ধান্ত 
নেবার অক্ষমতা ।
-কার্ল মার্ক্সের কাজের 
মাধ্যমেই ইহা পরিচালিত হয় ।
-এর বিষয়বস্তু কখনও পুরাণ 
থেকে কখনও মধ্যযুগীয় 
প্রেমকাহিনিগুলি থেকে কখনও 
আবার একালের সামাজিক ও 
রাজনৈতিক ঘটনাবলি থেকে গৃহীত ।
-তিনটি পরিমাপের উপর ভিত্তি 
করে মহাবিশ্বের যে বয়স পাওয়া 
গেছে তা হল প্রায় ১৩.৭ ± ০.২ 
বিলিয়ন বছর ।
-কাছেই রয়েছে পূর্ব রাশিয়া 
যা ওখটস্ক সাগর ও জাপান সাগরের 
অপর পারে অবস্থিত ।
-কলকাতায় অবস্থিত ভারতের 
জাতীয় গ্রন্থাগার দেশের অ
গ্রণী পাবলিক লাইব্রেরি ।
-ছত্রাকবিদ্যা
-রাষ্ট্রসঙ্ঘের মহাসচিব বান কি 
মুন
-মিনিক্সের রচয়িতা ছিলেন 
এন্ড্রু টানেনবম এক প্রখ্যাত অ
পারেটিং সিস্টেম ডিজাইন 
প্রশিক্ষক ।
-দ্য টাইম্ ‌ স অফ ইন্ডিয়া-তে 
লেখা হয় যে & quot ; it is absurd to compare it with any 
other indian cinema ... pather panchali is pure cinema & quot ; -lrb- “ 
একে অন্য যেকোনও ভারতীয় 
চলচ্চিত্রের সাথে তুলনা করা অ
বাস্তব ... পথের পাঁচালী হল 
বিশুদ্ধ চলচ্চিত্র ” -rrb- ।
-এরপর ১৯৫৩ খ্রিস্টাব্দের মে 
মাসে নজরুল ও প্রমীলা দেবীকে 
চিকিৎসার জন্য লন্ডন পাঠানো 
হয় ।
-এর দক্ষিণ ও পূর্বে আছে 
বিস্তীর্ণ সমভূমি ; পশ্চিম ও 
উত্তরে আছে রুক্ষ পাহাড় ও 
পর্বত ।
-ট্রেডমার্ক
-লর্ড ওয়েলেসলির -lrb- 
গভর্নর-জেনারেল ১৭৯৭-১৮০৫ -rrb- 
শাসনকালে শহরের উল্লেখযোগ্য 
বৃদ্ধি ঘটেছিল ।
-অনেক গুরুত্বপূর্ন ও বাস্তব 
সমস্যা সমাধানের জন্য জটিল 
সংখ্যা অপরিহার্য
-মহা বিস্ফোরণের একটি 
উল্লেখযোগ্য ফলাফল হল 
বর্তমানকালে মহাবিশ্বের অ
বস্থা অতীত এবং ভবিষ্যতের অ
বস্থা থেকে সম্পূর্ণ পৃথক ।
-উইন্ডোজ মিলিনিয়াম
-রবীন্দ্রনাথ অবশ্য একাধিক 
শৈলী আয়ত্ত্ব করেছিলেন ।
-শ্রম অর্থনীতি
-ব্রিটেন একসময় বিশ্বের 
প্রধান ও অগ্রগামী অর্থনৈতিক 
শক্তি ছিল ।
-পাকিস্তানের সামরিক শাসনের 
বিরুদ্ধে আন্দোলন এবং 
পাকিস্তানের গোষ্ঠীগত 
বৈষম্যের বিরুদ্ধে প্রতিবাদ ও 
বাঙালিদের আন্দোলনকে 
স্বাধীনতার পথে ধাবিত করার 
জন্য তিনি ব্যাপকভাবে 
প্রশংসিত ।
-এখানে উল্লেখ করা প্রয়োজন যে 
অনেকে ইন্টারনেট এবং 
ওয়ার্ল্ড ওয়াইড ওয়েবকে 
সমার্থক শব্দ হিসেবে গণ্য 
করলেও প্রকৃতপক্ষে শব্দদ্বয় 
ভিন্ন বিষয় নির্দেশ করে ।
-. z এর আনুসাঙ্গীক পোলার কো-অ
র্ডিনেট দুটি হচ্ছে r = -pipe-
-নভেম্বর
-১৯৭২ খ্রীস্টাব্দে তদানিন্তন 
আরপানেটে সর্বপ্রথম 
ইলেক্ট্রনিক মেইল প্রেরণ করা 
হয় ।
-জীব বিজ্ঞানের যে শাখায় 
ছত্রাক ও এর ব্যবহারিক বিষয় 
নিয়ে আলোচনা করা হয় তাকে 
ছত্রাকবিদ্যা -lrb- mycology -rrb-
-পানি নদী থেকে উঠানো হতো 
কয়েকটি পুর দিয়ে- দড়ি ও 
বালটির মাধ্যমে পানি পশু 
দ্বারা টেনে তোলার এক পদ্ধতি ।
-এর মধ্যে রয়েছে উপজাতীয় 
নৃত্য লোকজ নৃত্য শাস্ত্রীয় 
নৃত্য ইত্যাদি ।
-ভারতের প্রাচীনতম সাহিত্য 
প্রথমে মৌখিকভাবে ও পরে লিখিত 
আকারে প্রচলিত হয় ।
-১৯৮৯ সালে নির্মিত গণশত্রু 
ছবিটিতে তাঁর পরিচালনা 
তুলনামূলকভাবে দুর্বল এবং 
এটিকে দীর্ঘদিনের অ
সুস্থতাশেষে ফিরে আসার পর 
সত্যজিতের চলচ্চিত্র 
নির্মাণের পুনর্প্রচেষ্টা 
হিসেবেই গণ্য করা হয় ।
-• বলবিদ্যা
-অন্যান্য স্বত্ত্ব-সংরক্ষিত অ
পারেটিং সিস্টেম যেমন উইন্ডোজ 
এবং ম্যাক ওএস হতে লিনাক্স 
বিভিন্নভাবে আলাদা ।
-এশিয়া টাইমসের ভাষ্য অ
নুযায়ী & # 44 ;
-মুক্ত সোর্স বা ওপেন সোর্স -lrb- open 
source -rrb- এর অর্থ হলো কম্পিউটার 
সফটওয়্যার এর সোর্স কোড বা 
মূল সাংকেতিক ভাষাকে মুক্ত 
ভাবে বিতরণ করা ।
-বাংলাদেশ অনলাইনে ঢাকা
-প্রথম বিশ্বযুদ্ধে জার্মানি 
হেরে যায় ।
-তবে এ বিষয়টি বোঝার জন্য 
বর্তমানেও গবেষণা এগিয়ে চলছে 
।
-সুপারএইচ
-তাকে সামরিক বাহিনীর জন্য 
আনফিট ঘোষণা করা হয়েছিল ।
-ভুট্টো এ্যাসেম্বলি বয়কট 
করার হুমকি দিয়ে ঘোষণা দেন যে 
ইয়াহিয়া খান মুজিবকে সরকার 
গঠনের জন্য আহ্বান জানালে তিনি 
সে সরকারকে মেনে নেবেন না ।
-আর computer শব্দের অর্থ গণনাকারী 
যন্ত্র ।
-১৭৭৬ সালের ৪ জুলাই এই 
উপনিবেশগুলি একটি স্বাধীনতার 
ঘোষণাপত্র জারি করে ।
-জার্মানি -lrb- জার্মান ভাষায় : 
deutschland ডয়চ্ ‌ লান্ট্ ‌ আ-ধ্ব-ব : [ 
dɔʏtʃlant ] -rrb- মধ্য ইউরোপের একটি 
রাষ্ট্র ।
-খ্রিস্টধর্ম রাশিয়ার প্রধান 
ধর্ম ।
-কিন্তু গলদের শিক্ষার 
রোমানীকরণের গতি ছিল ধীর ।
-বিষয়শ্রেণী : গনু ফাউন্ডেশন
-আর্থিক নীতি ও রাজস্ব নীতিকেও 
ইহা অধ্যয়ন করে ।
-এর মধ্যে রয়েছে : হয়তো তোমার 
পাব দেখা ওরে এ কোন 
স্নেহ-সুরধুনী ।
-১৯৯২ সালের ২৩ এপ্রিল সত্যজিৎ 
মৃত্যুবরণ করেন ।
-এই সময় নজরুলের মেডিকেল 
রিপোর্ট ভিয়েনার বিখ্যাত 
চিকিৎসকদের কাছে পাঠানো হয় ।
-অভিনয় ছাড়াও বিভিন্ন সময়ে 
রানী মুখার্জী বিভিন্ন দাতব্য 
সংস্থার সাথে যুক্ত থেকেছেন ।
-বাংলা সাহিত্য এবং সংস্কৃতিতে 
তার বিশেষ অবদানের 
স্বীকৃতিস্বরুপ ১৯৭৪ 
খ্রিস্টাব্দের ৯ ডিসেম্বর 
তারিখে ঢাকা বিশ্ববিদ্যালয় 
তাকে সম্মানসূচক ডি.লিট 
উপাধিতে ভূষিত করে ।
-কলকাতার দুর্গাপূজা শহরের অ
ন্যতম পর্যটন আকর্ষণও বটে ।
-কিন্তু বহু লক্ষ পূর্ব 
জার্মান অর্থনৈতিকভাবে 
সমৃদ্ধ ও গণতান্ত্রিক পশ্চিম 
জার্মানিতে অভিবাসী হওয়া 
শুরু করলে ১৯৬১ সালে পূর্ব 
জার্মানি সরকার বার্লিনে একটি 
প্রাচীর তুলে দেয় এবং দেশের 
সীমান্ত জোরদার করে ।
-প্রথমটি হচ্ছে ছবিটির নির্বাক 
প্রথম সাত মিনিট যা চারুর 
একঘেয়েমি জীবন ফুটিয়ে তোলে 
এবং দ্বিতীয়টি হল & quot ; বাগানের 
দোলনার দৃশ্য & quot ; যেখানে চারু অ
মলের জন্য তার ভালবাসার 
মুখোমুখি হয় ।
-১৮ শতকের একদল চিন্তাবিদ ও 
লেখক আয় ও উৎপাদনের চক্রাকার 
প্রবাহের মাধ্যমে অর্থনৈতিক 
চিন্তাধারার উন্নয়ন ঘটান ।
-যোনীতে লিঙ্গ প্রবিষ্টকরণের 
পূর্বে কামোদ্দীপক 
কার্যকলাপকে বলা হয় শৃঙ্গার ।
-এটি মূলত শূকরের মাঝেই পাওয়া 
যেত যা কিনা শূকরকে 
ইনফ্লুয়েঞ্জাতে আক্রান্ত 
করত ।
-এগুলি একএ হয়ে mycelium গঠন করে ।
-রাশিয়া বর্তমানে একটি 
গণতান্ত্রিক রাষ্ট্র ।
-লিঙ্গ
-এই অবস্থাকে বলা হয় রাগমোচন 
-lrb- অনগ্যাজম -rrb- ।
-ইতিহাসের বিভিন্ন পর্বে 
এখানেই স্থাপিত হয়েছিল 
বিশালাকার একাধিক সাম্রাজ্য ।
-ব্যাস্টিক অর্থনীতি
-ব্যবহারকারীর কাছে অপারেটিং 
সিস্টেমের সবচেয়ে দৃশ্যমান 
রূপ হল কম্পিউটারের ইন্টারফেস 
।
-বিস্তারিতঃ ১৯৭১ সালের অ
স্থায়ী বাংলাদেশ সরকার

http://git-wip-us.apache.org/repos/asf/incubator-joshua/blob/503a5fdd/joshua-core/src/test/java/org/apache/joshua/decoder/cky/BnEnPackedTest.conf
----------------------------------------------------------------------
diff --git 
a/joshua-core/src/test/java/org/apache/joshua/decoder/cky/BnEnPackedTest.conf 
b/joshua-core/src/test/java/org/apache/joshua/decoder/cky/BnEnPackedTest.conf
new file mode 100644
index 0000000..11b8756
--- /dev/null
+++ 
b/joshua-core/src/test/java/org/apache/joshua/decoder/cky/BnEnPackedTest.conf
@@ -0,0 +1,43 @@
+mark_oovs = false
+default_non_terminal = OOV
+goalSymbol = GOAL
+num_translation_options = 0
+pop_limit = 10
+use_unique_nbest = true
+top_n = 10
+output_format = "%c %s"
+
+feature_functions = [
+  { class = LanguageModel, lm_type = kenlm, lm_order = 5, lm_file = 
src/test/resources/bn-en/packed/lm.gz }
+  { class = OOVPenalty }
+  { class = WordPenalty }
+]
+
+grammars = [
+  { owner = pt, path = src/test/resources/bn-en/packed/grammar.packed, 
rule_cache_size = 10000, class = PackedGrammar, span_limit = 12 }
+  { owner = glue, path = src/test/resources/bn-en/packed/grammar.glue, class = 
TextGrammar, span_limit = -1 }
+]
+
+weights = {
+  OOVPenalty = 1.0
+  WordPenalty = -3.0476045270236662
+  glue_0 = -1
+  lm_0 = 1.3200621467242506
+  pt_0 = -0.4571255198114019
+  pt_1 = 0.17399038425384106
+  pt_10 = -0.52186013168725
+  pt_11 = 0.7874679555197446
+  pt_12 = 0.03770136145251124
+  pt_13 = -0.37085201114442157
+  pt_14 = -0.34054825749510886
+  pt_15 = -0.008348471483412778
+  pt_16 = -0.7984119288127296
+  pt_2 = 0.784547842535801
+  pt_3 = -0.76254324621594
+  pt_4 = 0.8628695028838571
+  pt_5 = -0.04258438925263152
+  pt_6 = -0.5278815893934184
+  pt_7 = -0.9255662450788644
+  pt_8 = -0.03385066779097645
+  pt_9 = -0.9918446849428446
+}

Reply via email to