Revision: 14717
http://gate.svn.sourceforge.net/gate/?rev=14717&view=rev
Author: markagreenwood
Date: 2011-12-09 17:08:25 +0000 (Fri, 09 Dec 2011)
Log Message:
-----------
added a UTF-8 greek fingerprint, converted from the ISO8859-7 version
Modified Paths:
--------------
gate/trunk/plugins/Language_Identification/src/org/knallgrau/utils/textcat/LanguageIdentifier.java
Added Paths:
-----------
gate/trunk/plugins/Language_Identification/resources/language_fp/greek-utf8.lm
Added:
gate/trunk/plugins/Language_Identification/resources/language_fp/greek-utf8.lm
===================================================================
---
gate/trunk/plugins/Language_Identification/resources/language_fp/greek-utf8.lm
(rev 0)
+++
gate/trunk/plugins/Language_Identification/resources/language_fp/greek-utf8.lm
2011-12-09 17:08:25 UTC (rev 14717)
@@ -0,0 +1,400 @@
+_ 89284
+α 19666
+τ 16086
+ο 15826
+ε 14848
+ι 12766
+ν 12189
+π 8776
+σ 8653
+ρ 8399
+κ 7761
+μ 7529
+υ 6850
+ά 6284
+_τ 5918
+λ 5802
+ς 5371
+α_ 5272
+η 5236
+έ 4739
+ί 4609
+ό 4489
+το 4461
+ς_ 4111
+ου 4075
+ι_ 4033
+ε_ 4019
+. 3916
+_κ 3897
+ο_ 3836
+._ 3810
+ν_ 3661
+_π 3414
+_σ 3333
+" 3247
+_μ 3242
+_το 3118
+, 3106
+,_ 3068
+γ 3058
+_α 2912
+ω 2689
+να 2593
+δ 2455
+τα 2420
+χ 2411
+κα 2406
+στ 2406
+_ε 2353
+- 2335
+-_ 2192
+ύ 2171
+αν 2162
+τη 2151
+ή 2141
+υ_ 2133
+αι 2100
+θ 2053
+φ 1989
+ου_ 1974
+ει 1889
+_κα 1882
+εί 1864
+το_ 1802
+πο 1771
+αι_ 1727
+σε 1709
+_ν 1647
+_" 1619
+η_ 1609
+ια 1602
+να_ 1518
+τι 1501
+ον 1501
+του 1495
+με 1460
+_του 1407
+_έ 1405
+_στ 1396
+ώ 1364
+πε 1359
+τε 1300
+μα 1298
+β 1274
+ρι 1252
+ό_ 1241
+_δ 1231
+ξ 1223
+ντ 1220
+_το_ 1196
+απ 1187
+ρο 1184
+_γ 1183
+_τη 1177
+ζ 1158
+_εί 1150
+ά_ 1150
+_να 1124
+έν 1115
+και 1110
+_και 1093
+αν_ 1082
+ρα 1078
+και_ 1061
+_να_ 1060
+_και_ 1053
+μπ 1049
+νο 1048
+ατ 1036
+ιο 1024
+ια_ 1018
+ερ 1003
+ού 993
+_απ 984
+σε_ 974
+ικ 973
+_ο 967
+εν 947
+ος 936
+ει_ 935
+πό 901
+λο 892
+_με 890
+νε 884
+του_ 871
+ον_ 869
+ας 865
+_του_ 854
+ασ 841
+με_ 840
+σα 834
+κο 833
+αρ 832
+πρ 824
+ίν 820
+κά 808
+_πο 804
+πι 796
+Κ 796
+μέ 783
+μο 777
+έρ 772
+αλ 766
+ην 762
+Μ 759
+ισ 745
+κε 742
+τα_ 740
+στο 738
+ω_ 730
+ην_ 728
+Ο 717
+Τ 714
+_φ 711
+ετ 705
+δε 704
+πα 697
+ας_ 688
+τά 684
+ος_ 683
+_ό 680
+_Κ 675
+οι 671
+_χ 670
+την 663
+την_ 658
+_στο 647
+ή_ 645
+πό_ 638
+_θ 633
+_ο_ 631
+", 630
+_πρ 626
+_Μ 624
+ίπ 624
+άν 623
+",_ 623
+από 620
+που 619
+ότ 618
+λα 617
+τον 617
+_από 616
+μι 612
+Ο_ 611
+ρε 607
+υτ 604
+λε 595
+_λ 594
+ρό 590
+_με_ 586
+ιά 580
+τον_ 577
+γι 577
+_Ο 575
+από_ 572
+άρ 570
+πά 570
+_από_ 569
+ρά 562
+ταν 554
+ένα 553
+υν 552
+που_ 551
+δι 547
+τρ 547
+τό 544
+_β 540
+χε 536
+εν_ 534
+ησ 528
+_Ο_ 525
+ης 520
+". 519
+_που 516
+_Τ 515
+"._ 513
+τη_ 512
+ς. 510
+είπ 508
+ταν_ 504
+_είπ 503
+ς._ 501
+_τα 500
+ξε 497
+στο_ 496
+λλ 493
+ακ 492
+Α 491
+_που_ 490
+άλ 489
+ίπε 489
+είπε 485
+_είπε 483
+_την 483
+τι_ 482
+_την_ 481
+άτ 480
+λι 480
+_δε 479
+άμ 477
+_στο_ 475
+σο 473
+_ά 468
+"_ 463
+μέν 463
+ιν 461
+ις 452
+_αν 452
+κό 451
+αυ 451
+_τον 450
+_γι 449
+θα 447
+ες 446
+ση 446
+_μι 445
+_τον_ 443
+ε. 441
+ε._ 441
+ους 439
+λά 439
+υς 439
+ολ 438
+πιο 437
+ορ 432
+_πα 428
+_κά 427
+τε_ 427
+αμ 423
+; 423
+_μο 422
+σκ 421
+της 421
+_ξ 418
+στη 415
+Κά 411
+νη 408
+για 405
+α. 403
+κρ 402
+κι 402
+ς, 402
+ς,_ 401
+α._ 398
+ηκ 397
+_Κά 397
+ελ 396
+_έν 395
+_ή 393
+_μα 392
+ία 391
+ως 391
+λη 390
+ίνα 389
+πί 389
+μου 388
+μά 388
+_αυ 387
+ης_ 386
+συ 384
+ναι 384
+Π 383
+αυτ 382
+ί_ 376
+μπι 375
+ίσ 372
+_της 370
+_τα_ 367
+_για 365
+_ένα 362
+_μπ 361
+θε 361
+ιον 359
+ις_ 358
+τή 358
+_θα 354
+_αυτ 354
+άμπ 352
+κ. 352
+κ._ 351
+είν 351
+ομ 350
+ίναι 348
+ντα 348
+ναι_ 348
+ως_ 347
+χα 346
+Ε 346
+υ. 346
+για_ 346
+υ._ 345
+δεν 345
+ένα_ 345
+α, 344
+α,_ 344
+δεν_ 344
+ύρ 343
+όν 343
+α- 342
+ύσ 341
+_κ. 340
+στε 339
+Κάμ 339
+_κ._ 339
+τέ 339
+α-_ 338
+ευ 338
+ιλ 338
+ρί 338
+Κάμπ 338
+_μου 338
+_Κάμ 338
+_Κάμπ 337
+υμ 336
+σει 336
+πιον 336
+μπιον 336
+μπιο 336
+_κο 334
+Κάμπι 334
+_η 334
+άμπι 334
+θα_ 333
+νι 332
+της_ 331
+ψ 331
+όμ 330
+ησε 330
+_σα 329
+μα_ 328
+ός 328
+Σ 326
+_δεν 325
+_δεν_ 325
+σμ 324
+ες_ 324
+περ 324
+ίχ 323
+ίναι_ 323
+τικ 322
+_ρ 321
+άμπιο 321
+υς_ 321
+ους_ 321
+_πε 321
+σω 320
+_για_ 320
+προ 320
+γε 318
+;" 316
+;"_ 316
+Δ 315
+τυ 314
+ρα_ 313
+_συ 312
+ρω 312
+_θα_ 310
+όσ 309
+ου. 309
Modified:
gate/trunk/plugins/Language_Identification/src/org/knallgrau/utils/textcat/LanguageIdentifier.java
===================================================================
---
gate/trunk/plugins/Language_Identification/src/org/knallgrau/utils/textcat/LanguageIdentifier.java
2011-12-09 16:36:45 UTC (rev 14716)
+++
gate/trunk/plugins/Language_Identification/src/org/knallgrau/utils/textcat/LanguageIdentifier.java
2011-12-09 17:08:25 UTC (rev 14717)
@@ -86,6 +86,7 @@
for(Annotation annotation : annotations) {
String text = Utils.stringFor(document, annotation);
String category = guesser.categorize(text);
+
System.out.println("\n"+text+"\n"+category+"\n"+guesser.getCategoryDistances(text));
annotation.getFeatures().put(languageFeatureName, category);
}
}
This was sent by the SourceForge.net collaborative development platform, the
world's largest Open Source development site.
------------------------------------------------------------------------------
Cloud Services Checklist: Pricing and Packaging Optimization
This white paper is intended to serve as a reference, checklist and point of
discussion for anyone considering optimizing the pricing and packaging model
of a cloud services business. Read Now!
http://www.accelacomm.com/jaw/sfnl/114/51491232/
_______________________________________________
GATE-cvs mailing list
[email protected]
https://lists.sourceforge.net/lists/listinfo/gate-cvs
