[Tutor] Please look at my wordFrequency.py (Alan Darwish)

iPlanetLDAP Tue, 11 Oct 2005 02:17:12 -0700

Exceptional Python Ladies and Gents

How about to make this great wordFrequency.py script
to support Unicode/Locale wordFrequency.py for example
this is an Arabic code page 1256 windows


I guess it is a matter of character encoding. Try
execute the following command before running
wordFrequency.py (in the same DOS console):
chcp 1256

Also this a sample from some other code sent to me for
anoher script to support Arabic written by Lion (a
close friend who was the first to arabize Linux os) 

import sys
import codecs
import re

TYPE_MULTILINE=0x1

class ReaderBase:
        def __init__(self):
                self.callbacks={}
                
        def addCommand(self,command,callback,flags):

               
self.callbacks[command]={'callback':callback,'command':command,'flags':flags}
        
        def findCallback(self,command):
                try:
                        return self.callbacks[command[0]]
                except KeyError:
                        return None
                
        def processFile(self,path):
                #f=open(path, 'r')
                f = codecs.open(path,encoding='CP1256',  mode='r')


This is arabic numbers 1234567890

This is arabic (letters) Text let us add it to the
English text and process wordFrequency.py


|B &#1575;&#1604;&#1571;&#1583;&#1576;
&#1575;&#1604;&#1605;&#1601;&#1585;&#1583;
&#1604;&#1604;&#1576;&#1582;&#1575;&#1585;&#1610;|A  
&#1575;&#1604;&#1576;&#1582;&#1575;&#1585;&#1610; dod
### |V 2-3
&#1604;&#1593;&#1606; &#1575;&#1604;&#1604;&#1607;
&#1605;&#1606; &#1587;&#1585;&#1602;
&#1605;&#1606;&#1575;&#1585;
&#1575;&#1604;&#1571;&#1585;&#1590;
&#1604;&#1593;&#1606; &#1575;&#1604;&#1604;&#1607;
&#1605;&#1606; &#1604;&#1593;&#1606;
&#1608;&#1575;&#1604;&#1583;&#1610;&#1607;
&#1604;&#1593;&#1606; &#1575;&#1604;&#1604;&#1607;
&#1605;&#1606; &#1570;&#1608;&#1609;
&#1605;&#1581;&#1583;&#1579;&#1575;
&#1576;&#1575;&#1576; &#1610;&#1576;&#1585;
&#1608;&#1575;&#1604;&#1583;&#1610;&#1607;
&#1605;&#1575; &#1604;&#1605; &#1610;&#1603;&#1606;
&#1605;&#1593;&#1589;&#1610;&#1577;
&#1581;&#1583;&#1579;&#1606;&#1575;
&#1605;&#1581;&#1605;&#1583; &#1576;&#1606;
&#1593;&#1576;&#1583;
&#1575;&#1604;&#1593;&#1586;&#1610;&#1586;
&#1602;&#1575;&#1604;
&#1581;&#1583;&#1579;&#1606;&#1575;
&#1593;&#1576;&#1583;
&#1575;&#1604;&#1605;&#1604;&#1603; &#1576;&#1606;
&#1575;&#1604;&#1582;&#1591;&#1575;&#1576;
&#1576;&#1606; &#1593;&#1576;&#1610;&#1583;
&#1575;&#1604;&#1604;&#1607; &#1576;&#1606;
&#1571;&#1576;&#1609; &#1576;&#1603;&#1585;&#1577;
&#1575;&#1604;&#1576;&#1589;&#1585;&#1610;
&#1604;&#1602;&#1610;&#1578;&#1607;
&#1576;&#1575;&#1604;&#1585;&#1605;&#1604;&#1577;
&#1602;&#1575;&#1604;
&#1581;&#1583;&#1579;&#1606;&#1610;
&#1585;&#1575;&#1588;&#1583; &#1571;&#1576;&#1608;
&#1605;&#1581;&#1605;&#1583; &#1593;&#1606;
&#1588;&#1607;&#1585; &#1576;&#1606;
&#1581;&#1608;&#1588;&#1576; &#1593;&#1606;
&#1571;&#1605;
&#1575;&#1604;&#1583;&#1585;&#1583;&#1575;&#1569;
&#1593;&#1606; &#1571;&#1576;&#1609;
&#1575;&#1604;&#1583;&#1585;&#1583;&#1575;&#1569;
&#1602;&#1575;&#1604;
&#1571;&#1608;&#1589;&#1575;&#1606;&#1609;
&#1585;&#1587;&#1608;&#1604;
&#1575;&#1604;&#1604;&#1607;
&#1576;&#1578;&#1587;&#1593; &#1604;&#1575;
&#1578;&#1588;&#1585;&#1603;
&#1576;&#1575;&#1604;&#1604;&#1607;
&#1588;&#1610;&#1574;&#1575; &#1608;&#1573;&#1606;
&#1602;&#1591;&#1593;&#1578; &#1571;&#1608;
&#1581;&#1585;&#1602;&#1578; &#1608;&#1604;&#1575;
&#1578;&#1578;&#1585;&#1603;&#1606;
&#1575;&#1604;&#1589;&#1604;&#1575;&#1577;
&#1575;&#1604;&#1605;&#1603;&#1578;&#1608;&#1576;&#1577;
&#1605;&#1578;&#1593;&#1605;&#1583;&#1575;
&#1608;&#1605;&#1606;
&#1578;&#1585;&#1603;&#1607;&#1575;
&#1605;&#1578;&#1593;&#1605;&#1583;&#1575;
&#1576;&#1585;&#1574;&#1578; &#1605;&#1606;&#1607;
&#1575;&#1604;&#1584;&#1605;&#1577;
&#1608;&#1604;&#1575;
&#1578;&#1588;&#1585;&#1576;&#1606;
&#1575;&#1604;&#1582;&#1605;&#1585;
&#1601;&#1573;&#1606;&#1607;&#1575;
&#1605;&#1601;&#1578;&#1575;&#1581; &#1603;&#1604;
&#1588;&#1585; &#1608;&#1571;&#1591;&#1593;
&#1608;&#1575;&#1604;&#1583;&#1610;&#1603;
&#1608;&#1573;&#1606;
&#1571;&#1605;&#1585;&#1575;&#1603; &#1571;&#1606;
&#1578;&#1582;&#1585;&#1580; &#1605;&#1606;
&#1583;&#1606;&#1610;&#1575;&#1603;
&#1601;&#1575;&#1582;&#1585;&#1580;
&#1604;&#1607;&#1605;&#1575; &#1608;&#1604;&#1575;
&#1578;&#1606;&#1575;&#1586;&#1593;&#1606;
&#1608;&#1604;&#1575;&#1577;
&#1575;&#1604;&#1571;&#1605;&#1585;
&#1608;&#1573;&#1606; &#1585;&#1571;&#1610;&#1578;
&#1571;&#1606;&#1603; &#1571;&#1606;&#1578;
&#1608;&#1604;&#1575; &#1578;&#1601;&#1585;&#1585;
&#1605;&#1606; &#1575;&#1604;&#1586;&#1581;&#1601;
&#1608;&#1573;&#1606; &#1607;&#1604;&#1603;&#1578;
&#1608;&#1601;&#1585;
&#1571;&#1589;&#1581;&#1575;&#1576;&#1603;
&#1608;&#1571;&#1606;&#1601;&#1602; &#1605;&#1606;
&#1591;&#1608;&#1604;&#1603; &#1593;&#1604;&#1609;
&#1571;&#1607;&#1604;&#1603; &#1608;&#1604;&#1575;
&#1578;&#1585;&#1601;&#1593;
&#1593;&#1589;&#1575;&#1603; &#1593;&#1604;&#1609;
&#1571;&#1607;&#1604;&#1603;
&#1608;&#1571;&#1582;&#1601;&#1607;&#1605;
&#1601;&#1610;
|B &#1575;&#1604;&#1571;&#1583;&#1576;
&#1575;&#1604;&#1605;&#1601;&#1585;&#1583;
&#1604;&#1604;&#1576;&#1582;&#1575;&#1585;&#1610;|A  
&#1575;&#1604;&#1576;&#1582;&#1575;&#1585;&#1610; dod
### |V 3-3
&#1608;&#1589;&#1575;&#1581;&#1576;&#1607;&#1605;&#1575;
&#1601;&#1610;
&#1575;&#1604;&#1583;&#1606;&#1610;&#1575;
&#1605;&#1593;&#1585;&#1608;&#1601;&#1575;
&#1608;&#1575;&#1604;&#1579;&#1575;&#1606;&#1610;&#1577;
&#1573;&#1606;&#1610; &#1603;&#1606;&#1578;
&#1571;&#1582;&#1584;&#1578;
&#1587;&#1610;&#1601;&#1575;
&#1571;&#1593;&#1580;&#1576;&#1606;&#1609;
&#1601;&#1602;&#1604;&#1578; &#1610;&#1575;
&#1585;&#1587;&#1608;&#1604;
&#1575;&#1604;&#1604;&#1607; &#1607;&#1576;
&#1604;&#1610; &#1607;&#1584;&#1575;
&#1601;&#1606;&#1586;&#1604;&#1578;
&#1610;&#1587;&#1571;&#1604;&#1608;&#1606;&#1603;
&#1593;&#1606;
&#1575;&#1604;&#1571;&#1606;&#1601;&#1575;&#1604;
&#1608;&#1575;&#1604;&#1579;&#1575;&#1604;&#1579;&#1577;
&#1573;&#1606;&#1610; &#1605;&#1585;&#1590;&#1578;
&#1601;&#1571;&#1578;&#1575;&#1606;&#1610;
&#1585;&#1587;&#1608;&#1604;
&#1575;&#1604;&#1604;&#1607;
&#1601;&#1602;&#1604;&#1578; &#1610;&#1575;
&#1585;&#1587;&#1608;&#1604;
&#1575;&#1604;&#1604;&#1607; &#1573;&#1606;&#1610;
&#1571;&#1585;&#1610;&#1583; &#1571;&#1606;
&#1571;&#1602;&#1587;&#1605;
&#1605;&#1575;&#1604;&#1610;
&#1571;&#1601;&#1571;&#1608;&#1589;&#1609;
&#1576;&#1575;&#1604;&#1606;&#1589;&#1601;
&#1601;&#1602;&#1575;&#1604; &#1604;&#1575;
&#1601;&#1602;&#1604;&#1578;
&#1575;&#1604;&#1579;&#1604;&#1579;
&#1601;&#1587;&#1603;&#1578;
&#1601;&#1603;&#1575;&#1606;
&#1575;&#1604;&#1579;&#1604;&#1579;
&#1576;&#1593;&#1583;&#1607;
&#1580;&#1575;&#1574;&#1586;&#1575;
&#1608;&#1575;&#1604;&#1585;&#1575;&#1576;&#1593;&#1577;
&#1573;&#1606;&#1610; &#1588;&#1585;&#1576;&#1578;
&#1575;&#1604;&#1582;&#1605;&#1585; &#1605;&#1593;
&#1602;&#1608;&#1605; &#1605;&#1606;
&#1575;&#1604;&#1571;&#1606;&#1589;&#1575;&#1585;
&#1601;&#1590;&#1585;&#1576; &#1585;&#1580;&#1604;
&#1605;&#1606;&#1607;&#1605;
&#1571;&#1606;&#1601;&#1609;
&#1576;&#1604;&#1581;&#1610;&#1609;
&#1580;&#1605;&#1604;
&#1601;&#1571;&#1578;&#1610;&#1578;
&#1575;&#1604;&#1606;&#1576;&#1610;
&#1601;&#1571;&#1606;&#1586;&#1604;
&#1578;&#1581;&#1585;&#1610;&#1605;
&#1575;&#1604;&#1582;&#1605;&#1585;
&#1581;&#1583;&#1579;&#1606;&#1575;
&#1575;&#1604;&#1581;&#1605;&#1610;&#1583;&#1610;
&#1602;&#1575;&#1604;
&#1581;&#1583;&#1579;&#1606;&#1575; &#1576;&#1606;
&#1593;&#1610;&#1610;&#1606;&#1577;
&#1602;&#1575;&#1604;
&#1581;&#1583;&#1579;&#1606;&#1575;
&#1607;&#1588;&#1575;&#1605; &#1576;&#1606;
&#1593;&#1585;&#1608;&#1577; &#1602;&#1575;&#1604;
&#1571;&#1582;&#1576;&#1585;&#1606;&#1610;
&#1571;&#1576;&#1609; &#1602;&#1575;&#1604;
&#1571;&#1582;&#1576;&#1585;&#1578;&#1606;&#1609;

|B &#1575;&#1604;&#1571;&#1583;&#1576;
&#1575;&#1604;&#1605;&#1601;&#1585;&#1583;
&#1604;&#1604;&#1576;&#1582;&#1575;&#1585;&#1610;|A  
&#1575;&#1604;&#1576;&#1582;&#1575;&#1585;&#1610; dod
### |V 3-3 &#1607;&#1584;&#1575;
&#1601;&#1606;&#1586;&#1604;&#1578;
&#1610;&#1587;&#1571;&#1604;&#1608;&#1606;&#1603;
&#1593;&#1606;
&#1575;&#1604;&#1571;&#1606;&#1601;&#1575;&#1604;
&#1608;&#1575;&#1604;&#1579;&#1575;&#1604;&#1579;&#1577;
&#1573;&#1606;&#1610; &#1605;&#1585;&#1590;&#1578;
&#1601;&#1571;&#1578;&#1575;&#1606;&#1610;
&#1585;&#1587;&#1608;&#1604;
&#1575;&#1604;&#1604;&#1607;
&#1601;&#1602;&#1604;&#1578; &#1610;&#1575;
&#1585;&#1587;&#1608;&#1604;
&#1575;&#1604;&#1604;&#1607; &#1573;&#1606;&#1610;
&#1571;&#1585;&#1610;&#1583; &#1571;&#1606;
&#1571;&#1602;&#1587;&#1605;
&#1605;&#1575;&#1604;&#1610;
&#1571;&#1601;&#1571;&#1608;&#1589;&#1609;
&#1576;&#1575;&#1604;&#1606;&#1589;&#1601;
&#1601;&#1602;&#1575;&#1604; &#1604;&#1575;
&#1601;&#1602;&#1604;&#1578;
&#1575;&#1604;&#1579;&#1604;&#1579;
&#1601;&#1587;&#1603;&#1578;
&#1601;&#1603;&#1575;&#1606;
&#1575;&#1604;&#1579;&#1604;&#1579;
&#1576;&#1593;&#1583;&#1607;
&#1580;&#1575;&#1574;&#1586;&#1575;
&#1608;&#1575;&#1604;&#1585;&#1575;&#1576;&#1593;&#1577;
&#1573;&#1606;&#1610; &#1588;&#1585;&#1576;&#1578;
&#1575;&#1604;&#1582;&#1605;&#1585; &#1605;&#1593;
&#1602;&#1608;&#1605; &#1605;&#1606;
&#1575;&#1604;&#1571;&#1606;&#1589;&#1575;&#1585;
&#1601;&#1590;&#1585;&#1576; &#1585;&#1580;&#1604;
&#1605;&#1606;&#1607;&#1605;
&#1571;&#1606;&#1601;&#1609;
&#1576;&#1604;&#1581;&#1610;&#1609;
&#1580;&#1605;&#1604;
&#1601;&#1571;&#1578;&#1610;&#1578;
&#1575;&#1604;&#1606;&#1576;&#1610;
&#1601;&#1571;&#1606;&#1586;&#1604;
&#1578;&#1581;&#1585;&#1610;&#1605;
&#1575;&#1604;&#1582;&#1605;&#1585;
&#1581;&#1583;&#1579;&#1606;&#1575;
&#1575;&#1604;&#1581;&#1605;&#1610;&#1583;&#1610;
&#1602;&#1575;&#1604;
&#1581;&#1583;&#1579;&#1606;&#1575; &#1576;&#1606;
&#1593;&#1610;&#1610;&#1606;&#1577;
&#1602;&#1575;&#1604;
&#1581;&#1583;&#1579;&#1606;&#1575;
&#1607;&#1588;&#1575;&#1605; &#1576;&#1606;
&#1593;&#1585;&#1608;&#1577; &#1602;&#1575;&#1604;
&#1571;&#1582;&#1576;&#1585;&#1606;&#1610;
&#1571;&#1576;&#1609; &#1602;&#1575;&#1604;
&#1571;&#1582;&#1576;&#1585;&#1578;&#1606;&#1609;

Have fun
Alan Darwish
www.Muhammad.com

_______________________________________________
Tutor maillist  -  Tutor@python.org
http://mail.python.org/mailman/listinfo/tutor

[Tutor] Please look at my wordFrequency.py (Alan Darwish)

Reply via email to