Author: pkluegl Date: Mon Jan 9 18:23:08 2012 New Revision: 1229282 URL: http://svn.apache.org/viewvc?rev=1229282&view=rev Log: UIMA-2319 added lexer tokens missed by last commit
Modified: uima/sandbox/trunk/TextMarker/uimaj-ep-textmarker-ide/src/main/java/org/apache/uima/textmarker/ide/core/parser/TextMarkerLexer.g uima/sandbox/trunk/TextMarker/uimaj-ep-textmarker-ide/src/main/java/org/apache/uima/textmarker/ide/core/parser/TextMarkerLexer.tokens Modified: uima/sandbox/trunk/TextMarker/uimaj-ep-textmarker-ide/src/main/java/org/apache/uima/textmarker/ide/core/parser/TextMarkerLexer.g URL: http://svn.apache.org/viewvc/uima/sandbox/trunk/TextMarker/uimaj-ep-textmarker-ide/src/main/java/org/apache/uima/textmarker/ide/core/parser/TextMarkerLexer.g?rev=1229282&r1=1229281&r2=1229282&view=diff ============================================================================== --- uima/sandbox/trunk/TextMarker/uimaj-ep-textmarker-ide/src/main/java/org/apache/uima/textmarker/ide/core/parser/TextMarkerLexer.g (original) +++ uima/sandbox/trunk/TextMarker/uimaj-ep-textmarker-ide/src/main/java/org/apache/uima/textmarker/ide/core/parser/TextMarkerLexer.g Mon Jan 9 18:23:08 2012 @@ -1,13 +1,13 @@ lexer grammar TextMarkerLexer; options { - language = Java; + language = Java; } tokens { - DocComment; - Annotation; - ListIdentifier; + DocComment; + Annotation; + ListIdentifier; } @lexer::header { @@ -30,323 +30,326 @@ tokens { * under the License. */ - package org.apache.uima.textmarker.parser; + package org.apache.uima.textmarker.parser; } @lexer::members { - public int implicitLineJoiningLevel = 0; - public int startPos=-1; - public void emitErrorMessage(String msg) { - } + public int implicitLineJoiningLevel = 0; + public int startPos=-1; + public void emitErrorMessage(String msg) { + } } TRIE - : 'TRIE' - ; + : 'TRIE' + ; CONTAINS - : 'CONTAINS' - ; + : 'CONTAINS' + ; DECLARE - : 'DECLARE' - ; + : 'DECLARE' + ; WORDLIST - : 'WORDLIST' - ; + : 'WORDLIST' + ; WORDTABLE - : 'WORDTABLE' - ; + : 'WORDTABLE' + ; AND - : 'AND' - ; + : 'AND' + ; CONTEXTCOUNT - : 'CONTEXTCOUNT' - ; + : 'CONTEXTCOUNT' + ; COUNT - : 'COUNT' - ; + : 'COUNT' + ; TOTALCOUNT - : 'TOTALCOUNT' - ; + : 'TOTALCOUNT' + ; CURRENTCOUNT - : 'CURRENTCOUNT' - ; + : 'CURRENTCOUNT' + ; INLIST - : 'INLIST' - ; + : 'INLIST' + ; ISINTAG - : 'ISINTAG' - ; + : 'ISINTAG' + ; LAST - : 'LAST' - ; + : 'LAST' + ; MOFN - : 'MOFN' - ; + : 'MOFN' + ; NEAR - : 'NEAR' - ; + : 'NEAR' + ; OR - : 'OR' - ; + : 'OR' + ; PARTOF - : 'PARTOF' - ; - + : 'PARTOF' + ; + PARTOFNEQ - : 'PARTOFNEQ' - ; + : 'PARTOFNEQ' + ; POSITION - : 'POSITION' - ; + : 'POSITION' + ; REGEXP - : 'REGEXP' - ; + : 'REGEXP' + ; SCORE - : 'SCORE' - ; + : 'SCORE' + ; VOTE - : 'VOTE' - ; + : 'VOTE' + ; IF - : 'IF' - ; + : 'IF' + ; FEATURE - : 'FEATURE' - ; + : 'FEATURE' + ; PARSE - : 'PARSE' - ; + : 'PARSE' + ; CREATE - : 'CREATE' - ; + : 'CREATE' + ; GATHER - : 'GATHER' - ; + : 'GATHER' + ; FILL - : 'FILL' - ; + : 'FILL' + ; ATTRIBUTE - : 'ATTRIBUTE' - ; + : 'ATTRIBUTE' + ; COLOR - : 'COLOR' - ; + : 'COLOR' + ; DEL - : 'DEL' - ; + : 'DEL' + ; LOG - : 'LOG' - ; + : 'LOG' + ; MARK - : 'MARK' - ; + : 'MARK' + ; MARKSCORE - : 'MARKSCORE' - ; + : 'MARKSCORE' + ; MARKONCE - : 'MARKONCE' - ; + : 'MARKONCE' + ; MARKFAST - : 'MARKFAST' - ; - + : 'MARKFAST' + ; + MARKTABLE - : 'MARKTABLE' - ; - + : 'MARKTABLE' + ; + MARKLAST - : 'MARKLAST' - ; + : 'MARKLAST' + ; REPLACE - : 'REPLACE' - ; + : 'REPLACE' + ; RETAINMARKUP - : 'RETAINMARKUP' - ; + : 'RETAINMARKUP' + ; RETAINTYPE - : 'RETAINTYPE' - ; + : 'RETAINTYPE' + ; FILTERMARKUP - : 'FILTERMARKUP' - ; + : 'FILTERMARKUP' + ; FILTERTYPE - : 'FILTERTYPE' - ; + : 'FILTERTYPE' + ; CALL - : 'CALL' - ; + : 'CALL' + ; EXEC - : 'EXEC' - ; + : 'EXEC' + ; CONFIGURE - : 'CONFIGURE' - ; + : 'CONFIGURE' + ; ASSIGN - : 'ASSIGN' - ; + : 'ASSIGN' + ; SETFEATURE - : 'SETFEATURE' - ; + : 'SETFEATURE' + ; GETFEATURE - : 'GETFEATURE' - ; + : 'GETFEATURE' + ; UNMARK - : 'UNMARK' - ; + : 'UNMARK' + ; UNMARKALL - : 'UNMARKALL' - ; + : 'UNMARKALL' + ; TRANSFER - : 'TRANSFER' - ; + : 'TRANSFER' + ; -EXPAND - : 'EXPAND' - ; +EXPAND + : 'EXPAND' + ; -DYNAMICANCHORING - : 'DYNAMICANCHORING' - ; +DYNAMICANCHORING + : 'DYNAMICANCHORING' + ; BEFORE - : 'BEFORE' - ; + : 'BEFORE' + ; AFTER - : 'AFTER' - ; + : 'AFTER' + ; -IS - : 'IS' - ; +IS + : 'IS' + ; -STARTSWITH - : 'STARTSWITH' - ; +STARTSWITH + : 'STARTSWITH' + ; -ENDSWITH - : 'ENDSWITH' - ; +ENDSWITH + : 'ENDSWITH' + ; NOT - : 'NOT' - ; + : 'NOT' + ; -ADD : 'ADD'; -REMOVE : 'REMOVE'; -REMOVEDUPLICATE : 'REMOVEDUPLICATE'; -MERGE : 'MERGE'; -GET : 'GET'; -GETLIST : 'GETLIST'; -SIZE : 'SIZE'; -MATCHEDTEXT : 'MATCHEDTEXT'; -REMOVESTRING : 'REMOVESTRING'; -CLEAR : 'CLEAR'; +ADD : 'ADD'; +REMOVE : 'REMOVE'; +REMOVEDUPLICATE : 'REMOVEDUPLICATE'; +MERGE : 'MERGE'; +GET : 'GET'; +GETLIST : 'GETLIST'; +SIZE : 'SIZE'; +MATCHEDTEXT : 'MATCHEDTEXT'; +REMOVESTRING : 'REMOVESTRING'; +CLEAR : 'CLEAR'; THEN - : '->' - ; + : '->' + ; BasicAnnotationType - : 'COLON'| 'SW' | 'MARKUP' | 'PERIOD' | 'CW'| 'NUM' | 'QUESTION' | 'SPECIAL' | 'CAP' | 'COMMA' | 'EXCLAMATION' | 'SEMICOLON' | 'NBSP'| 'AMP' | - '_' | 'SENTENCEEND' | 'W' | 'PM' | 'ANY' | 'ALL' | 'SPACE' | 'BREAK' - ; - + : 'COLON'| 'SW' | 'MARKUP' | 'PERIOD' | 'CW'| 'NUM' | 'QUESTION' | 'SPECIAL' | 'CAP' | 'COMMA' | 'EXCLAMATION' | 'SEMICOLON' | 'NBSP'| 'AMP' | + '_' | 'SENTENCEEND' | 'W' | 'PM' | 'ANY' | 'ALL' | 'SPACE' | 'BREAK' + ; + LogLevel: - 'finest' | 'finer' | 'fine' | 'config' | 'info' | 'warning' | 'severe' - ; + 'finest' | 'finer' | 'fine' | 'config' | 'info' | 'warning' | 'severe' + ; OldColor - : 'black' | 'maroon' | 'green' | 'olive' | 'navy' | 'purple' | 'teal' | 'gray' | 'silver' | 'red' | 'lime' | 'yellow' | 'blue' | 'fuchsia' | 'aqua' - ; + : 'black' | 'maroon' | 'green' | 'olive' | 'navy' | 'purple' | 'teal' | 'gray' | 'silver' | 'red' | 'lime' | 'yellow' | 'blue' | 'fuchsia' | 'aqua' + ; -PackageString : 'PACKAGE'; -ScriptString : 'SCRIPT'; -EngineString : 'ENGINE'; -BlockString : 'BLOCK'; -AutomataBlockString : 'RULES'; -TypeString : 'TYPE'; -IntString : 'INT'; -DoubleString : 'DOUBLE'; -StringString : 'STRING'; -BooleanString : 'BOOLEAN'; -TypeSystemString: 'TYPESYSTEM'; -SymbolString : 'SYMBOL'; -CONDITION : 'CONDITION'; -ACTION : 'ACTION'; +PackageString : 'PACKAGE'; +ScriptString : 'SCRIPT'; +EngineString : 'ENGINE'; +BlockString : 'BLOCK'; +AutomataBlockString : 'RULES'; +TypeString : 'TYPE'; +IntString : 'INT'; +DoubleString : 'DOUBLE'; +FloatString : 'FLOAT'; +StringString : 'STRING'; +BooleanString : 'BOOLEAN'; +TypeSystemString: 'TYPESYSTEM'; +SymbolString : 'SYMBOL'; +CONDITION : 'CONDITION'; +ACTION : 'ACTION'; BOOLEANLIST - : 'BOOLEANLIST'; -INTLIST : 'INTLIST'; + : 'BOOLEANLIST'; +INTLIST : 'INTLIST'; DOUBLELIST - : 'DOUBLELIST'; + : 'DOUBLELIST'; +FLOATLIST + : 'FLOATLIST'; STRINGLIST - : 'STRINGLIST'; -TYPELIST: 'TYPELIST'; + : 'STRINGLIST'; +TYPELIST: 'TYPELIST'; -EXP : 'EXP'; -LOGN : 'LOGN'; -SIN : 'SIN'; -COS : 'COS'; -TAN : 'TAN'; -XOR : 'XOR'; -TRUE : 'true'; -FALSE : 'false'; +EXP : 'EXP'; +LOGN : 'LOGN'; +SIN : 'SIN'; +COS : 'COS'; +TAN : 'TAN'; +XOR : 'XOR'; +TRUE : 'true'; +FALSE : 'false'; HexLiteral : '0' ('x'|'X') HexDigit+ IntegerTypeSuffix? ; @@ -365,8 +368,8 @@ FloatingPointLiteral | '.' ('0'..'9')+ Exponent? FloatTypeSuffix? //| ('0'..'9')+ Exponent FloatTypeSuffix? //| ('0'..'9')+ Exponent? FloatTypeSuffix - ; - + ; + fragment Exponent : ('e'|'E') ('+'|'-')? ('0'..'9')+ ; @@ -404,7 +407,7 @@ UnicodeEscape : '\\' 'u' HexDigit HexDigit HexDigit HexDigit ; - + Identifier : Letter (Letter|JavaIDDigit)* ; @@ -448,62 +451,62 @@ JavaIDDigit -LPAREN : '(' {implicitLineJoiningLevel++;} ; +LPAREN : '(' {implicitLineJoiningLevel++;} ; -RPAREN : ')' {implicitLineJoiningLevel--;} ; +RPAREN : ')' {implicitLineJoiningLevel--;} ; -LBRACK : '[' {implicitLineJoiningLevel++;} ; +LBRACK : '[' {implicitLineJoiningLevel++;} ; -RBRACK : ']' {implicitLineJoiningLevel--;} ; +RBRACK : ']' {implicitLineJoiningLevel--;} ; -LCURLY : '{' {implicitLineJoiningLevel++;} ; +LCURLY : '{' {implicitLineJoiningLevel++;} ; -RCURLY : '}' {implicitLineJoiningLevel--;} ; +RCURLY : '}' {implicitLineJoiningLevel--;} ; -CIRCUMFLEX : '^' ; +CIRCUMFLEX : '^' ; AT : '@' ; DOT : '.' ; -COLON : ':' ; +COLON : ':' ; -COMMA : ',' ; +COMMA : ',' ; -SEMI : ';' ; +SEMI : ';' ; -PLUS : '+' ; +PLUS : '+' ; -MINUS : '-' ; +MINUS : '-' ; -STAR : '*' ; +STAR : '*' ; -SLASH : '/' ; +SLASH : '/' ; -VBAR : '|' ; +VBAR : '|' ; -AMPER : '&' ; +AMPER : '&' ; -LESS : '<' ; +LESS : '<' ; -GREATER : '>' ; +GREATER : '>' ; -ASSIGN_EQUAL : '=' ; +ASSIGN_EQUAL : '=' ; -PERCENT : '%' ; +PERCENT : '%' ; -QUESTION : '?' ; +QUESTION : '?' ; -EQUAL : '==' ; +EQUAL : '==' ; -NOTEQUAL : '!=' ; +NOTEQUAL : '!=' ; ALT_NOTEQUAL: '<>' ; -LESSEQUAL : '<=' ; +LESSEQUAL : '<=' ; -GREATEREQUAL : '>=' ; +GREATEREQUAL : '>=' ; WS : (' '|'\r'|'\t'|'\u000C'|'\n') {$channel=HIDDEN;} ; Modified: uima/sandbox/trunk/TextMarker/uimaj-ep-textmarker-ide/src/main/java/org/apache/uima/textmarker/ide/core/parser/TextMarkerLexer.tokens URL: http://svn.apache.org/viewvc/uima/sandbox/trunk/TextMarker/uimaj-ep-textmarker-ide/src/main/java/org/apache/uima/textmarker/ide/core/parser/TextMarkerLexer.tokens?rev=1229282&r1=1229281&r2=1229282&view=diff ============================================================================== --- uima/sandbox/trunk/TextMarker/uimaj-ep-textmarker-ide/src/main/java/org/apache/uima/textmarker/ide/core/parser/TextMarkerLexer.tokens (original) +++ uima/sandbox/trunk/TextMarker/uimaj-ep-textmarker-ide/src/main/java/org/apache/uima/textmarker/ide/core/parser/TextMarkerLexer.tokens Mon Jan 9 18:23:08 2012 @@ -52,101 +52,103 @@ FEATURE=54 FILL=55 FILTERMARKUP=56 FILTERTYPE=57 -FloatTypeSuffix=58 -FloatingPointLiteral=59 -GATHER=60 -GET=61 -GETFEATURE=62 -GETLIST=63 -GREATER=64 -GREATEREQUAL=65 -HexDigit=66 -HexLiteral=67 -IF=68 -INLIST=69 -INTLIST=70 -IS=71 -ISINTAG=72 -Identifier=73 -IntString=74 -IntegerTypeSuffix=75 -JavaIDDigit=76 -LAST=77 -LBRACK=78 -LCURLY=79 -LESS=80 -LESSEQUAL=81 -LINE_COMMENT=82 -LOG=83 -LOGN=84 -LPAREN=85 -Letter=86 -ListIdentifier=87 -LogLevel=88 -MARK=89 -MARKFAST=90 -MARKLAST=91 -MARKONCE=92 -MARKSCORE=93 -MARKTABLE=94 -MATCHEDTEXT=95 -MERGE=96 -MINUS=97 -MOFN=98 -NEAR=99 -NOT=100 -NOTEQUAL=101 -OR=102 -OctalEscape=103 -OctalLiteral=104 -OldColor=105 -PARSE=106 -PARTOF=107 -PARTOFNEQ=108 -PERCENT=109 -PLUS=110 -POSITION=111 -PackageString=112 -QUESTION=113 -RBRACK=114 -RCURLY=115 -REGEXP=116 -REMOVE=117 -REMOVEDUPLICATE=118 -REMOVESTRING=119 -REPLACE=120 -RETAINMARKUP=121 -RETAINTYPE=122 -RPAREN=123 -RessourceLiteral=124 -SCORE=125 -SEMI=126 -SETFEATURE=127 -SIN=128 -SIZE=129 -SLASH=130 -STAR=131 -STARTSWITH=132 -STRINGLIST=133 -ScriptString=134 -StringLiteral=135 -StringString=136 -SymbolString=137 -TAN=138 -THEN=139 -TOTALCOUNT=140 -TRANSFER=141 -TRIE=142 -TRUE=143 -TYPELIST=144 -TypeString=145 -TypeSystemString=146 -UNMARK=147 -UNMARKALL=148 -UnicodeEscape=149 -VBAR=150 -VOTE=151 -WORDLIST=152 -WORDTABLE=153 -WS=154 -XOR=155 +FLOATLIST=58 +FloatString=59 +FloatTypeSuffix=60 +FloatingPointLiteral=61 +GATHER=62 +GET=63 +GETFEATURE=64 +GETLIST=65 +GREATER=66 +GREATEREQUAL=67 +HexDigit=68 +HexLiteral=69 +IF=70 +INLIST=71 +INTLIST=72 +IS=73 +ISINTAG=74 +Identifier=75 +IntString=76 +IntegerTypeSuffix=77 +JavaIDDigit=78 +LAST=79 +LBRACK=80 +LCURLY=81 +LESS=82 +LESSEQUAL=83 +LINE_COMMENT=84 +LOG=85 +LOGN=86 +LPAREN=87 +Letter=88 +ListIdentifier=89 +LogLevel=90 +MARK=91 +MARKFAST=92 +MARKLAST=93 +MARKONCE=94 +MARKSCORE=95 +MARKTABLE=96 +MATCHEDTEXT=97 +MERGE=98 +MINUS=99 +MOFN=100 +NEAR=101 +NOT=102 +NOTEQUAL=103 +OR=104 +OctalEscape=105 +OctalLiteral=106 +OldColor=107 +PARSE=108 +PARTOF=109 +PARTOFNEQ=110 +PERCENT=111 +PLUS=112 +POSITION=113 +PackageString=114 +QUESTION=115 +RBRACK=116 +RCURLY=117 +REGEXP=118 +REMOVE=119 +REMOVEDUPLICATE=120 +REMOVESTRING=121 +REPLACE=122 +RETAINMARKUP=123 +RETAINTYPE=124 +RPAREN=125 +RessourceLiteral=126 +SCORE=127 +SEMI=128 +SETFEATURE=129 +SIN=130 +SIZE=131 +SLASH=132 +STAR=133 +STARTSWITH=134 +STRINGLIST=135 +ScriptString=136 +StringLiteral=137 +StringString=138 +SymbolString=139 +TAN=140 +THEN=141 +TOTALCOUNT=142 +TRANSFER=143 +TRIE=144 +TRUE=145 +TYPELIST=146 +TypeString=147 +TypeSystemString=148 +UNMARK=149 +UNMARKALL=150 +UnicodeEscape=151 +VBAR=152 +VOTE=153 +WORDLIST=154 +WORDTABLE=155 +WS=156 +XOR=157