diff options
| author | Sebastian Engel <dev@sebastianengel.eu> | 2021-11-02 20:56:49 +0100 |
|---|---|---|
| committer | Sebastian Engel <dev@sebastianengel.eu> | 2021-11-02 20:56:49 +0100 |
| commit | 5178c44e0bd654818cd61fb20bb29e23821c13ee (patch) | |
| tree | 24cee26f6809fc38719668a5e9f0afbb003c6edf /tests/examplefiles | |
| parent | 23cc499ce1e77b84867f94d5b51c92c4aabe86d7 (diff) | |
| download | pygments-git-5178c44e0bd654818cd61fb20bb29e23821c13ee.tar.gz | |
Modernize Whitespace token: dsls lexer
Diffstat (limited to 'tests/examplefiles')
| -rw-r--r-- | tests/examplefiles/alloy/example.als.output | 1464 | ||||
| -rw-r--r-- | tests/examplefiles/crmsh/example.pcmk.output | 6 | ||||
| -rw-r--r-- | tests/examplefiles/flatline/flatline_example.output | 810 | ||||
| -rw-r--r-- | tests/examplefiles/pan/test.pan.output | 220 | ||||
| -rw-r--r-- | tests/examplefiles/protobuf/addressbook.proto.output | 134 | ||||
| -rw-r--r-- | tests/examplefiles/puppet/example.pp.output | 40 | ||||
| -rw-r--r-- | tests/examplefiles/rsl/test.rsl.output | 1648 | ||||
| -rw-r--r-- | tests/examplefiles/snowball/example.sbl.output | 586 | ||||
| -rw-r--r-- | tests/examplefiles/vgl/example.rpf.output | 24 | ||||
| -rw-r--r-- | tests/examplefiles/zeek/test.bro.output | 1432 | ||||
| -rw-r--r-- | tests/examplefiles/zeek/test.zeek.output | 1110 |
11 files changed, 3433 insertions, 4041 deletions
diff --git a/tests/examplefiles/alloy/example.als.output b/tests/examplefiles/alloy/example.als.output index 3de55737..fc7d42b3 100644 --- a/tests/examplefiles/alloy/example.als.output +++ b/tests/examplefiles/alloy/example.als.output @@ -1,214 +1,214 @@ 'module' Keyword.Namespace -' ' Text +' ' Text.Whitespace 'examples' Name '/' Operator 'systems' Name '/' Operator 'views' Name -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace "/*\n * Model of views in object-oriented programming.\n *\n * Two object references, called the view and the backing,\n * are related by a view mechanism when changes to the\n * backing are automatically propagated to the view. Note\n * that the state of a view need not be a projection of the\n * state of the backing; the keySet method of Map, for\n * example, produces two view relationships, and for the\n * one in which the map is modified by changes to the key\n * set, the value of the new map cannot be determined from\n * the key set. Note that in the iterator view mechanism,\n * the iterator is by this definition the backing object,\n * since changes are propagated from iterator to collection\n * and not vice versa. Oddly, a reference may be a view of\n * more than one backing: there can be two iterators on the\n * same collection, eg. A reference cannot be a view under\n * more than one view type.\n *\n * A reference is made dirty when it is a backing for a view\n * with which it is no longer related by the view invariant.\n * This usually happens when a view is modified, either\n * directly or via another backing. For example, changing a\n * collection directly when it has an iterator invalidates\n * it, as does changing the collection through one iterator\n * when there are others.\n *\n * More work is needed if we want to model more closely the\n * failure of an iterator when its collection is invalidated.\n *\n * As a terminological convention, when there are two\n * complementary view relationships, we will give them types\n * t and t'. For example, KeySetView propagates from map to\n * set, and KeySetView' propagates from set to map.\n *\n * author: Daniel Jackson\n */" Comment.Multiline -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'open' Keyword.Namespace -' ' Text +' ' Text.Whitespace 'util' Name '/' Operator 'ordering' Name '[' Operator 'State' Name ']' Operator -' ' Text +' ' Text.Whitespace 'as' Keyword -' ' Text +' ' Text.Whitespace 'so' Name -'\n' Text +'\n' Text.Whitespace 'open' Keyword.Namespace -' ' Text +' ' Text.Whitespace 'util' Name '/' Operator 'relation' Name -' ' Text +' ' Text.Whitespace 'as' Keyword -' ' Text +' ' Text.Whitespace 'rel' Name -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'sig' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'Ref' Name -' ' Text +' ' Text.Whitespace '{' Operator '}' Operator -'\n' Text +'\n' Text.Whitespace 'sig' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'Object' Name -' ' Text +' ' Text.Whitespace '{' Operator '}' Operator -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '-- t->b->v in views when v is view of type t of backing b' Comment.Single -'\n' Text +'\n' Text.Whitespace '-- dirty contains refs that have been invalidated' Comment.Single -'\n' Text +'\n' Text.Whitespace 'sig' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'State' Name -' ' Text +' ' Text.Whitespace '{' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'refs' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'set' Keyword -' ' Text +' ' Text.Whitespace 'Ref' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'obj' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'refs' Name -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'one' Keyword -' ' Text +' ' Text.Whitespace 'Object' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'views' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'ViewType' Name -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'refs' Name -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'refs' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'dirty' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'set' Keyword -' ' Text +' ' Text.Whitespace 'refs' Name -'\n' Text +'\n' Text.Whitespace '-- , anyviews: Ref -> Ref -- for visualization' Comment.Single -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator -'\n' Text +'\n' Text.Whitespace '-- {anyviews = ViewType.views}' Comment.Single -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'sig' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'Map' Name -' ' Text +' ' Text.Whitespace 'extends' Keyword -' ' Text +' ' Text.Whitespace 'Object' Name -' ' Text +' ' Text.Whitespace '{' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'keys' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'set' Keyword -' ' Text +' ' Text.Whitespace 'Ref' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'map' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'keys' Name -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'one' Keyword -' ' Text +' ' Text.Whitespace 'Ref' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator '{' Operator 'all' Keyword -' ' Text +' ' Text.Whitespace 's' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'State' Name -' ' Text +' ' Text.Whitespace '|' Operator -' ' Text +' ' Text.Whitespace 'keys' Name -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace 'Ref' Name '.' Operator 'map' Name -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace 's' Name '.' Operator 'refs' Name '}' Operator -'\n' Text +'\n' Text.Whitespace 'sig' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'MapRef' Name -' ' Text +' ' Text.Whitespace 'extends' Keyword -' ' Text +' ' Text.Whitespace 'Ref' Name -' ' Text +' ' Text.Whitespace '{' Operator '}' Operator -'\n' Text +'\n' Text.Whitespace 'fact' Keyword -' ' Text +' ' Text.Whitespace '{' Operator 'State' Name '.' Operator @@ -216,92 +216,92 @@ '[' Operator 'MapRef' Name ']' Operator -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace 'Map' Name '}' Operator -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'sig' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'Iterator' Name -' ' Text +' ' Text.Whitespace 'extends' Keyword -' ' Text +' ' Text.Whitespace 'Object' Name -' ' Text +' ' Text.Whitespace '{' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'left' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'done' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'set' Keyword -' ' Text +' ' Text.Whitespace 'Ref' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'lastRef' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'lone' Keyword -' ' Text +' ' Text.Whitespace 'done' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator '{' Operator 'all' Keyword -' ' Text +' ' Text.Whitespace 's' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'State' Name -' ' Text +' ' Text.Whitespace '|' Operator -' ' Text +' ' Text.Whitespace 'done' Name -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace 'left' Name -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace 'lastRef' Name -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace 's' Name '.' Operator 'refs' Name '}' Operator -'\n' Text +'\n' Text.Whitespace 'sig' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'IteratorRef' Name -' ' Text +' ' Text.Whitespace 'extends' Keyword -' ' Text +' ' Text.Whitespace 'Ref' Name -' ' Text +' ' Text.Whitespace '{' Operator '}' Operator -'\n' Text +'\n' Text.Whitespace 'fact' Keyword -' ' Text +' ' Text.Whitespace '{' Operator 'State' Name '.' Operator @@ -309,71 +309,71 @@ '[' Operator 'IteratorRef' Name ']' Operator -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace 'Iterator' Name '}' Operator -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'sig' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'Set' Name -' ' Text +' ' Text.Whitespace 'extends' Keyword -' ' Text +' ' Text.Whitespace 'Object' Name -' ' Text +' ' Text.Whitespace '{' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'elts' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'set' Keyword -' ' Text +' ' Text.Whitespace 'Ref' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator '{' Operator 'all' Keyword -' ' Text +' ' Text.Whitespace 's' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'State' Name -' ' Text +' ' Text.Whitespace '|' Operator -' ' Text +' ' Text.Whitespace 'elts' Name -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace 's' Name '.' Operator 'refs' Name '}' Operator -'\n' Text +'\n' Text.Whitespace 'sig' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'SetRef' Name -' ' Text +' ' Text.Whitespace 'extends' Keyword -' ' Text +' ' Text.Whitespace 'Ref' Name -' ' Text +' ' Text.Whitespace '{' Operator '}' Operator -'\n' Text +'\n' Text.Whitespace 'fact' Keyword -' ' Text +' ' Text.Whitespace '{' Operator 'State' Name '.' Operator @@ -381,122 +381,122 @@ '[' Operator 'SetRef' Name ']' Operator -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace 'Set' Name '}' Operator -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'abstract' Keyword -' ' Text +' ' Text.Whitespace 'sig' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'ViewType' Name -' ' Text +' ' Text.Whitespace '{' Operator '}' Operator -'\n' Text +'\n' Text.Whitespace 'one' Keyword -' ' Text +' ' Text.Whitespace 'sig' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'KeySetView' Name ',' Punctuation -' ' Text +' ' Text.Whitespace "KeySetView'" Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'IteratorView' Name -' ' Text +' ' Text.Whitespace 'extends' Keyword -' ' Text +' ' Text.Whitespace 'ViewType' Name -' ' Text +' ' Text.Whitespace '{' Operator '}' Operator -'\n' Text +'\n' Text.Whitespace 'fact' Keyword -' ' Text +' ' Text.Whitespace 'ViewTypes' Name -' ' Text +' ' Text.Whitespace '{' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'State' Name '.' Operator 'views' Name '[' Operator 'KeySetView' Name ']' Operator -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace 'MapRef' Name -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'SetRef' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'State' Name '.' Operator 'views' Name '[' Operator "KeySetView'" Name ']' Operator -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace 'SetRef' Name -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'MapRef' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'State' Name '.' Operator 'views' Name '[' Operator 'IteratorView' Name ']' Operator -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace 'IteratorRef' Name -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'SetRef' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'all' Keyword -' ' Text +' ' Text.Whitespace 's' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'State' Name -' ' Text +' ' Text.Whitespace '|' Operator -' ' Text +' ' Text.Whitespace 's' Name '.' Operator 'views' Name '[' Operator 'KeySetView' Name ']' Operator -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '~' Operator '(' Operator 's' Name @@ -506,49 +506,49 @@ "KeySetView'" Name ']' Operator ')' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace "/**\n * mods is refs modified directly or by view mechanism\n * doesn't handle possibility of modifying an object and its view at once?\n * should we limit frame conds to non-dirty refs?\n */" Comment.Multiline -'\n' Text +'\n' Text.Whitespace 'pred' Keyword -' ' Text +' ' Text.Whitespace 'modifies' Name -' ' Text +' ' Text.Whitespace '[' Operator 'pre' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'post' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'State' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'rs' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'set' Keyword -' ' Text +' ' Text.Whitespace 'Ref' Name ']' Operator -' ' Text +' ' Text.Whitespace '{' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'let' Keyword -' ' Text +' ' Text.Whitespace 'vr' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'views' Name @@ -556,100 +556,100 @@ 'ViewType' Name ']' Operator ',' Punctuation -' ' Text +' ' Text.Whitespace 'mods' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'rs' Name '.' Operator '*' Operator 'vr' Name -' ' Text +' ' Text.Whitespace '{' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'all' Keyword -' ' Text +' ' Text.Whitespace 'r' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'refs' Name -' ' Text +' ' Text.Whitespace '-' Operator -' ' Text +' ' Text.Whitespace 'mods' Name -' ' Text +' ' Text.Whitespace '|' Operator -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'obj' Name '[' Operator 'r' Name ']' Operator -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'post' Name '.' Operator 'obj' Name '[' Operator 'r' Name ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'all' Keyword -' ' Text +' ' Text.Whitespace 'b' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'mods' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'v' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'refs' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 't' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'ViewType' Name -' ' Text +' ' Text.Whitespace '|' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'b' Name '->' Operator 'v' Name -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'views' Name '[' Operator 't' Name ']' Operator -' ' Text +' ' Text.Whitespace '=' Operator '>' Operator -' ' Text +' ' Text.Whitespace 'viewFrame' Name -' ' Text +' ' Text.Whitespace '[' Operator 't' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'obj' Name @@ -657,7 +657,7 @@ 'v' Name ']' Operator ',' Punctuation -' ' Text +' ' Text.Whitespace 'post' Name '.' Operator 'obj' Name @@ -665,7 +665,7 @@ 'v' Name ']' Operator ',' Punctuation -' ' Text +' ' Text.Whitespace 'post' Name '.' Operator 'obj' Name @@ -673,72 +673,72 @@ 'b' Name ']' Operator ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'post' Name '.' Operator 'dirty' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'dirty' Name -' ' Text +' ' Text.Whitespace '+' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '{' Operator 'b' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'refs' Name -' ' Text +' ' Text.Whitespace '|' Operator -' ' Text +' ' Text.Whitespace 'some' Keyword -' ' Text +' ' Text.Whitespace 'v' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'Ref' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 't' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'ViewType' Name -' ' Text +' ' Text.Whitespace '|' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'b' Name '->' Operator 'v' Name -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'views' Name '[' Operator 't' Name ']' Operator -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace '!' Operator 'viewFrame' Name -' ' Text +' ' Text.Whitespace '[' Operator 't' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'obj' Name @@ -746,7 +746,7 @@ 'v' Name ']' Operator ',' Punctuation -' ' Text +' ' Text.Whitespace 'post' Name '.' Operator 'obj' Name @@ -754,7 +754,7 @@ 'v' Name ']' Operator ',' Punctuation -' ' Text +' ' Text.Whitespace 'post' Name '.' Operator 'obj' Name @@ -762,262 +762,262 @@ 'b' Name ']' Operator ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'pred' Keyword -' ' Text +' ' Text.Whitespace 'allocates' Name -' ' Text +' ' Text.Whitespace '[' Operator 'pre' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'post' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'State' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'rs' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'set' Keyword -' ' Text +' ' Text.Whitespace 'Ref' Name ']' Operator -' ' Text +' ' Text.Whitespace '{' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'no' Keyword -' ' Text +' ' Text.Whitespace 'rs' Name -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'refs' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'post' Name '.' Operator 'refs' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'refs' Name -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace 'rs' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace "/** \n * models frame condition that limits change to view object from v to v' when backing object changes to b'\n */" Comment.Multiline -'\n' Text +'\n' Text.Whitespace 'pred' Keyword -' ' Text +' ' Text.Whitespace 'viewFrame' Name -' ' Text +' ' Text.Whitespace '[' Operator 't' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'ViewType' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'v' Name ',' Punctuation -' ' Text +' ' Text.Whitespace "v'" Name ',' Punctuation -' ' Text +' ' Text.Whitespace "b'" Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'Object' Name ']' Operator -' ' Text +' ' Text.Whitespace '{' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 't' Name -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace 'KeySetView' Name -' ' Text +' ' Text.Whitespace '=' Operator '>' Operator -' ' Text +' ' Text.Whitespace "v'" Name '.' Operator 'elts' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'dom' Name -' ' Text +' ' Text.Whitespace '[' Operator "b'" Name '.' Operator 'map' Name ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 't' Name -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace "KeySetView'" Name -' ' Text +' ' Text.Whitespace '=' Operator '>' Operator -' ' Text +' ' Text.Whitespace "b'" Name '.' Operator 'elts' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'dom' Name -' ' Text +' ' Text.Whitespace '[' Operator "v'" Name '.' Operator 'map' Name ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 't' Name -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace "KeySetView'" Name -' ' Text +' ' Text.Whitespace '=' Operator '>' Operator -' ' Text +' ' Text.Whitespace '(' Operator "b'" Name '.' Operator 'elts' Name ')' Operator -' ' Text +' ' Text.Whitespace '<' Operator ':' Punctuation -' ' Text +' ' Text.Whitespace '(' Operator 'v' Name '.' Operator 'map' Name ')' Operator -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '(' Operator "b'" Name '.' Operator 'elts' Name ')' Operator -' ' Text +' ' Text.Whitespace '<' Operator ':' Punctuation -' ' Text +' ' Text.Whitespace '(' Operator "v'" Name '.' Operator 'map' Name ')' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 't' Name -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace 'IteratorView' Name -' ' Text +' ' Text.Whitespace '=' Operator '>' Operator -' ' Text +' ' Text.Whitespace "v'" Name '.' Operator 'elts' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace "b'" Name '.' Operator 'left' Name -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace "b'" Name '.' Operator 'done' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'pred' Keyword -' ' Text +' ' Text.Whitespace 'MapRef' Name '.' Operator 'keySet' Name -' ' Text +' ' Text.Whitespace '[' Operator 'pre' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'post' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'State' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'setRefs' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'SetRef' Name ']' Operator -' ' Text +' ' Text.Whitespace '{' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'post' Name '.' Operator 'obj' Name @@ -1026,11 +1026,11 @@ ']' Operator '.' Operator 'elts' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'dom' Name -' ' Text +' ' Text.Whitespace '[' Operator 'pre' Name '.' Operator @@ -1041,99 +1041,99 @@ '.' Operator 'map' Name ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'modifies' Name -' ' Text +' ' Text.Whitespace '[' Operator 'pre' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'post' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'none' Keyword.Constant ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'allocates' Name -' ' Text +' ' Text.Whitespace '[' Operator 'pre' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'post' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'setRefs' Name ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'post' Name '.' Operator 'views' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'views' Name -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace 'KeySetView' Name '->' Operator 'this' Keyword '->' Operator 'setRefs' Name -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace "KeySetView'" Name '->' Operator 'setRefs' Name '->' Operator 'this' Keyword -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'pred' Keyword -' ' Text +' ' Text.Whitespace 'MapRef' Name '.' Operator 'put' Name -' ' Text +' ' Text.Whitespace '[' Operator 'pre' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'post' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'State' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'k' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'v' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'Ref' Name ']' Operator -' ' Text +' ' Text.Whitespace '{' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'post' Name '.' Operator 'obj' Name @@ -1142,9 +1142,9 @@ ']' Operator '.' Operator 'map' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'obj' Name @@ -1153,109 +1153,109 @@ ']' Operator '.' Operator 'map' Name -' ' Text +' ' Text.Whitespace '++' Operator -' ' Text +' ' Text.Whitespace 'k' Name '->' Operator 'v' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'modifies' Name -' ' Text +' ' Text.Whitespace '[' Operator 'pre' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'post' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'this' Keyword ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'allocates' Name -' ' Text +' ' Text.Whitespace '[' Operator 'pre' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'post' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'none' Keyword.Constant ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'post' Name '.' Operator 'views' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'views' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'pred' Keyword -' ' Text +' ' Text.Whitespace 'SetRef' Name '.' Operator 'iterator' Name -' ' Text +' ' Text.Whitespace '[' Operator 'pre' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'post' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'State' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'iterRef' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'IteratorRef' Name ']' Operator -' ' Text +' ' Text.Whitespace '{' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'let' Keyword -' ' Text +' ' Text.Whitespace 'i' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'post' Name '.' Operator 'obj' Name '[' Operator 'iterRef' Name ']' Operator -' ' Text +' ' Text.Whitespace '{' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'i' Name '.' Operator 'left' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'obj' Name @@ -1264,29 +1264,29 @@ ']' Operator '.' Operator 'elts' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'no' Keyword -' ' Text +' ' Text.Whitespace 'i' Name '.' Operator 'done' Name -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace 'i' Name '.' Operator 'lastRef' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'modifies' Name -' ' Text +' ' Text.Whitespace '[' Operator 'pre' Name ',' Punctuation @@ -1294,74 +1294,74 @@ ',' Punctuation 'none' Keyword.Constant ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'allocates' Name -' ' Text +' ' Text.Whitespace '[' Operator 'pre' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'post' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'iterRef' Name ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'post' Name '.' Operator 'views' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'views' Name -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace 'IteratorView' Name '->' Operator 'iterRef' Name '->' Operator 'this' Keyword -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'pred' Keyword -' ' Text +' ' Text.Whitespace 'IteratorRef' Name '.' Operator 'remove' Name -' ' Text +' ' Text.Whitespace '[' Operator 'pre' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'post' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'State' Name ']' Operator -' ' Text +' ' Text.Whitespace '{' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'let' Keyword -' ' Text +' ' Text.Whitespace 'i' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'obj' Name @@ -1369,66 +1369,66 @@ 'this' Keyword ']' Operator ',' Punctuation -' ' Text +' ' Text.Whitespace "i'" Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'post' Name '.' Operator 'obj' Name '[' Operator 'this' Keyword ']' Operator -' ' Text +' ' Text.Whitespace '{' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace "i'" Name '.' Operator 'left' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'i' Name '.' Operator 'left' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace "i'" Name '.' Operator 'done' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'i' Name '.' Operator 'done' Name -' ' Text +' ' Text.Whitespace '-' Operator -' ' Text +' ' Text.Whitespace 'i' Name '.' Operator 'lastRef' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'no' Keyword -' ' Text +' ' Text.Whitespace "i'" Name '.' Operator 'lastRef' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'modifies' Name -' ' Text +' ' Text.Whitespace '[' Operator 'pre' Name ',' Punctuation @@ -1436,72 +1436,72 @@ ',' Punctuation 'this' Keyword ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'allocates' Name -' ' Text +' ' Text.Whitespace '[' Operator 'pre' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'post' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'none' Keyword.Constant ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'views' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'post' Name '.' Operator 'views' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'pred' Keyword -' ' Text +' ' Text.Whitespace 'IteratorRef' Name '.' Operator 'next' Name -' ' Text +' ' Text.Whitespace '[' Operator 'pre' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'post' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'State' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'ref' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'Ref' Name ']' Operator -' ' Text +' ' Text.Whitespace '{' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'let' Keyword -' ' Text +' ' Text.Whitespace 'i' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'obj' Name @@ -1509,142 +1509,142 @@ 'this' Keyword ']' Operator ',' Punctuation -' ' Text +' ' Text.Whitespace "i'" Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'post' Name '.' Operator 'obj' Name '[' Operator 'this' Keyword ']' Operator -' ' Text +' ' Text.Whitespace '{' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'ref' Name -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace 'i' Name '.' Operator 'left' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace "i'" Name '.' Operator 'left' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'i' Name '.' Operator 'left' Name -' ' Text +' ' Text.Whitespace '-' Operator -' ' Text +' ' Text.Whitespace 'ref' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace "i'" Name '.' Operator 'done' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'i' Name '.' Operator 'done' Name -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace 'ref' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace "i'" Name '.' Operator 'lastRef' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'ref' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'modifies' Name -' ' Text +' ' Text.Whitespace '[' Operator 'pre' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'post' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'this' Keyword ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'allocates' Name -' ' Text +' ' Text.Whitespace '[' Operator 'pre' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'post' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'none' Keyword.Constant ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'views' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'post' Name '.' Operator 'views' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'pred' Keyword -' ' Text +' ' Text.Whitespace 'IteratorRef' Name '.' Operator 'hasNext' Name -' ' Text +' ' Text.Whitespace '[' Operator 's' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'State' Name ']' Operator -' ' Text +' ' Text.Whitespace '{' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'some' Keyword -' ' Text +' ' Text.Whitespace 's' Name '.' Operator 'obj' Name @@ -1653,79 +1653,79 @@ ']' Operator '.' Operator 'left' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'assert' Keyword -' ' Text +' ' Text.Whitespace 'zippishOK' Name -' ' Text +' ' Text.Whitespace '{' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'all' Keyword -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'ks' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'vs' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'SetRef' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'm' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'MapRef' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'ki' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'vi' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'IteratorRef' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'k' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'v' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'Ref' Name -' ' Text +' ' Text.Whitespace '|' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'let' Keyword -' ' Text +' ' Text.Whitespace 's0' Name '=' Operator 'so' Name '/' Operator 'first' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 's1' Name '=' Operator 'so' Name @@ -1735,9 +1735,9 @@ 's0' Name ']' Operator ',' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 's2' Name '=' Operator 'so' Name @@ -1747,9 +1747,9 @@ 's1' Name ']' Operator ',' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 's3' Name '=' Operator 'so' Name @@ -1759,9 +1759,9 @@ 's2' Name ']' Operator ',' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 's4' Name '=' Operator 'so' Name @@ -1771,9 +1771,9 @@ 's3' Name ']' Operator ',' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 's5' Name '=' Operator 'so' Name @@ -1783,9 +1783,9 @@ 's4' Name ']' Operator ',' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 's6' Name '=' Operator 'so' Name @@ -1795,9 +1795,9 @@ 's5' Name ']' Operator ',' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 's7' Name '=' Operator 'so' Name @@ -1806,273 +1806,273 @@ '[' Operator 's6' Name ']' Operator -' ' Text +' ' Text.Whitespace '|' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '(' Operator '{' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'precondition' Name -' ' Text +' ' Text.Whitespace '[' Operator 's0' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'ks' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'vs' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'm' Name ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'no' Keyword -' ' Text +' ' Text.Whitespace 's0' Name '.' Operator 'dirty' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'ks' Name '.' Operator 'iterator' Name -' ' Text +' ' Text.Whitespace '[' Operator 's0' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 's1' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'ki' Name ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'vs' Name '.' Operator 'iterator' Name -' ' Text +' ' Text.Whitespace '[' Operator 's1' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 's2' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'vi' Name ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'ki' Name '.' Operator 'hasNext' Name -' ' Text +' ' Text.Whitespace '[' Operator 's2' Name ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'vi' Name '.' Operator 'hasNext' Name -' ' Text +' ' Text.Whitespace '[' Operator 's2' Name ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'ki' Name '.' Operator 'this' Keyword '/' Operator 'next' Name -' ' Text +' ' Text.Whitespace '[' Operator 's2' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 's3' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'k' Name ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'vi' Name '.' Operator 'this' Keyword '/' Operator 'next' Name -' ' Text +' ' Text.Whitespace '[' Operator 's3' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 's4' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'v' Name ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'm' Name '.' Operator 'put' Name -' ' Text +' ' Text.Whitespace '[' Operator 's4' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 's5' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'k' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'v' Name ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'ki' Name '.' Operator 'remove' Name -' ' Text +' ' Text.Whitespace '[' Operator 's5' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 's6' Name ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'vi' Name '.' Operator 'remove' Name -' ' Text +' ' Text.Whitespace '[' Operator 's6' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 's7' Name ']' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator -' ' Text +' ' Text.Whitespace '=' Operator '>' Operator -' ' Text +' ' Text.Whitespace 'no' Keyword -' ' Text +' ' Text.Whitespace 'State' Name '.' Operator 'dirty' Name ')' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'pred' Keyword -' ' Text +' ' Text.Whitespace 'precondition' Name -' ' Text +' ' Text.Whitespace '[' Operator 'pre' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'State' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'ks' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'vs' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'm' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'Ref' Name ']' Operator -' ' Text +' ' Text.Whitespace '{' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '// all these conditions and other errors discovered in scope of 6 but 8,3' Comment.Single -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '// in initial state, must have view invariants hold' Comment.Single -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '(' Operator 'all' Keyword -' ' Text +' ' Text.Whitespace 't' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'ViewType' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'b' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'v' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'refs' Name -' ' Text +' ' Text.Whitespace '|' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'b' Name '->' Operator 'v' Name -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'views' Name '[' Operator 't' Name ']' Operator -' ' Text +' ' Text.Whitespace '=' Operator '>' Operator -' ' Text +' ' Text.Whitespace 'viewFrame' Name -' ' Text +' ' Text.Whitespace '[' Operator 't' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'obj' Name @@ -2080,7 +2080,7 @@ 'v' Name ']' Operator ',' Punctuation -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'obj' Name @@ -2088,7 +2088,7 @@ 'v' Name ']' Operator ',' Punctuation -' ' Text +' ' Text.Whitespace 'pre' Name '.' Operator 'obj' Name @@ -2097,83 +2097,83 @@ ']' Operator ']' Operator ')' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '// sets are not aliases' Comment.Single -'\n' Text +'\n' Text.Whitespace '-- ks != vs' Comment.Single -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '// sets are not views of map' Comment.Single -'\n' Text +'\n' Text.Whitespace '-- no (ks+vs)->m & ViewType.pre.views' Comment.Single -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '// no iterator currently on either set' Comment.Single -'\n' Text +'\n' Text.Whitespace '-- no Ref->(ks+vs) & ViewType.pre.views' Comment.Single -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Operator -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'check' Keyword -' ' Text +' ' Text.Whitespace 'zippishOK' Name -' ' Text +' ' Text.Whitespace 'for' Keyword -' ' Text +' ' Text.Whitespace '6' Literal.Number.Integer -' ' Text +' ' Text.Whitespace 'but' Keyword -' ' Text +' ' Text.Whitespace '8' Literal.Number.Integer -' ' Text +' ' Text.Whitespace 'State' Name ',' Punctuation -' ' Text +' ' Text.Whitespace '3' Literal.Number.Integer -' ' Text +' ' Text.Whitespace 'ViewType' Name -' ' Text +' ' Text.Whitespace 'expect' Keyword -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '/** \n * experiment with controlling heap size\n */' Comment.Multiline -'\n' Text +'\n' Text.Whitespace 'fact' Keyword -' ' Text +' ' Text.Whitespace '{' Operator 'all' Keyword -' ' Text +' ' Text.Whitespace 's' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'State' Name -' ' Text +' ' Text.Whitespace '|' Operator -' ' Text +' ' Text.Whitespace '#' Operator 's' Name '.' Operator 'obj' Name -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace '5' Literal.Number.Integer '}' Operator -'\n' Text +'\n' Text.Whitespace diff --git a/tests/examplefiles/crmsh/example.pcmk.output b/tests/examplefiles/crmsh/example.pcmk.output index 809fbe4b..9d82eba4 100644 --- a/tests/examplefiles/crmsh/example.pcmk.output +++ b/tests/examplefiles/crmsh/example.pcmk.output @@ -944,7 +944,8 @@ 'Master' Operator.Word '\n' Text.Whitespace -'# drbd device is the nfs-vg PV\n' Comment +'# drbd device is the nfs-vg PV' Comment +'\n' Text.Whitespace 'order' Keyword ' ' Text.Whitespace @@ -961,7 +962,8 @@ 'start' Operator.Word '\n' Text.Whitespace -'# need fs1 for the NFS server\n' Comment +'# need fs1 for the NFS server' Comment +'\n' Text.Whitespace 'order' Keyword ' ' Text.Whitespace diff --git a/tests/examplefiles/flatline/flatline_example.output b/tests/examplefiles/flatline/flatline_example.output index 9fdecaa3..37fdba3c 100644 --- a/tests/examplefiles/flatline/flatline_example.output +++ b/tests/examplefiles/flatline/flatline_example.output @@ -1,38 +1,38 @@ '(' Punctuation 'field ' Name.Builtin '"another field"' Literal.String -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '"000001"' Literal.String -' ' Text +' ' Text.Whitespace '-2' Literal.Number.Integer ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'missing? ' Name.Builtin '"a field"' Literal.String -' ' Text +' ' Text.Whitespace '23' Literal.Number.Integer ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'random-value ' Name.Builtin '"age"' Literal.String ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'weighted-random-value ' Name.Builtin '"000001"' Literal.String ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'if ' Name.Builtin @@ -40,117 +40,117 @@ 'missing? ' Name.Builtin '"00000"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'random-value ' Name.Builtin '"000000"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '"000000"' Literal.String ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'ensure-value ' Name.Builtin '"000000"' Literal.String ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'ensure-weighted-value ' Name.Builtin '"000000"' Literal.String ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'normalize ' Name.Builtin '"000001"' Literal.String ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'normalize ' Name.Builtin '"length"' Literal.String -' ' Text +' ' Text.Whitespace '8' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '23' Literal.Number.Integer ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'z-score ' Name.Builtin '"a numeric field"' Literal.String ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'z-score ' Name.Builtin '23' Literal.Number.Integer ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'field-prop ' Name.Builtin 'string' Name.Variable -' ' Text +' ' Text.Whitespace '"00023"' Literal.String -' ' Text +' ' Text.Whitespace 'name' Name.Variable ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'field-prop ' Name.Builtin 'numeric' Name.Variable -' ' Text +' ' Text.Whitespace '"00023"' Literal.String -' ' Text +' ' Text.Whitespace 'summary ' Name.Builtin 'missing_count' Name.Variable ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'category-count ' Name.Builtin '"species"' Literal.String -' ' Text +' ' Text.Whitespace '"Iris-versicolor"' Literal.String ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'category-count ' Name.Builtin '"species"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '"000004"' Literal.String ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'bin-count ' Name.Builtin '"age"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '"bin-selector"' Literal.String ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'bin-center ' Name.Builtin '"000003"' Literal.String -' ' Text +' ' Text.Whitespace '3' Literal.Number.Integer ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'bin-center ' Name.Builtin @@ -158,89 +158,89 @@ 'field ' Name.Builtin '"field-selector"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '4' Literal.Number.Integer ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'let ' Keyword '(' Punctuation 'v' Name.Function -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '"age"' Literal.String ')' Punctuation ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation 'cond ' Name.Builtin '(' Punctuation '< ' Name.Builtin 'v' Name.Variable -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '"baby"' Literal.String -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation '< ' Name.Builtin 'v' Name.Variable -' ' Text +' ' Text.Whitespace '10' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '"child"' Literal.String -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation '< ' Name.Builtin 'v' Name.Variable -' ' Text +' ' Text.Whitespace '20' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '"teenager"' Literal.String -'\n ' Text +'\n ' Text.Whitespace '"adult"' Literal.String ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'segment-label ' Name.Builtin '"000000"' Literal.String -' ' Text +' ' Text.Whitespace '"baby"' Literal.String -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '"child"' Literal.String -' ' Text +' ' Text.Whitespace '10' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '"teenager"' Literal.String -' ' Text +' ' Text.Whitespace '20' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '"adult"' Literal.String ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'segment-label ' Name.Builtin '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '"1st fourth"' Literal.String -' ' Text +' ' Text.Whitespace '"2nd fourth"' Literal.String -' ' Text +' ' Text.Whitespace '"3rd fourth"' Literal.String -' ' Text +' ' Text.Whitespace '"4th fourth"' Literal.String ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'let ' Keyword @@ -250,211 +250,211 @@ 'maximum ' Name.Builtin '0' Literal.Number.Integer ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace 'min ' Name.Builtin '(' Punctuation 'minimum ' Name.Builtin '0' Literal.Number.Integer ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace 'step' Name.Variable -' ' Text +' ' Text.Whitespace '(' Punctuation '/' Name.Function -' ' Text +' ' Text.Whitespace '(' Punctuation '- ' Name.Builtin 'max ' Name.Builtin 'min' Name.Variable ')' Punctuation -' ' Text +' ' Text.Whitespace '4' Literal.Number.Integer ')' Punctuation ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation 'segment-label ' Name.Builtin '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '"1st fourth"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation '+ ' Name.Builtin 'min ' Name.Builtin 'step' Name.Variable ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace '"2nd fourth"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation '+ ' Name.Builtin 'min ' Name.Builtin 'step' Name.Variable -' ' Text +' ' Text.Whitespace 'step' Name.Variable ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace '"3rd fourth"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation '+ ' Name.Builtin 'min ' Name.Builtin 'step' Name.Variable -' ' Text +' ' Text.Whitespace 'step' Name.Variable -' ' Text +' ' Text.Whitespace 'step' Name.Variable ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace '"4th fourth"' Literal.String ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'contains-items?' Name.Function -' ' Text +' ' Text.Whitespace '"000000"' Literal.String -' ' Text +' ' Text.Whitespace '"blue"' Literal.String -' ' Text +' ' Text.Whitespace '"green"' Literal.String -' ' Text +' ' Text.Whitespace '"darkblue"' Literal.String ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation '<= ' Name.Builtin '(' Punctuation 'percentile ' Name.Builtin '"age"' Literal.String -' ' Text +' ' Text.Whitespace '0.5' Literal.Number.Float ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '"age"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'percentile ' Name.Builtin '"age"' Literal.String -' ' Text +' ' Text.Whitespace '0.95' Literal.Number.Float ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'within-percentiles? ' Name.Builtin '"age"' Literal.String -' ' Text +' ' Text.Whitespace '0.5' Literal.Number.Float -' ' Text +' ' Text.Whitespace '0.95' Literal.Number.Float ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'percentile-label ' Name.Builtin '"000023"' Literal.String -' ' Text +' ' Text.Whitespace '"1st"' Literal.String -' ' Text +' ' Text.Whitespace '"2nd"' Literal.String -' ' Text +' ' Text.Whitespace '"3rd"' Literal.String -' ' Text +' ' Text.Whitespace '"4th"' Literal.String ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'cond ' Name.Builtin '(' Punctuation 'within-percentiles? ' Name.Builtin '"000023"' Literal.String -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '0.25' Literal.Number.Float ')' Punctuation -' ' Text +' ' Text.Whitespace '"1st"' Literal.String -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation 'within-percentiles? ' Name.Builtin '"000023"' Literal.String -' ' Text +' ' Text.Whitespace '0.25' Literal.Number.Float -' ' Text +' ' Text.Whitespace '0.5' Literal.Number.Float ')' Punctuation -' ' Text +' ' Text.Whitespace '"2nd"' Literal.String -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation 'within-percentiles? ' Name.Builtin '"000023"' Literal.String -' ' Text +' ' Text.Whitespace '0.5' Literal.Number.Float -' ' Text +' ' Text.Whitespace '0.75' Literal.Number.Float ')' Punctuation -' ' Text +' ' Text.Whitespace '"3rd"' Literal.String -'\n ' Text +'\n ' Text.Whitespace '"4th"' Literal.String ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'str ' Name.Builtin '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '"hello "' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation 'field ' Name.Builtin '"a"' Literal.String ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'str ' Name.Builtin '"value_"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation '+ ' Name.Builtin '3' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '4' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '"/"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation 'name' Name.Function -' ' Text +' ' Text.Whitespace '"000001"' Literal.String ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'length ' Name.Builtin '"abc"' Literal.String ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'length ' Name.Builtin '""' Literal.String ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'levenshtein ' Name.Builtin @@ -462,10 +462,10 @@ 'f ' Name.Builtin '0' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '"a random string"' Literal.String ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'if ' Name.Builtin @@ -477,79 +477,79 @@ 'f ' Name.Builtin '0' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '"bluething"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '5' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '"bluething"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '0' Literal.Number.Integer ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'occurrences ' Name.Builtin '"howdy woman, howdy"' Literal.String -' ' Text +' ' Text.Whitespace '"howdy"' Literal.String ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'occurrences ' Name.Builtin '"howdy woman"' Literal.String -' ' Text +' ' Text.Whitespace '"Man"' Literal.String -' ' Text +' ' Text.Whitespace 'true' Name.Variable ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'occurrences ' Name.Builtin '"howdy man"' Literal.String -' ' Text +' ' Text.Whitespace '"Man"' Literal.String -' ' Text +' ' Text.Whitespace 'true' Name.Variable ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'occurrences ' Name.Builtin '"hola, Holas"' Literal.String -' ' Text +' ' Text.Whitespace '"hola"' Literal.String -' ' Text +' ' Text.Whitespace 'true' Name.Variable -' ' Text +' ' Text.Whitespace '"es"' Literal.String ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'md5 ' Name.Builtin '"a text"' Literal.String ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'sha1 ' Name.Builtin '"a text"' Literal.String ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'sha256 ' Name.Builtin '""' Literal.String ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'matches? ' Name.Builtin @@ -557,10 +557,10 @@ 'field ' Name.Builtin '"name"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '".*\\\\sHal\\\\s.*"' Literal.String ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'matches? ' Name.Builtin @@ -568,10 +568,10 @@ 'field ' Name.Builtin '"name"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '"(?i).*\\\\shal\\\\s.*"' Literal.String ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'if ' Name.Builtin @@ -581,7 +581,7 @@ 'f ' Name.Builtin '"result"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 're-quote ' Name.Builtin '(' Punctuation @@ -590,12 +590,12 @@ ')' Punctuation ')' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '"GOOD"' Literal.String -' ' Text +' ' Text.Whitespace '"MISS"' Literal.String ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'matches? ' Name.Builtin @@ -603,11 +603,11 @@ 'f ' Name.Builtin '"name"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'str ' Name.Builtin '"^"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation 're-quote ' Name.Builtin '(' Punctuation @@ -615,37 +615,37 @@ '"salutation"' Literal.String ')' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '"\\\\s *$"' Literal.String ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'replace ' Name.Builtin '"Almost Pig Latin"' Literal.String -' ' Text +' ' Text.Whitespace '"\\\\b(\\\\w)(\\\\w+)\\\\b"' Literal.String -' ' Text +' ' Text.Whitespace '"$2$1ay"' Literal.String ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'replace-first ' Name.Builtin '"swap first two words"' Literal.String -' ' Text +' ' Text.Whitespace '"(\\\\w+)(\\\\s+)(\\\\w+)"' Literal.String -' ' Text +' ' Text.Whitespace '"$3$2$1"' Literal.String ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'language ' Name.Builtin '"this is an English phrase"' Literal.String ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation '< ' Name.Builtin @@ -653,36 +653,36 @@ 'field ' Name.Builtin '0' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'field ' Name.Builtin '1' Literal.Number.Integer ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation '<= ' Name.Builtin '(' Punctuation 'field ' Name.Builtin '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '-1' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'field ' Name.Builtin '0' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'field ' Name.Builtin '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation '> ' Name.Builtin @@ -690,162 +690,162 @@ 'field ' Name.Builtin '"date"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '"07-14-1969"' Literal.String ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation '>= ' Name.Builtin '23' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '"000004"' Literal.String -' ' Text +' ' Text.Whitespace '-2' Literal.Number.Integer ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation '= ' Name.Builtin '"Dante"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation 'field ' Name.Builtin '"Author"' Literal.String ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation '= ' Name.Builtin '1300' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '(' Punctuation 'field ' Name.Builtin '"Year"' Literal.String ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation '= ' Name.Builtin '(' Punctuation 'field ' Name.Builtin '"Year"' Literal.String -' ' Text +' ' Text.Whitespace '-2' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'field ' Name.Builtin '"Year"' Literal.String -' ' Text +' ' Text.Whitespace '-1' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'field ' Name.Builtin '"Year"' Literal.String ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation '!= ' Name.Builtin '(' Punctuation 'field ' Name.Builtin '"00033"' Literal.String -' ' Text +' ' Text.Whitespace '-1' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'field ' Name.Builtin '"00033"' Literal.String -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'and ' Name.Builtin '(' Punctuation '= ' Name.Builtin '3' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '(' Punctuation 'field ' Name.Builtin '1' Literal.Number.Integer ')' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation '= ' Name.Builtin '"meh"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '"a"' Literal.String ')' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation '< ' Name.Builtin '(' Punctuation 'f ' Name.Builtin '"pregnancies"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '5' Literal.Number.Integer ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'not ' Name.Builtin 'true' Name.Variable ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'linear-regression ' Name.Builtin '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '3' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '3' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '4' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '4' Literal.Number.Integer ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'linear-regression ' Name.Builtin '2.0' Literal.Number.Float -' ' Text +' ' Text.Whitespace '3.1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '2.3' Literal.Number.Float -' ' Text +' ' Text.Whitespace '3.3' Literal.Number.Float -' ' Text +' ' Text.Whitespace '24.3' Literal.Number.Float -' ' Text +' ' Text.Whitespace '45.2' Literal.Number.Float ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'epoch-fields ' Name.Builtin @@ -854,37 +854,37 @@ '"milliseconds"' Literal.String ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'epoch-year ' Name.Builtin '(' Punctuation '* ' Name.Builtin '1000' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '"seconds"' Literal.String ')' Punctuation ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation '/' Name.Function -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '"a-datetime-string"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '1000' Literal.Number.Integer ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation '/' Name.Function -' ' Text +' ' Text.Whitespace '(' Punctuation 'epoch ' Name.Builtin '(' Punctuation @@ -892,10 +892,10 @@ '"a-datetime-string"' Literal.String ')' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '1000' Literal.Number.Integer ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'epoch-fields ' Name.Builtin @@ -904,90 +904,90 @@ '"1969-14-07T06:00:12"' Literal.String ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'epoch-hour ' Name.Builtin '(' Punctuation 'epoch ' Name.Builtin '"11~22~30"' Literal.String -' ' Text +' ' Text.Whitespace '"hh~mm~ss"' Literal.String ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'let ' Keyword '(' Punctuation 'x' Name.Function -' ' Text +' ' Text.Whitespace '(' Punctuation '+ ' Name.Builtin '(' Punctuation 'window ' Name.Builtin '"a"' Literal.String -' ' Text +' ' Text.Whitespace '-10' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '10' Literal.Number.Integer ')' Punctuation ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace 'a' Name.Variable -' ' Text +' ' Text.Whitespace '(' Punctuation '/' Name.Function -' ' Text +' ' Text.Whitespace '(' Punctuation '* ' Name.Builtin 'x' Name.Variable -' ' Text +' ' Text.Whitespace '3' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '4.34' Literal.Number.Float ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace 'y' Name.Variable -' ' Text +' ' Text.Whitespace '(' Punctuation 'if ' Name.Builtin '(' Punctuation '< ' Name.Builtin 'a' Name.Variable -' ' Text +' ' Text.Whitespace '10' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '"Good"' Literal.String -' ' Text +' ' Text.Whitespace '"Bad"' Literal.String ')' Punctuation ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation 'list ' Name.Builtin 'x' Name.Variable -' ' Text +' ' Text.Whitespace '(' Punctuation 'str ' Name.Builtin '(' Punctuation 'f ' Name.Builtin '10' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '"-"' Literal.String -' ' Text +' ' Text.Whitespace 'y' Name.Variable ')' Punctuation -' ' Text +' ' Text.Whitespace 'a' Name.Variable -' ' Text +' ' Text.Whitespace 'y' Name.Variable ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'list ' Name.Builtin @@ -995,59 +995,59 @@ 'let ' Keyword '(' Punctuation 'z' Name.Function -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '0' Literal.Number.Integer ')' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation '* ' Name.Builtin '2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '(' Punctuation '* ' Name.Builtin 'z' Name.Variable -' ' Text +' ' Text.Whitespace 'z' Name.Variable ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'log ' Name.Builtin 'z' Name.Variable ')' Punctuation ')' Punctuation ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation 'let ' Keyword '(' Punctuation 'pi' Name.Function -' ' Text +' ' Text.Whitespace '3.141592653589793' Literal.Number.Float -' ' Text +' ' Text.Whitespace 'r' Name.Variable -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '"radius"' Literal.String ')' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation '* ' Name.Builtin '4' Literal.Number.Integer -' ' Text +' ' Text.Whitespace 'pi' Name.Variable -' ' Text +' ' Text.Whitespace 'r' Name.Variable -' ' Text +' ' Text.Whitespace 'r' Name.Variable ')' Punctuation ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'if ' Name.Builtin @@ -1057,31 +1057,31 @@ 'field ' Name.Builtin '"age"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '18' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '"non-adult"' Literal.String -' ' Text +' ' Text.Whitespace '"adult"' Literal.String ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'if ' Name.Builtin '(' Punctuation '= ' Name.Builtin '"oh"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation 'field ' Name.Builtin '"000000"' Literal.String ')' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '"OH"' Literal.String ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'if ' Name.Builtin @@ -1091,15 +1091,15 @@ 'field ' Name.Builtin '"000001"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'mean ' Name.Builtin '"000001"' Literal.String ')' Punctuation ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace '"above average"' Literal.String -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation 'if ' Name.Builtin '(' Punctuation @@ -1108,19 +1108,19 @@ 'field ' Name.Builtin '"000001"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'mean ' Name.Builtin '"000001"' Literal.String ')' Punctuation ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace '"below average"' Literal.String -'\n ' Text +'\n ' Text.Whitespace '"mediocre"' Literal.String ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'cond ' Name.Builtin @@ -1130,33 +1130,33 @@ 'f ' Name.Builtin '"000001"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'mean ' Name.Builtin '"000001"' Literal.String ')' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '"above average"' Literal.String -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation '= ' Name.Builtin '(' Punctuation 'f ' Name.Builtin '"000001"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'mean ' Name.Builtin '"000001"' Literal.String ')' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '"below average"' Literal.String -'\n ' Text +'\n ' Text.Whitespace '"mediocre"' Literal.String ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'cond ' Name.Builtin @@ -1165,77 +1165,77 @@ '(' Punctuation '= ' Name.Builtin '"a"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '0' Literal.Number.Integer ')' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation '= ' Name.Builtin '"a+"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '0' Literal.Number.Integer ')' Punctuation ')' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation 'or ' Name.Builtin '(' Punctuation '= ' Name.Builtin '"b"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '0' Literal.Number.Integer ')' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation '= ' Name.Builtin '"b+"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '0' Literal.Number.Integer ')' Punctuation ')' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation 'or ' Name.Builtin '(' Punctuation '= ' Name.Builtin '"c"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '0' Literal.Number.Integer ')' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation '= ' Name.Builtin '"c+"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '0' Literal.Number.Integer ')' Punctuation ')' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '-1' Literal.Number.Integer ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'cond ' Name.Builtin @@ -1245,83 +1245,83 @@ 'f ' Name.Builtin '"age"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '"baby"' Literal.String -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation 'and ' Name.Builtin '(' Punctuation '<= ' Name.Builtin '2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '"age"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '10' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation '= ' Name.Builtin '"F"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '"sex"' Literal.String ')' Punctuation ')' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '"girl"' Literal.String -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation 'and ' Name.Builtin '(' Punctuation '<= ' Name.Builtin '2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '"age"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '10' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation '= ' Name.Builtin '"M"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '"sex"' Literal.String ')' Punctuation ')' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '"boy"' Literal.String -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation '< ' Name.Builtin '10' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '"age"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '20' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '"teenager"' Literal.String -'\n ' Text +'\n ' Text.Whitespace '"adult"' Literal.String ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'list ' Name.Builtin @@ -1329,25 +1329,25 @@ 'field ' Name.Builtin '"age"' Literal.String ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation 'field ' Name.Builtin '"weight"' Literal.String -' ' Text +' ' Text.Whitespace '-1' Literal.Number.Integer ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation 'population ' Name.Builtin '"age"' Literal.String ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'list ' Name.Builtin '1.23' Literal.Number.Float -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation 'if ' Name.Builtin '(' Punctuation @@ -1356,43 +1356,43 @@ 'field ' Name.Builtin '"age"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '10' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '"child"' Literal.String -' ' Text +' ' Text.Whitespace '"adult"' Literal.String ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation 'field ' Name.Builtin '3' Literal.Number.Integer ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'head ' Name.Builtin '(' Punctuation 'cons ' Name.Builtin 'x' Name.Variable -' ' Text +' ' Text.Whitespace 'lst' Name.Variable ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'tail ' Name.Builtin '(' Punctuation 'cons ' Name.Builtin 'x' Name.Variable -' ' Text +' ' Text.Whitespace 'lst' Name.Variable ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'count ' Name.Builtin @@ -1402,116 +1402,116 @@ 'f ' Name.Builtin '1' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '2' Literal.Number.Integer ')' Punctuation ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'mode ' Name.Builtin '(' Punctuation 'list ' Name.Builtin 'a' Name.Variable -' ' Text +' ' Text.Whitespace 'b' Name.Variable -' ' Text +' ' Text.Whitespace 'b' Name.Variable -' ' Text +' ' Text.Whitespace 'c' Name.Variable -' ' Text +' ' Text.Whitespace 'b' Name.Variable -' ' Text +' ' Text.Whitespace 'a' Name.Variable -' ' Text +' ' Text.Whitespace 'c' Name.Variable -' ' Text +' ' Text.Whitespace 'c' Name.Variable -' ' Text +' ' Text.Whitespace 'c' Name.Variable ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'max ' Name.Builtin '(' Punctuation 'list ' Name.Builtin '-1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '-2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '0.38' Literal.Number.Float ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'min ' Name.Builtin '(' Punctuation 'list ' Name.Builtin '-1.3' Literal.Number.Float -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'avg ' Name.Builtin '(' Punctuation 'list ' Name.Builtin '-1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '-2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '0.8' Literal.Number.Float -' ' Text +' ' Text.Whitespace '-0.8' Literal.Number.Float ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'in ' Name.Builtin '3' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '(' Punctuation '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '3' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'in ' Name.Builtin '"abc"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '3' Literal.Number.Integer ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'in ' Name.Builtin @@ -1519,194 +1519,194 @@ 'f ' Name.Builtin '"size"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation '"X"' Literal.String -' ' Text +' ' Text.Whitespace '"XXL"' Literal.String ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation '< ' Name.Builtin '_' Literal.String.Symbol -' ' Text +' ' Text.Whitespace '3' Literal.Number.Integer ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation '+ ' Name.Builtin '(' Punctuation 'f ' Name.Builtin '"000001"' Literal.String -' ' Text +' ' Text.Whitespace '_' Literal.String.Symbol ')' Punctuation -' ' Text +' ' Text.Whitespace '3' Literal.Number.Integer ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation '< ' Name.Builtin '-18' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '_' Literal.String.Symbol -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '3' Literal.Number.Integer ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'map ' Name.Builtin '(' Punctuation '* ' Name.Builtin '2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '_' Literal.String.Symbol ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'list ' Name.Builtin '(' Punctuation 'f ' Name.Builtin '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '-1' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '0' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ')' Punctuation ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'all-but ' Name.Builtin '"id"' Literal.String -' ' Text +' ' Text.Whitespace '"000023"' Literal.String ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'fields ' Name.Builtin '"000003"' Literal.String -' ' Text +' ' Text.Whitespace '3' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '"a field"' Literal.String -' ' Text +' ' Text.Whitespace '"another"' Literal.String -' ' Text +' ' Text.Whitespace '"0002a3b-3"' Literal.String ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'all-with-defaults ' Name.Builtin '"species"' Literal.String -' ' Text +' ' Text.Whitespace '"Iris-versicolor"' Literal.String -'\n ' Text +'\n ' Text.Whitespace '"petal-width"' Literal.String -' ' Text +' ' Text.Whitespace '2.8' Literal.Number.Float -'\n ' Text +'\n ' Text.Whitespace '"000002"' Literal.String -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'all-with-numeric-default ' Name.Builtin '"median"' Literal.String ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'all-with-numeric-default ' Name.Builtin '0' Literal.Number.Integer ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'window ' Name.Builtin '"000001"' Literal.String -' ' Text +' ' Text.Whitespace '-1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer ')' Punctuation -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'filter ' Name.Builtin '(' Punctuation '< ' Name.Builtin '_' Literal.String.Symbol -' ' Text +' ' Text.Whitespace '99.9' Literal.Number.Float ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'map ' Name.Builtin '(' Punctuation '+ ' Name.Builtin '32' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '(' Punctuation '* ' Name.Builtin '1.8' Literal.Number.Float -' ' Text +' ' Text.Whitespace '_' Literal.String.Symbol ')' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'window ' Name.Builtin '"Temp"' Literal.String -' ' Text +' ' Text.Whitespace '-2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer ')' Punctuation ')' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '(' Punctuation 'let ' Keyword '(' Punctuation 'now' Name.Function -' ' Text +' ' Text.Whitespace '(' Punctuation 'f ' Name.Builtin '"epoch"' Literal.String ')' Punctuation ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation 'avg ' Name.Builtin '(' Punctuation 'cond-window ' Name.Builtin '"temperature"' Literal.String -' ' Text +' ' Text.Whitespace '(' Punctuation '< ' Name.Builtin '(' Punctuation @@ -1715,13 +1715,13 @@ 'f ' Name.Builtin '"epoch"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace 'now' Name.Variable ')' Punctuation -' ' Text +' ' Text.Whitespace '240' Literal.Number.Integer ')' Punctuation ')' Punctuation ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace diff --git a/tests/examplefiles/pan/test.pan.output b/tests/examplefiles/pan/test.pan.output index ae5677b5..582f57d3 100644 --- a/tests/examplefiles/pan/test.pan.output +++ b/tests/examplefiles/pan/test.pan.output @@ -1,175 +1,179 @@ -'object ' Keyword -'template ' Keyword +'object' Keyword +' ' Text.Whitespace +'template' Keyword +' ' Text.Whitespace 'pantest' Text ';' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '# Very simple pan test file' Comment -'\n' Text +'\n' Text.Whitespace '"/long/decimal"' Literal.String.Double -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '123' Text ';' Punctuation -'\n' Text +'\n' Text.Whitespace '"/long/octal"' Literal.String.Double -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '0755' Text ';' Punctuation -'\n' Text +'\n' Text.Whitespace '"/long/hexadecimal"' Literal.String.Double -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '0xFF' Text ';' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '"/double/simple"' Literal.String.Double -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '0.01' Text ';' Punctuation -'\n' Text +'\n' Text.Whitespace '"/double/pi"' Literal.String.Double -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '3.14159' Text ';' Punctuation -'\n' Text +'\n' Text.Whitespace '"/double/exponent"' Literal.String.Double -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '1e-8' Text ';' Punctuation -'\n' Text +'\n' Text.Whitespace '"/double/scientific"' Literal.String.Double -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '1.3E10' Text ';' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '"/string/single"' Literal.String.Double -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace "'Faster, but escapes like \\t, \\n and \\x3d don'" Literal.String.Single "'t work, but '" Literal.String.Single "' should work.'" Literal.String.Single ';' Punctuation -'\n' Text +'\n' Text.Whitespace '"/string/double"' Literal.String.Double -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '"Slower, but escapes like \\t, \\n and \\x3d do work"' Literal.String.Double ';' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace -'variable ' Keyword +'variable' Keyword +' ' Text.Whitespace 'TEST' Name.Variable -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '2' Text ';' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '"/x2"' Literal.String.Double -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'to_string' Name.Builtin '(' Operator 'TEST' Text ')' Operator ';' Punctuation -'\n' Text +'\n' Text.Whitespace '"/x2"' Literal.String.Double -' ' Text +' ' Text.Whitespace '?' Text '=' Operator -' ' Text +' ' Text.Whitespace "'Default value'" Literal.String.Single ';' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '"/x3"' Literal.String.Double -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '1' Text -' ' Text +' ' Text.Whitespace '+' Text -' ' Text +' ' Text.Whitespace '2' Text -' ' Text +' ' Text.Whitespace '+' Text -' ' Text +' ' Text.Whitespace 'value' Name.Builtin '(' Operator '"/long/decimal"' Literal.String.Double ')' Operator ';' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '"/x4"' Literal.String.Double -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'undef' Text ';' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '"/x5"' Literal.String.Double -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'null' Text ';' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace -'variable ' Keyword +'variable' Keyword +' ' Text.Whitespace 'e' Text -' ' Text +' ' Text.Whitespace '?' Text '=' Operator -' ' Text +' ' Text.Whitespace 'error' Name.Builtin '(' Operator '"Test error message"' Literal.String.Double ')' Operator ';' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '# include gmond config for services-monitoring' Comment -'\n' Text +'\n' Text.Whitespace 'include' Keyword -' ' Text +' ' Text.Whitespace '{' Operator -' ' Text +' ' Text.Whitespace "'site/ganglia/gmond/services-monitoring'" Literal.String.Single -' ' Text +' ' Text.Whitespace '}' Operator ';' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '"/software/packages"' Literal.String.Double '=' Operator @@ -181,7 +185,7 @@ ',PKG_ARCH_DEFAULT' Text ')' Operator ';' Punctuation -'\n' Text +'\n' Text.Whitespace '"/software/packages"' Literal.String.Double '=' Operator @@ -190,104 +194,108 @@ '"php"' Literal.String.Double ')' Operator ';' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace '# Example function' Comment -'\n' Text +'\n' Text.Whitespace -'function ' Keyword +'function' Keyword +' ' Text.Whitespace 'show_things_view_for_stuff' Name.Variable -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '{' Operator -'\n ' Text +'\n ' Text.Whitespace 'thing' Name.Variable -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'ARGV' Text '[' Operator '0' Text ']' Operator ';' Punctuation -'\n ' Text +'\n ' Text.Whitespace 'foreach' Keyword '(' Operator -' ' Text +' ' Text.Whitespace 'i' Text ';' Punctuation -' ' Text +' ' Text.Whitespace 'mything' Text ';' Punctuation -' ' Text +' ' Text.Whitespace 'STUFF' Text -' ' Text +' ' Text.Whitespace ')' Operator -' ' Text +' ' Text.Whitespace '{' Operator -'\n ' Text +'\n ' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Operator -' ' Text +' ' Text.Whitespace 'thing' Name.Variable -' ' Text +' ' Text.Whitespace '=' Operator '=' Operator -' ' Text +' ' Text.Whitespace 'mything' Text -' ' Text +' ' Text.Whitespace ')' Operator -' ' Text +' ' Text.Whitespace '{' Operator -'\n ' Text +'\n ' Text.Whitespace 'return' Name.Builtin '(' Operator -' ' Text +' ' Text.Whitespace 'true' Text -' ' Text +' ' Text.Whitespace ')' Operator ';' Punctuation -'\n ' Text +'\n ' Text.Whitespace '}' Operator -' ' Text +' ' Text.Whitespace 'else' Keyword -' ' Text +' ' Text.Whitespace '{' Operator -'\n ' Text -'return ' Name.Builtin +'\n ' Text.Whitespace +'return' Name.Builtin +' ' Text.Whitespace 'SELF' Text ';' Punctuation -'\n ' Text +'\n ' Text.Whitespace '}' Operator ';' Punctuation -'\n ' Text +'\n ' Text.Whitespace '}' Operator ';' Punctuation -'\n ' Text +'\n ' Text.Whitespace 'false' Text ';' Punctuation -'\n' Text +'\n' Text.Whitespace '}' Operator ';' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace -'variable ' Keyword +'variable' Keyword +' ' Text.Whitespace 'HERE' Name.Variable -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '<<EOF;\n; This example demonstrates an in-line heredoc style config file\n[main]\nawesome = true\nEOF' Literal.String -'\n\n' Text +'\n\n' Text.Whitespace -'variable ' Keyword +'variable' Keyword +' ' Text.Whitespace 'small' Name.Variable -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'false' Text ';' Punctuation '#This should be highlighted normally again.' Comment -'\n' Text +'\n' Text.Whitespace diff --git a/tests/examplefiles/protobuf/addressbook.proto.output b/tests/examplefiles/protobuf/addressbook.proto.output index 0c79125a..34875e78 100644 --- a/tests/examplefiles/protobuf/addressbook.proto.output +++ b/tests/examplefiles/protobuf/addressbook.proto.output @@ -3,7 +3,7 @@ '\n' Text 'package' Keyword.Namespace -' ' Text +' ' Text.Whitespace 'tutorial' Name.Namespace ';' Punctuation '\n' Text @@ -11,21 +11,21 @@ '\n' Text 'option' Keyword -' ' Text +' ' Text.Whitespace 'java_package' Name.Attribute -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '"com.example.tutorial"' Literal.String ';' Punctuation '\n' Text 'option' Keyword -' ' Text +' ' Text.Whitespace 'java_outer_classname' Name.Attribute -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '"AddressBookProtos"' Literal.String ';' Punctuation '\n' Text @@ -33,152 +33,152 @@ '\n' Text 'message' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'Person' Name.Class -' ' Text +' ' Text.Whitespace '{' Punctuation '\n' Text -' ' Text +' ' Text.Whitespace 'required' Keyword -' ' Text +' ' Text.Whitespace 'string' Keyword.Type -' ' Text +' ' Text.Whitespace 'name' Name.Attribute -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ';' Punctuation '\n' Text -' ' Text +' ' Text.Whitespace 'required' Keyword -' ' Text +' ' Text.Whitespace 'int32' Keyword.Type -' ' Text +' ' Text.Whitespace 'id' Name.Attribute -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer ';' Punctuation -' ' Text +' ' Text.Whitespace '// Unique ID number for this person.\n' Comment.Single -' ' Text +' ' Text.Whitespace 'optional' Keyword -' ' Text +' ' Text.Whitespace 'string' Keyword.Type -' ' Text +' ' Text.Whitespace 'email' Name.Attribute -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '3' Literal.Number.Integer ';' Punctuation '\n' Text '\n' Text -' ' Text +' ' Text.Whitespace 'enum' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'PhoneType' Name -' ' Text +' ' Text.Whitespace '{' Punctuation '\n' Text -' ' Text +' ' Text.Whitespace 'MOBILE' Name.Attribute -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer ';' Punctuation '\n' Text -' ' Text +' ' Text.Whitespace 'HOME' Name.Attribute -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ';' Punctuation '\n' Text -' ' Text +' ' Text.Whitespace 'WORK' Name.Attribute -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer ';' Punctuation '\n' Text -' ' Text +' ' Text.Whitespace '}' Punctuation '\n' Text '\n' Text -' ' Text +' ' Text.Whitespace 'message' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'PhoneNumber' Name.Class -' ' Text +' ' Text.Whitespace '{' Punctuation '\n' Text -' ' Text +' ' Text.Whitespace 'required' Keyword -' ' Text +' ' Text.Whitespace 'string' Keyword.Type -' ' Text +' ' Text.Whitespace 'number' Name.Attribute -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ';' Punctuation '\n' Text -' ' Text +' ' Text.Whitespace 'optional' Keyword -' ' Text +' ' Text.Whitespace 'PhoneType' Name -' ' Text +' ' Text.Whitespace 'type' Name.Attribute -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '[' Punctuation 'default' Keyword -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'HOME' Name ']' Punctuation ';' Punctuation '\n' Text -' ' Text +' ' Text.Whitespace '}' Punctuation '\n' Text '\n' Text -' ' Text +' ' Text.Whitespace 'repeated' Keyword -' ' Text +' ' Text.Whitespace 'PhoneNumber' Name -' ' Text +' ' Text.Whitespace 'phone' Name.Attribute -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '4' Literal.Number.Integer ';' Punctuation '\n' Text @@ -191,21 +191,21 @@ '// Our address book file is just one of these.\n' Comment.Single 'message' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'AddressBook' Name.Class -' ' Text +' ' Text.Whitespace '{' Punctuation '\n' Text -' ' Text +' ' Text.Whitespace 'repeated' Keyword -' ' Text +' ' Text.Whitespace 'Person' Name -' ' Text +' ' Text.Whitespace 'person' Name.Attribute -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ';' Punctuation '\n' Text diff --git a/tests/examplefiles/puppet/example.pp.output b/tests/examplefiles/puppet/example.pp.output index e32d7de2..77ece79e 100644 --- a/tests/examplefiles/puppet/example.pp.output +++ b/tests/examplefiles/puppet/example.pp.output @@ -1,50 +1,42 @@ 'exec' Keyword -' ' Text +' ' Text.Whitespace '{' Punctuation -' ' Text +' ' Text.Whitespace "'grep'" Literal.String ':' Punctuation -'\n' Text - -' ' Text +'\n ' Text.Whitespace 'command' Name.Attribute -' ' Text +' ' Text.Whitespace '=>' Operator -' ' Text +' ' Text.Whitespace '\'grep "\\\'" -rI *\'' Literal.String ',' Punctuation -'\n' Text - -' ' Text +'\n ' Text.Whitespace 'path' Name.Attribute -' ' Text +' ' Text.Whitespace '=>' Operator -' ' Text +' ' Text.Whitespace "'/bin:/usr/bin'" Literal.String ',' Punctuation -'\n' Text +'\n' Text.Whitespace '}' Punctuation -'\n' Text - -'\n' Text +'\n\n' Text.Whitespace 'node' Keyword -' ' Text +' ' Text.Whitespace 'default' Keyword -' ' Text +' ' Text.Whitespace '{' Punctuation -'\n' Text - -' ' Text +'\n ' Text.Whitespace 'notify' Keyword -' ' Text +' ' Text.Whitespace '{' Punctuation '"Hello World"' Literal.String ':' Punctuation ';' Punctuation '}' Punctuation -'\n' Text +'\n' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace diff --git a/tests/examplefiles/rsl/test.rsl.output b/tests/examplefiles/rsl/test.rsl.output index e672ede1..e2ccd5ef 100644 --- a/tests/examplefiles/rsl/test.rsl.output +++ b/tests/examplefiles/rsl/test.rsl.output @@ -1,28 +1,19 @@ 'scheme' Keyword -' ' Text +' ' Text.Whitespace 'COMPILER' Keyword.Type -' ' Text +' ' Text.Whitespace '=' Text -' ' Text -'\n' Text +' \n' Text.Whitespace 'class' Keyword -'\n' Text - -' ' Text -' ' Text +'\n ' Text.Whitespace 'type' Keyword -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'Prog' Keyword.Type -' ' Text +' ' Text.Whitespace '=' Text '=' Text -' ' Text +' ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -35,36 +26,18 @@ 't' Text 'm' Text 't' Text -' ' Text +' ' Text.Whitespace ':' Text -' ' Text +' ' Text.Whitespace 'Stmt' Keyword.Type ')' Text ',' Text -' ' Text -' ' Text -'\n' Text - -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text +' \n\n ' Text.Whitespace 'Stmt' Keyword.Type -' ' Text +' ' Text.Whitespace '=' Text '=' Text -' ' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -76,35 +49,24 @@ 'i' Text 'd' Text 'e' Text -' ' Text +' ' Text.Whitespace ':' Text -' ' Text +' ' Text.Whitespace 'Identifier' Keyword.Type ',' Text -' ' Text -' ' Text +' ' Text.Whitespace 'e' Text 'x' Text 'p' Text 'r' Text -' ' Text +' ' Text.Whitespace ':' Text -' ' Text +' ' Text.Whitespace 'Expr' Keyword.Type ')' Text -' ' Text +' ' Text.Whitespace '|' Text -' ' Text -' ' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -115,41 +77,30 @@ 'o' Text 'n' Text 'd' Text -' ' Text +' ' Text.Whitespace ':' Text -' ' Text +' ' Text.Whitespace 'Expr' Keyword.Type ',' Text -' ' Text -' ' Text +' ' Text.Whitespace 's' Text '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace ':' Text -' ' Text +' ' Text.Whitespace 'Stmt' Keyword.Type ',' Text -' ' Text +' ' Text.Whitespace 's' Text '2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace ':' Text -' ' Text +' ' Text.Whitespace 'Stmt' Keyword.Type ')' Text -' ' Text +' ' Text.Whitespace '|' Text -' ' Text -' ' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -161,46 +112,28 @@ 'e' Text 'a' Text 'd' Text -' ' Text +' ' Text.Whitespace ':' Text -' ' Text +' ' Text.Whitespace 'Stmt' Keyword.Type ',' Text -' ' Text -' ' Text +' ' Text.Whitespace 'l' Text 'a' Text 's' Text 't' Text -' ' Text +' ' Text.Whitespace ':' Text -' ' Text +' ' Text.Whitespace 'Stmt' Keyword.Type ')' Text ',' Text -' ' Text -' ' Text -'\n' Text - -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text +' \n\n ' Text.Whitespace 'Expr' Keyword.Type -' ' Text +' ' Text.Whitespace '=' Text '=' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -215,23 +148,14 @@ 'n' Text 's' Text 't' Text -' ' Text +' ' Text.Whitespace ':' Text -' ' Text +' ' Text.Whitespace 'Int' Keyword ')' Text -' ' Text +' ' Text.Whitespace '|' Text -' ' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -243,31 +167,23 @@ 'f' Text 's' Text 't' Text -' ' Text +' ' Text.Whitespace ':' Text -' ' Text +' ' Text.Whitespace 'Expr' Keyword.Type ',' Text -' ' Text -' ' Text +' ' Text.Whitespace 's' Text 'n' Text 'd' Text -' ' Text +' ' Text.Whitespace ':' Text -' ' Text +' ' Text.Whitespace 'Expr' Keyword.Type ')' Text -' ' Text +' ' Text.Whitespace '|' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -277,73 +193,54 @@ 'i' Text 'd' Text 'e' Text -' ' Text +' ' Text.Whitespace ':' Text -' ' Text +' ' Text.Whitespace 'Identifier' Keyword.Type ')' Text ',' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'Identifier' Keyword.Type -' ' Text +' ' Text.Whitespace '=' Text -' ' Text +' ' Text.Whitespace 'Text' Keyword -'\n' Text - -'\n' Text +'\n\n' Text.Whitespace 'type' Keyword -' ' Text +' ' Text.Whitespace '/* storage for program variables */' Comment -'\n' Text - -' ' Text -' ' Text +'\n ' Text.Whitespace '`' Text 'Sigma' Keyword.Type -' ' Text +' ' Text.Whitespace '=' Text -' ' Text +' ' Text.Whitespace 'Identifier' Keyword.Type -' ' Text +' ' Text.Whitespace '-m->' Operator -' ' Text +' ' Text.Whitespace 'Int' Keyword -' ' Text -'\n' Text - -'\n' Text +' \n\n' Text.Whitespace 'value' Keyword -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -'\n' Text - -' m : ' Name.Function +' \n ' Text.Whitespace +'m' Text +' ' Text.Whitespace +':' Text +' ' Text.Whitespace 'Prog' Keyword.Type -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace '`' Text 'Sigma' Keyword.Type -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace '`' Text 'Sigma' Keyword.Type -'\n' Text - -' ' Text -' ' Text +'\n ' Text.Whitespace 'm' Text '(' Text 'p' Text @@ -356,11 +253,9 @@ 'm' Text 'a' Text ')' Text -' ' Text -' ' Text +' ' Text.Whitespace 'is' Keyword -' ' Text -' ' Text +' ' Text.Whitespace 'm' Text '(' Text 's' Text @@ -380,28 +275,23 @@ 'a' Text ')' Text ',' Text -' ' Text -' ' Text -'\n' Text - -'\n' Text - -' m : ' Name.Function +' \n\n ' Text.Whitespace +'m' Text +' ' Text.Whitespace +':' Text +' ' Text.Whitespace 'Stmt' Keyword.Type -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace '`' Text 'Sigma' Keyword.Type -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace '`' Text 'Sigma' Keyword.Type -'\n' Text - -' ' Text -' ' Text +'\n ' Text.Whitespace 'm' Text '(' Text 's' Text @@ -414,31 +304,15 @@ 'm' Text 'a' Text ')' Text -' ' Text -' ' Text +' ' Text.Whitespace 'is' Keyword -' ' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'case' Keyword -' ' Text +' ' Text.Whitespace 's' Text -' ' Text +' ' Text.Whitespace 'of' Keyword -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -449,26 +323,26 @@ '(' Text 'i' Text ',' Text -' ' Text +' ' Text.Whitespace 'e' Text ')' Text -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace '`' Text 's' Text 'i' Text 'g' Text 'm' Text 'a' Text -' ' Text +' ' Text.Whitespace '!!' Operator -' ' Text +' ' Text.Whitespace '[' Text 'i' Text -' ' Text +' ' Text.Whitespace '+>' Operator -' ' Text +' ' Text.Whitespace 'm' Text '(' Text 'e' Text @@ -483,15 +357,7 @@ ')' Text ']' Text ',' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -502,13 +368,13 @@ 's' Text '1' Literal.Number.Integer ',' Text -' ' Text +' ' Text.Whitespace 's' Text '2' Literal.Number.Integer ')' Text -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'm' Text '(' Text 's' Text @@ -530,15 +396,7 @@ ')' Text ')' Text ',' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -547,29 +405,19 @@ '(' Text 'c' Text ',' Text -' ' Text +' ' Text.Whitespace 's' Text '1' Literal.Number.Integer ',' Text -' ' Text +' ' Text.Whitespace 's' Text '2' Literal.Number.Integer ')' Text -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace 'm' Text '(' Text 'c' Text @@ -582,13 +430,13 @@ 'm' Text 'a' Text ')' Text -' ' Text +' ' Text.Whitespace '~=' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace 'then' Keyword -' ' Text +' ' Text.Whitespace 'm' Text '(' Text 's' Text @@ -602,9 +450,9 @@ 'm' Text 'a' Text ')' Text -' ' Text +' ' Text.Whitespace 'else' Keyword -' ' Text +' ' Text.Whitespace 'm' Text '(' Text 's' Text @@ -618,43 +466,27 @@ 'm' Text 'a' Text ')' Text -' ' Text +' ' Text.Whitespace 'end' Keyword -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'end' Keyword ',' Text -'\n' Text - -' ' Text -' ' Text -'\n' Text - -' m : ' Name.Function +'\n \n ' Text.Whitespace +'m' Text +' ' Text.Whitespace +':' Text +' ' Text.Whitespace 'Expr' Keyword.Type -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace '`' Text 'Sigma' Keyword.Type -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'Int' Keyword -'\n' Text - -' ' Text -' ' Text +'\n ' Text.Whitespace 'm' Text '(' Text 'e' Text @@ -667,31 +499,15 @@ 'm' Text 'a' Text ')' Text -' ' Text -' ' Text +' ' Text.Whitespace 'is' Keyword -' ' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'case' Keyword -' ' Text +' ' Text.Whitespace 'e' Text -' ' Text +' ' Text.Whitespace 'of' Keyword -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -703,20 +519,12 @@ '(' Text 'n' Text ')' Text -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'n' Text ',' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -728,13 +536,13 @@ 'e' Text '1' Literal.Number.Integer ',' Text -' ' Text +' ' Text.Whitespace 'e' Text '2' Literal.Number.Integer ')' Text -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'm' Text '(' Text 'e' Text @@ -748,9 +556,9 @@ 'm' Text 'a' Text ')' Text -' ' Text +' ' Text.Whitespace '+' Text -' ' Text +' ' Text.Whitespace 'm' Text '(' Text 'e' Text @@ -765,15 +573,7 @@ 'a' Text ')' Text ',' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -783,28 +583,27 @@ 'i' Text 'd' Text ')' Text -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace 'i' Text 'd' Text -' ' Text +' ' Text.Whitespace 'isin' Keyword -' ' Text -' ' Text +' ' Text.Whitespace 'dom' Keyword -' ' Text +' ' Text.Whitespace '`' Text 's' Text 'i' Text 'g' Text 'm' Text 'a' Text -' ' Text +' ' Text.Whitespace 'then' Keyword -' ' Text +' ' Text.Whitespace '`' Text 's' Text 'i' Text @@ -815,53 +614,31 @@ 'i' Text 'd' Text ')' Text -' ' Text +' ' Text.Whitespace 'else' Keyword -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace 'end' Keyword -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'end' Keyword -' ' Text -'\n' Text - -'\n' Text +' \n\n' Text.Whitespace 'type' Keyword -'\n' Text - -' ' Text -' ' Text +'\n ' Text.Whitespace 'MProg' Keyword.Type -' ' Text +' ' Text.Whitespace '=' Text -' ' Text +' ' Text.Whitespace 'Inst' Keyword.Type '-list' Keyword ',' Text -'\n' Text - -' ' Text -' ' Text +'\n ' Text.Whitespace 'Inst' Keyword.Type -' ' Text +' ' Text.Whitespace '=' Text '=' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -874,21 +651,14 @@ 'd' Text 'e' Text '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace ':' Text -' ' Text +' ' Text.Whitespace 'Identifier' Keyword.Type ')' Text -' ' Text +' ' Text.Whitespace '|' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -898,16 +668,9 @@ '(' Text 'Unit' Keyword ')' Text -' ' Text +' ' Text.Whitespace '|' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -917,16 +680,9 @@ '(' Text 'Unit' Keyword ')' Text -' ' Text +' ' Text.Whitespace '|' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -938,21 +694,14 @@ 'v' Text 'a' Text 'l' Text -' ' Text +' ' Text.Whitespace ':' Text -' ' Text +' ' Text.Whitespace 'Int' Keyword ')' Text -' ' Text +' ' Text.Whitespace '|' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -966,21 +715,14 @@ 'd' Text 'e' Text '2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace ':' Text -' ' Text +' ' Text.Whitespace 'Identifier' Keyword.Type ')' Text -' ' Text +' ' Text.Whitespace '|' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -994,21 +736,14 @@ 'f' Text 'f' Text '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace ':' Text -' ' Text +' ' Text.Whitespace 'Int' Keyword ')' Text -' ' Text +' ' Text.Whitespace '|' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -1021,73 +756,63 @@ 'f' Text 'f' Text '2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace ':' Text -' ' Text +' ' Text.Whitespace 'Int' Keyword ')' Text -' ' Text -'\n' Text - -'\n' Text - -'\n' Text +' \n\n\n' Text.Whitespace '/* An interpreter for SMALL instructions */' Comment -'\n' Text - -'\n' Text +'\n\n' Text.Whitespace 'type' Keyword -' ' Text -' ' Text +' ' Text.Whitespace 'Stack' Keyword.Type -' ' Text +' ' Text.Whitespace '=' Text -' ' Text +' ' Text.Whitespace 'Int' Keyword '-list' Keyword -'\n' Text +'\n' Text.Whitespace 'value' Keyword -' ' Text -'\n' Text - -' I : ' Name.Function +' \n ' Text.Whitespace +'I' Keyword.Type +' ' Text.Whitespace +':' Text +' ' Text.Whitespace 'MProg' Keyword.Type -' ' Text +' ' Text.Whitespace '><' Operator -' ' Text +' ' Text.Whitespace 'Int' Keyword -' ' Text +' ' Text.Whitespace '><' Operator -' ' Text +' ' Text.Whitespace 'Stack' Keyword.Type -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace '(' Text '`' Text 'Sigma' Keyword.Type -' ' Text +' ' Text.Whitespace '->' Operator '`' Text 'Sigma' Keyword.Type ')' Text -'\n' Text - -' ' Text -' ' Text +'\n ' Text.Whitespace 'I' Keyword.Type '(' Text 'm' Text 'p' Text ',' Text -' ' Text +' ' Text.Whitespace 'p' Text 'c' Text ',' Text -' ' Text +' ' Text.Whitespace 's' Text ')' Text '(' Text @@ -1098,75 +823,52 @@ 'm' Text 'a' Text ')' Text -' ' Text +' ' Text.Whitespace 'is' Keyword -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace 'p' Text 'c' Text -' ' Text +' ' Text.Whitespace '<=' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '\\/' Operator -' ' Text +' ' Text.Whitespace 'p' Text 'c' Text -' ' Text +' ' Text.Whitespace '>' Text -' ' Text +' ' Text.Whitespace 'len' Keyword -' ' Text +' ' Text.Whitespace 'm' Text 'p' Text -' ' Text +' ' Text.Whitespace 'then' Keyword -' ' Text +' ' Text.Whitespace '`' Text 's' Text 'i' Text 'g' Text 'm' Text 'a' Text -' ' Text +' ' Text.Whitespace 'else' Keyword -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'case' Keyword -' ' Text -' ' Text +' ' Text.Whitespace 'm' Text 'p' Text '(' Text 'p' Text 'c' Text ')' Text -' ' Text +' ' Text.Whitespace 'of' Keyword -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -1177,52 +879,40 @@ '(' Text 'x' Text ')' Text -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace 'x' Text -' ' Text +' ' Text.Whitespace 'isin' Keyword -' ' Text +' ' Text.Whitespace 'dom' Keyword -' ' Text +' ' Text.Whitespace '`' Text 's' Text 'i' Text 'g' Text 'm' Text 'a' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'then' Keyword -' ' Text +' ' Text.Whitespace 'I' Keyword.Type '(' Text 'm' Text 'p' Text ',' Text -' ' Text +' ' Text.Whitespace 'p' Text 'c' Text -' ' Text +' ' Text.Whitespace '+' Text -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ',' Text -' ' Text +' ' Text.Whitespace '<.' Operator '`' Text 's' Text @@ -1234,9 +924,9 @@ 'x' Text ')' Text '.>' Operator -' ' Text +' ' Text.Whitespace '^' Text -' ' Text +' ' Text.Whitespace 's' Text ')' Text '(' Text @@ -1247,41 +937,29 @@ 'm' Text 'a' Text ')' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'else' Keyword -' ' Text -' ' Text +' ' Text.Whitespace 'I' Keyword.Type '(' Text 'm' Text 'p' Text ',' Text -' ' Text +' ' Text.Whitespace 'p' Text 'c' Text -' ' Text +' ' Text.Whitespace '+' Text -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ',' Text -' ' Text +' ' Text.Whitespace '<.' Operator '0' Literal.Number.Integer '.>' Operator -' ' Text +' ' Text.Whitespace '^' Text -' ' Text +' ' Text.Whitespace 's' Text ')' Text '(' Text @@ -1292,19 +970,10 @@ 'm' Text 'a' Text ')' Text -' ' Text +' ' Text.Whitespace 'end' Keyword ',' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -1315,57 +984,46 @@ '(' Text ')' Text ')' Text -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace 'len' Keyword -' ' Text +' ' Text.Whitespace 's' Text -' ' Text +' ' Text.Whitespace '=' Text -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace 'then' Keyword -' ' Text +' ' Text.Whitespace '`' Text 's' Text 'i' Text 'g' Text 'm' Text 'a' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'else' Keyword -' ' Text +' ' Text.Whitespace 'I' Keyword.Type '(' Text 'm' Text 'p' Text ',' Text -' ' Text +' ' Text.Whitespace 'p' Text 'c' Text -' ' Text +' ' Text.Whitespace '+' Text -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ',' Text -' ' Text +' ' Text.Whitespace 'tl' Keyword -' ' Text +' ' Text.Whitespace 's' Text ')' Text '(' Text @@ -1376,19 +1034,10 @@ 'm' Text 'a' Text ')' Text -' ' Text +' ' Text.Whitespace 'end' Keyword ',' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -1399,31 +1048,29 @@ '(' Text 'n' Text ')' Text -' ' Text -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'I' Keyword.Type '(' Text 'm' Text 'p' Text ',' Text -' ' Text +' ' Text.Whitespace 'p' Text 'c' Text -' ' Text +' ' Text.Whitespace '+' Text -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ',' Text -' ' Text +' ' Text.Whitespace '<.' Operator 'n' Text '.>' Operator -' ' Text +' ' Text.Whitespace '^' Text -' ' Text -' ' Text +' ' Text.Whitespace 's' Text ')' Text '(' Text @@ -1435,16 +1082,7 @@ 'a' Text ')' Text ',' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -1455,54 +1093,41 @@ '(' Text ')' Text ')' Text -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace 'len' Keyword -' ' Text +' ' Text.Whitespace 's' Text -' ' Text +' ' Text.Whitespace '<' Text -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace 'then' Keyword -' ' Text +' ' Text.Whitespace '`' Text 's' Text 'i' Text 'g' Text 'm' Text 'a' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'else' Keyword -' ' Text -' ' Text +' ' Text.Whitespace 'I' Keyword.Type '(' Text 'm' Text 'p' Text ',' Text -' ' Text +' ' Text.Whitespace 'p' Text 'c' Text -' ' Text +' ' Text.Whitespace '+' Text -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ',' Text '<.' Operator @@ -1510,21 +1135,21 @@ '(' Text '1' Literal.Number.Integer ')' Text -' ' Text +' ' Text.Whitespace '+' Text -' ' Text +' ' Text.Whitespace 's' Text '(' Text '2' Literal.Number.Integer ')' Text '.>' Operator -' ' Text +' ' Text.Whitespace '^' Text -' ' Text +' ' Text.Whitespace 'tl' Keyword -' ' Text +' ' Text.Whitespace 'tl' Keyword -' ' Text +' ' Text.Whitespace 's' Text ')' Text '(' Text @@ -1535,19 +1160,10 @@ 'm' Text 'a' Text ')' Text -' ' Text +' ' Text.Whitespace 'end' Keyword ',' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -1559,55 +1175,44 @@ '(' Text 'x' Text ')' Text -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace 'len' Keyword -' ' Text +' ' Text.Whitespace 's' Text -' ' Text +' ' Text.Whitespace '=' Text -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace 'then' Keyword -' ' Text +' ' Text.Whitespace '`' Text 's' Text 'i' Text 'g' Text 'm' Text 'a' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'else' Keyword -' ' Text +' ' Text.Whitespace 'I' Keyword.Type '(' Text 'm' Text 'p' Text ',' Text -' ' Text +' ' Text.Whitespace 'p' Text 'c' Text -' ' Text +' ' Text.Whitespace '+' Text -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ',' Text -' ' Text +' ' Text.Whitespace 's' Text ')' Text '(' Text @@ -1617,33 +1222,24 @@ 'g' Text 'm' Text 'a' Text -' ' Text +' ' Text.Whitespace '!!' Operator -' ' Text +' ' Text.Whitespace '[' Text 'x' Text -' ' Text +' ' Text.Whitespace '+>' Operator -' ' Text +' ' Text.Whitespace 's' Text '(' Text '1' Literal.Number.Integer ')' Text ']' Text ')' Text -' ' Text +' ' Text.Whitespace 'end' Keyword ',' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -1655,71 +1251,58 @@ '(' Text 'n' Text ')' Text -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace 'len' Keyword -' ' Text +' ' Text.Whitespace 's' Text -' ' Text +' ' Text.Whitespace '=' Text -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace 'then' Keyword -' ' Text +' ' Text.Whitespace '`' Text 's' Text 'i' Text 'g' Text 'm' Text 'a' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'e' Text 'l' Text 's' Text 'i' Text 'f' Text -' ' Text -' ' Text +' ' Text.Whitespace 'hd' Keyword -' ' Text +' ' Text.Whitespace 's' Text -' ' Text +' ' Text.Whitespace '~=' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -' ' Text -' ' Text +' ' Text.Whitespace 'then' Keyword -' ' Text +' ' Text.Whitespace 'I' Keyword.Type '(' Text 'm' Text 'p' Text ',' Text -' ' Text +' ' Text.Whitespace 'p' Text 'c' Text -' ' Text +' ' Text.Whitespace '+' Text -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ',' Text -' ' Text +' ' Text.Whitespace 's' Text ')' Text '(' Text @@ -1730,35 +1313,23 @@ 'm' Text 'a' Text ')' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'else' Keyword -' ' Text +' ' Text.Whitespace 'I' Keyword.Type '(' Text 'm' Text 'p' Text ',' Text -' ' Text +' ' Text.Whitespace 'p' Text 'c' Text -' ' Text +' ' Text.Whitespace '+' Text -' ' Text +' ' Text.Whitespace 'n' Text ',' Text -' ' Text +' ' Text.Whitespace 's' Text ')' Text '(' Text @@ -1769,19 +1340,10 @@ 'm' Text 'a' Text ')' Text -' ' Text +' ' Text.Whitespace 'end' Keyword ',' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -1792,23 +1354,23 @@ '(' Text 'n' Text ')' Text -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'I' Keyword.Type '(' Text 'm' Text 'p' Text ',' Text -' ' Text +' ' Text.Whitespace 'p' Text 'c' Text -' ' Text +' ' Text.Whitespace '+' Text -' ' Text +' ' Text.Whitespace 'n' Text ',' Text -' ' Text +' ' Text.Whitespace 's' Text ')' Text '(' Text @@ -1819,45 +1381,47 @@ 'm' Text 'a' Text ')' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'end' Keyword -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'end' Keyword -' ' Text -' ' Text -'\n' Text - -'\n' Text +' \n\n' Text.Whitespace 'value' Keyword -'\n' Text - -' comp_Prog : ' Name.Function +'\n ' Text.Whitespace +'c' Text +'o' Text +'m' Text +'p' Text +'_' Text +'P' Text +'r' Text +'o' Text +'g' Text +' ' Text.Whitespace +':' Text +' ' Text.Whitespace 'Prog' Keyword.Type -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'MProg' Keyword.Type -'\n' Text - -' ' Text -'comp_Prog' Name.Function -'(p) ' Text +'\n ' Text.Whitespace +'c' Text +'o' Text +'m' Text +'p' Text +'_' Text +'P' Text +'r' Text +'o' Text +'g' Text +'(' Text +'p' Text +')' Text +' ' Text.Whitespace 'is' Keyword -' ' Text +' ' Text.Whitespace 'c' Text 'o' Text 'm' Text @@ -1877,41 +1441,46 @@ ')' Text ')' Text ',' Text -'\n' Text - -'\n' Text - -' comp_Stmt : ' Name.Function +'\n\n ' Text.Whitespace +'c' Text +'o' Text +'m' Text +'p' Text +'_' Text +'S' Text +'t' Text +'m' Text +'t' Text +' ' Text.Whitespace +':' Text +' ' Text.Whitespace 'Stmt' Keyword.Type -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'MProg' Keyword.Type -'\n' Text - -' ' Text -'comp_Stmt' Name.Function -'(s) ' Text +'\n ' Text.Whitespace +'c' Text +'o' Text +'m' Text +'p' Text +'_' Text +'S' Text +'t' Text +'m' Text +'t' Text +'(' Text +'s' Text +')' Text +' ' Text.Whitespace 'is' Keyword -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'case' Keyword -' ' Text +' ' Text.Whitespace 's' Text -' ' Text +' ' Text.Whitespace 'of' Keyword -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -1923,12 +1492,12 @@ 'i' Text 'd' Text ',' Text -' ' Text +' ' Text.Whitespace 'e' Text ')' Text -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'c' Text 'o' Text 'm' Text @@ -1941,11 +1510,11 @@ '(' Text 'e' Text ')' Text -' ' Text +' ' Text.Whitespace '^' Text -' ' Text +' ' Text.Whitespace '<.' Operator -' ' Text +' ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -1959,7 +1528,7 @@ 'd' Text ')' Text ',' Text -' ' Text +' ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -1968,17 +1537,10 @@ 'p' Text '(' Text ')' Text -' ' Text +' ' Text.Whitespace '.>' Operator ',' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -1989,13 +1551,13 @@ 's' Text '1' Literal.Number.Integer ',' Text -' ' Text +' ' Text.Whitespace 's' Text '2' Literal.Number.Integer ')' Text -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'c' Text 'o' Text 'm' Text @@ -2009,9 +1571,9 @@ 's' Text '1' Literal.Number.Integer ')' Text -' ' Text +' ' Text.Whitespace '^' Text -' ' Text +' ' Text.Whitespace 'c' Text 'o' Text 'm' Text @@ -2026,14 +1588,7 @@ '2' Literal.Number.Integer ')' Text ',' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -2042,44 +1597,24 @@ '(' Text 'e' Text ',' Text -' ' Text +' ' Text.Whitespace 's' Text '1' Literal.Number.Integer ',' Text -' ' Text +' ' Text.Whitespace 's' Text '2' Literal.Number.Integer ')' Text -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'let' Keyword -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'c' Text 'e' Text -' ' Text +' ' Text.Whitespace '=' Text -' ' Text +' ' Text.Whitespace 'c' Text 'o' Text 'm' Text @@ -2093,24 +1628,13 @@ 'e' Text ')' Text ',' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'c' Text 's' Text '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '=' Text -' ' Text +' ' Text.Whitespace 'c' Text 'o' Text 'm' Text @@ -2125,13 +1649,13 @@ '1' Literal.Number.Integer ')' Text ',' Text -' ' Text +' ' Text.Whitespace 'c' Text 's' Text '2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '=' Text -' ' Text +' ' Text.Whitespace 'c' Text 'o' Text 'm' Text @@ -2145,50 +1669,16 @@ 's' Text '2' Literal.Number.Integer ')' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'in' Keyword -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'c' Text 'e' Text -' ' Text +' ' Text.Whitespace '^' Text -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace '<.' Operator -' ' Text +' ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -2199,34 +1689,22 @@ 'false' Keyword.Constant '(' Text 'len' Keyword -' ' Text +' ' Text.Whitespace 'c' Text 's' Text '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '+' Text -' ' Text +' ' Text.Whitespace '3' Literal.Number.Integer ')' Text -' ' Text +' ' Text.Whitespace '.>' Operator -' ' Text +' ' Text.Whitespace '^' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace '<.' Operator -' ' Text +' ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -2235,43 +1713,19 @@ 'p' Text '(' Text ')' Text -' ' Text +' ' Text.Whitespace '.>' Operator -' ' Text +' ' Text.Whitespace '^' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'c' Text 's' Text '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '^' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace '<.' Operator -' ' Text +' ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -2281,34 +1735,22 @@ 'p' Text '(' Text 'len' Keyword -' ' Text +' ' Text.Whitespace 'c' Text 's' Text '2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '+' Text -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer ')' Text -' ' Text +' ' Text.Whitespace '.>' Operator -' ' Text +' ' Text.Whitespace '^' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace '<.' Operator -' ' Text +' ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -2317,80 +1759,59 @@ 'p' Text '(' Text ')' Text -' ' Text +' ' Text.Whitespace '.>' Operator -' ' Text +' ' Text.Whitespace '^' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'c' Text 's' Text '2' Literal.Number.Integer -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'end' Keyword -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'end' Keyword ',' Text -'\n' Text - -'\n' Text - -' comp_Expr : ' Name.Function +'\n\n ' Text.Whitespace +'c' Text +'o' Text +'m' Text +'p' Text +'_' Text +'E' Text +'x' Text +'p' Text +'r' Text +' ' Text.Whitespace +':' Text +' ' Text.Whitespace 'Expr' Keyword.Type -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace 'MProg' Keyword.Type -'\n' Text - -' ' Text -'comp_Expr' Name.Function -'(e) ' Text +'\n ' Text.Whitespace +'c' Text +'o' Text +'m' Text +'p' Text +'_' Text +'E' Text +'x' Text +'p' Text +'r' Text +'(' Text +'e' Text +')' Text +' ' Text.Whitespace 'is' Keyword -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'case' Keyword -' ' Text +' ' Text.Whitespace 'e' Text -' ' Text +' ' Text.Whitespace 'of' Keyword -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -2402,11 +1823,11 @@ '(' Text 'n' Text ')' Text -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace '<.' Operator -' ' Text +' ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -2417,17 +1838,10 @@ '(' Text 'n' Text ')' Text -' ' Text +' ' Text.Whitespace '.>' Operator ',' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -2439,23 +1853,13 @@ 'e' Text '1' Literal.Number.Integer ',' Text -' ' Text +' ' Text.Whitespace 'e' Text '2' Literal.Number.Integer ')' Text -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +' \n ' Text.Whitespace 'c' Text 'o' Text 'm' Text @@ -2469,9 +1873,9 @@ 'e' Text '1' Literal.Number.Integer ')' Text -' ' Text +' ' Text.Whitespace '^' Text -' ' Text +' ' Text.Whitespace 'c' Text 'o' Text 'm' Text @@ -2485,11 +1889,11 @@ 'e' Text '2' Literal.Number.Integer ')' Text -' ' Text +' ' Text.Whitespace '^' Text -' ' Text +' ' Text.Whitespace '<.' Operator -' ' Text +' ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -2498,17 +1902,10 @@ 'd' Text '(' Text ')' Text -' ' Text +' ' Text.Whitespace '.>' Operator ',' Text -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -2518,11 +1915,11 @@ 'i' Text 'd' Text ')' Text -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace '<.' Operator -' ' Text +' ' Text.Whitespace 'm' Text 'k' Text '_' Text @@ -2534,18 +1931,11 @@ 'i' Text 'd' Text ')' Text -' ' Text +' ' Text.Whitespace '.>' Operator -'\n' Text - -' ' Text -' ' Text -' ' Text -' ' Text +'\n ' Text.Whitespace 'end' Keyword -'\n' Text - -'\n' Text +'\n\n' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace diff --git a/tests/examplefiles/snowball/example.sbl.output b/tests/examplefiles/snowball/example.sbl.output index e3e2996d..c91d7e58 100644 --- a/tests/examplefiles/snowball/example.sbl.output +++ b/tests/examplefiles/snowball/example.sbl.output @@ -1,218 +1,218 @@ '/* Stemmer for Esperanto in UTF-8 */' Comment.Multiline -'\n\n' Text +'\n\n' Text.Whitespace 'strings' Keyword.Reserved -' ' Text +' ' Text.Whitespace '(' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace 'integers' Keyword.Reserved -' ' Text +' ' Text.Whitespace '(' Punctuation ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace 'booleans' Keyword.Reserved -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'foreign' Name -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace 'routines' Keyword.Reserved -' ' Text +' ' Text.Whitespace '(' Punctuation -'\n ' Text +'\n ' Text.Whitespace 'apostrophe' Name -'\n ' Text +'\n ' Text.Whitespace 'canonical_form' Name -'\n ' Text +'\n ' Text.Whitespace 'correlative' Name -'\n ' Text +'\n ' Text.Whitespace 'interjection' Name -'\n ' Text +'\n ' Text.Whitespace 'short_word' Name -'\n ' Text +'\n ' Text.Whitespace 'standard_suffix' Name -'\n ' Text +'\n ' Text.Whitespace 'unuj' Name -'\n' Text +'\n' Text.Whitespace ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace 'externals' Keyword.Reserved -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'stem' Name -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace 'groupings' Keyword.Reserved -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'vowel' Name -' ' Text +' ' Text.Whitespace 'aiou' Name -' ' Text +' ' Text.Whitespace 'ao' Name -' ' Text +' ' Text.Whitespace 'ou' Name -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace 'stringdef' Keyword.Reserved -' ' Text +' ' Text.Whitespace "a'" Literal.String.Escape -' ' Text +' ' Text.Whitespace 'decimal' Keyword.Reserved -' ' Text +' ' Text.Whitespace "'" Literal.String.Single '225' Literal.String.Single "'" Literal.String.Single -'\n' Text +'\n' Text.Whitespace 'stringdef' Keyword.Reserved -' ' Text +' ' Text.Whitespace "e'" Literal.String.Escape -' ' Text +' ' Text.Whitespace 'hex' Keyword.Reserved -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'E9' Literal.String.Single "'" Literal.String.Single -'\n' Text +'\n' Text.Whitespace 'stringdef' Keyword.Reserved -' ' Text +' ' Text.Whitespace "i'" Literal.String.Escape -' ' Text +' ' Text.Whitespace 'hex' Keyword.Reserved -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'ED' Literal.String.Single "'" Literal.String.Single -'\n' Text +'\n' Text.Whitespace 'stringdef' Keyword.Reserved -' ' Text +' ' Text.Whitespace "o'" Literal.String.Escape -' ' Text +' ' Text.Whitespace 'hex' Keyword.Reserved -' ' Text +' ' Text.Whitespace "'" Literal.String.Single ' f3' Literal.String.Single "'" Literal.String.Single -'\n' Text +'\n' Text.Whitespace 'stringdef' Keyword.Reserved -' ' Text +' ' Text.Whitespace "u'" Literal.String.Escape -' ' Text +' ' Text.Whitespace 'hex' Keyword.Reserved -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'fa ' Literal.String.Single "'" Literal.String.Single -'\n\n' Text +'\n\n' Text.Whitespace 'stringdef' Keyword.Reserved -' ' Text +' ' Text.Whitespace 'cx' Literal.String.Escape -' ' Text +' ' Text.Whitespace 'hex' Keyword.Reserved -' ' Text +' ' Text.Whitespace "'" Literal.String.Single '0109' Literal.String.Single "'" Literal.String.Single -'\n' Text +'\n' Text.Whitespace 'stringdef' Keyword.Reserved -' ' Text +' ' Text.Whitespace 'gx' Literal.String.Escape -' ' Text +' ' Text.Whitespace 'hex' Keyword.Reserved -' ' Text +' ' Text.Whitespace "'" Literal.String.Single '011D' Literal.String.Single "'" Literal.String.Single -'\n' Text +'\n' Text.Whitespace 'stringdef' Keyword.Reserved -' ' Text +' ' Text.Whitespace 'hx' Literal.String.Escape -' ' Text +' ' Text.Whitespace 'hex' Keyword.Reserved -' ' Text +' ' Text.Whitespace "'" Literal.String.Single '0125' Literal.String.Single "'" Literal.String.Single -'\n' Text +'\n' Text.Whitespace 'stringdef' Keyword.Reserved -' ' Text +' ' Text.Whitespace 'jx' Literal.String.Escape -' ' Text +' ' Text.Whitespace 'hex' Keyword.Reserved -' ' Text +' ' Text.Whitespace "'" Literal.String.Single '0135' Literal.String.Single "'" Literal.String.Single -'\n' Text +'\n' Text.Whitespace 'stringdef' Keyword.Reserved -' ' Text +' ' Text.Whitespace 'sx' Literal.String.Escape -' ' Text +' ' Text.Whitespace 'hex' Keyword.Reserved -' ' Text +' ' Text.Whitespace "'" Literal.String.Single '015D' Literal.String.Single "'" Literal.String.Single -'\n' Text +'\n' Text.Whitespace 'stringdef' Keyword.Reserved -' ' Text +' ' Text.Whitespace 'ux' Literal.String.Escape -' ' Text +' ' Text.Whitespace 'hex' Keyword.Reserved -' ' Text +' ' Text.Whitespace "'" Literal.String.Single '016D' Literal.String.Single "'" Literal.String.Single -'\n\n' Text +'\n\n' Text.Whitespace 'define' Keyword.Reserved -' ' Text +' ' Text.Whitespace 'canonical_form' Name -' ' Text +' ' Text.Whitespace 'as' Keyword.Reserved -' ' Text +' ' Text.Whitespace 'repeat' Operator.Word -' ' Text +' ' Text.Whitespace '(' Punctuation -'\n ' Text +'\n ' Text.Whitespace '[' Operator 'substring' Operator.Word ']' Operator -'\n ' Text +'\n ' Text.Whitespace 'among' Keyword.Reserved -' ' Text +' ' Text.Whitespace '(' Punctuation -'\n' Text +'\n' Text.Whitespace 'stringescapes' Keyword.Reserved -' ' Text +' ' Text.Whitespace '/' Literal.String.Escape '/' Literal.String.Escape -'\n ' Text +'\n ' Text.Whitespace "'" Literal.String.Single '' Literal.String.Single '/' Literal.String.Escape @@ -220,19 +220,19 @@ '/' Literal.String.Escape '' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace '(' Punctuation '<-' Operator -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'a' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace 'set' Operator.Word -' ' Text +' ' Text.Whitespace 'foreign' Name ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace "'" Literal.String.Single '' Literal.String.Single '/' Literal.String.Escape @@ -240,19 +240,19 @@ '/' Literal.String.Escape '' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace '(' Punctuation '<-' Operator -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'e' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace 'set' Operator.Word -' ' Text +' ' Text.Whitespace 'foreign' Name ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace "'" Literal.String.Single '' Literal.String.Single '/' Literal.String.Escape @@ -260,19 +260,19 @@ '/' Literal.String.Escape '' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace '(' Punctuation '<-' Operator -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'i' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace 'set' Operator.Word -' ' Text +' ' Text.Whitespace 'foreign' Name ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace "'" Literal.String.Single '' Literal.String.Single '/' Literal.String.Escape @@ -280,19 +280,19 @@ '/' Literal.String.Escape '' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace '(' Punctuation '<-' Operator -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'o' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace 'set' Operator.Word -' ' Text +' ' Text.Whitespace 'foreign' Name ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace "'" Literal.String.Single '' Literal.String.Single '/' Literal.String.Escape @@ -300,32 +300,32 @@ '/' Literal.String.Escape '' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace '(' Punctuation '<-' Operator -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'u' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace 'set' Operator.Word -' ' Text +' ' Text.Whitespace 'foreign' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace 'stringescapes' Keyword.Reserved -' ' Text +' ' Text.Whitespace '`' Literal.String.Escape "'" Literal.String.Escape -'\n ' Text +'\n ' Text.Whitespace "'" Literal.String.Single 'cx' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace '(' Punctuation '<-' Operator -' ' Text +' ' Text.Whitespace "'" Literal.String.Single '' Literal.String.Single '`' Literal.String.Escape @@ -333,14 +333,14 @@ '' Literal.String.Single "'" Literal.String.Single ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace "'" Literal.String.Single 'gx' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace '(' Punctuation '<-' Operator -' ' Text +' ' Text.Whitespace "'" Literal.String.Single '' Literal.String.Single '`' Literal.String.Escape @@ -348,14 +348,14 @@ '' Literal.String.Single "'" Literal.String.Single ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace "'" Literal.String.Single 'hx' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace '(' Punctuation '<-' Operator -' ' Text +' ' Text.Whitespace "'" Literal.String.Single '' Literal.String.Single '`' Literal.String.Escape @@ -363,14 +363,14 @@ '' Literal.String.Single "'" Literal.String.Single ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace "'" Literal.String.Single 'jx' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace '(' Punctuation '<-' Operator -' ' Text +' ' Text.Whitespace "'" Literal.String.Single '' Literal.String.Single '`' Literal.String.Escape @@ -378,14 +378,14 @@ '' Literal.String.Single "'" Literal.String.Single ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace "'" Literal.String.Single 'sx' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace '(' Punctuation '<-' Operator -' ' Text +' ' Text.Whitespace "'" Literal.String.Single '' Literal.String.Single '`' Literal.String.Escape @@ -393,14 +393,14 @@ '' Literal.String.Single "'" Literal.String.Single ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace "'" Literal.String.Single 'ux' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace '(' Punctuation '<-' Operator -' ' Text +' ' Text.Whitespace "'" Literal.String.Single '' Literal.String.Single '`' Literal.String.Escape @@ -408,39 +408,39 @@ '' Literal.String.Single "'" Literal.String.Single ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace "'" Literal.String.Single '' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace '(' Punctuation 'next' Operator.Word ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace 'backwardmode' Keyword.Reserved -' ' Text +' ' Text.Whitespace '(' Punctuation -'\n ' Text +'\n ' Text.Whitespace 'stringescapes' Keyword.Reserved -' ' Text +' ' Text.Whitespace '{' Literal.String.Escape -' ' Text +' ' Text.Whitespace '}' Literal.String.Escape -'\n\n ' Text +'\n\n ' Text.Whitespace 'define' Keyword.Reserved -' ' Text +' ' Text.Whitespace 'apostrophe' Name -' ' Text +' ' Text.Whitespace 'as' Keyword.Reserved -' ' Text +' ' Text.Whitespace '(' Punctuation -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation '[' Operator "'" Literal.String.Single @@ -451,18 +451,18 @@ '' Literal.String.Single "'" Literal.String.Single ']' Operator -' ' Text +' ' Text.Whitespace 'atlimit' Operator.Word -' ' Text +' ' Text.Whitespace '<-' Operator -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'unu' Literal.String.Single "'" Literal.String.Single ')' Punctuation -' ' Text +' ' Text.Whitespace 'or' Operator.Word -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation '[' Operator "'" Literal.String.Single @@ -473,18 +473,18 @@ '' Literal.String.Single "'" Literal.String.Single ']' Operator -' ' Text +' ' Text.Whitespace 'atlimit' Operator.Word -' ' Text +' ' Text.Whitespace '<-' Operator -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'la' Literal.String.Single "'" Literal.String.Single ')' Punctuation -' ' Text +' ' Text.Whitespace 'or' Operator.Word -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation '[' Operator "'" Literal.String.Single @@ -495,94 +495,94 @@ '' Literal.String.Single "'" Literal.String.Single ']' Operator -' ' Text +' ' Text.Whitespace '<-' Operator -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'o' Literal.String.Single "'" Literal.String.Single ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace ')' Punctuation -'\n\n ' Text +'\n\n ' Text.Whitespace 'define' Keyword.Reserved -' ' Text +' ' Text.Whitespace 'vowel' Name -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'aeiou' Literal.String.Single "'" Literal.String.Single -'\n ' Text +'\n ' Text.Whitespace 'define' Keyword.Reserved -' ' Text +' ' Text.Whitespace 'aiou' Name -' ' Text +' ' Text.Whitespace 'vowel' Name -' ' Text +' ' Text.Whitespace '-' Operator -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'e' Literal.String.Single "'" Literal.String.Single -'\n ' Text +'\n ' Text.Whitespace 'define' Keyword.Reserved -' ' Text +' ' Text.Whitespace 'ao' Name -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'ao' Literal.String.Single "'" Literal.String.Single -'\n ' Text +'\n ' Text.Whitespace 'define' Keyword.Reserved -' ' Text +' ' Text.Whitespace 'ou' Name -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'ou' Literal.String.Single "'" Literal.String.Single -'\n\n ' Text +'\n\n ' Text.Whitespace 'define' Keyword.Reserved -' ' Text +' ' Text.Whitespace 'short_word' Name -' ' Text +' ' Text.Whitespace 'as' Keyword.Reserved -' ' Text +' ' Text.Whitespace 'not' Operator.Word -' ' Text +' ' Text.Whitespace '(' Punctuation 'loop' Operator.Word -' ' Text +' ' Text.Whitespace '(' Punctuation 'maxint' Name.Builtin -' ' Text +' ' Text.Whitespace '*' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace '4' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '/' Operator -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace 'gopast' Operator.Word -' ' Text +' ' Text.Whitespace 'vowel' Name ')' Punctuation -'\n\n ' Text +'\n\n ' Text.Whitespace 'define' Keyword.Reserved -' ' Text +' ' Text.Whitespace 'interjection' Name -' ' Text +' ' Text.Whitespace 'as' Keyword.Reserved -' ' Text +' ' Text.Whitespace '(' Punctuation -'\n ' Text +'\n ' Text.Whitespace 'among' Keyword.Reserved -' ' Text +' ' Text.Whitespace '(' Punctuation "'" Literal.String.Single 'adia' Literal.String.Single @@ -590,298 +590,298 @@ 'ux}' Literal.String.Escape '' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'aha' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'amen' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'hola' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'hura' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'mia' Literal.String.Single '{' Literal.String.Escape 'ux}' Literal.String.Escape '' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'muu' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'oho' Literal.String.Single "'" Literal.String.Single ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace 'atlimit' Operator.Word -'\n ' Text +'\n ' Text.Whitespace ')' Punctuation -'\n\n ' Text +'\n\n ' Text.Whitespace 'define' Keyword.Reserved -' ' Text +' ' Text.Whitespace 'correlative' Name -' ' Text +' ' Text.Whitespace 'as' Keyword.Reserved -' ' Text +' ' Text.Whitespace '(' Punctuation -'\n ' Text +'\n ' Text.Whitespace '[' Operator ']' Operator -'\n ' Text +'\n ' Text.Whitespace "// Ignore -al, -am, etc. since they can't be confused with suffixes." Comment.Single -'\n ' Text +'\n ' Text.Whitespace 'test' Operator.Word -' ' Text +' ' Text.Whitespace '(' Punctuation -'\n ' Text +'\n ' Text.Whitespace '(' Punctuation "'" Literal.String.Single 'a' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace 'or' Operator.Word -' ' Text +' ' Text.Whitespace '(' Punctuation 'try' Operator.Word -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'n' Literal.String.Single "'" Literal.String.Single ']' Operator -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'e' Literal.String.Single "'" Literal.String.Single ')' Punctuation -' ' Text +' ' Text.Whitespace 'or' Operator.Word -' ' Text +' ' Text.Whitespace '(' Punctuation 'try' Operator.Word -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'n' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace 'try' Operator.Word -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'j' Literal.String.Single "'" Literal.String.Single ']' Operator -' ' Text +' ' Text.Whitespace 'ou' Name ')' Punctuation ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace "'" Literal.String.Single 'i' Literal.String.Single "'" Literal.String.Single -'\n ' Text +'\n ' Text.Whitespace 'try' Operator.Word -' ' Text +' ' Text.Whitespace '(' Punctuation "'" Literal.String.Single 'k' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace 'or' Operator.Word -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 't' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace 'or' Operator.Word -' ' Text +' ' Text.Whitespace "'" Literal.String.Single '' Literal.String.Single '{' Literal.String.Escape 'cx}' Literal.String.Escape '' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace 'or' Operator.Word -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'nen' Literal.String.Single "'" Literal.String.Single ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace 'atlimit' Operator.Word -'\n ' Text +'\n ' Text.Whitespace ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace 'delete' Operator.Word -'\n ' Text +'\n ' Text.Whitespace ')' Punctuation -'\n\n ' Text +'\n\n ' Text.Whitespace 'define' Keyword.Reserved -' ' Text +' ' Text.Whitespace 'unuj' Name -' ' Text +' ' Text.Whitespace 'as' Keyword.Reserved -' ' Text +' ' Text.Whitespace '(' Punctuation -'\n ' Text +'\n ' Text.Whitespace '[' Operator 'try' Operator.Word -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'n' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'j' Literal.String.Single "'" Literal.String.Single ']' Operator -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'unu' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace 'atlimit' Operator.Word -' ' Text +' ' Text.Whitespace 'delete' Operator.Word -'\n ' Text +'\n ' Text.Whitespace ')' Punctuation -'\n\n ' Text +'\n\n ' Text.Whitespace 'define' Keyword.Reserved -' ' Text +' ' Text.Whitespace 'standard_suffix' Name -' ' Text +' ' Text.Whitespace 'as' Keyword.Reserved -' ' Text +' ' Text.Whitespace '(' Punctuation -'\n ' Text +'\n ' Text.Whitespace '[' Operator -'\n ' Text +'\n ' Text.Whitespace 'try' Operator.Word -' ' Text +' ' Text.Whitespace '(' Punctuation '(' Punctuation 'try' Operator.Word -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'n' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace 'try' Operator.Word -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'j' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace 'ao' Name ')' Punctuation -' ' Text +' ' Text.Whitespace 'or' Operator.Word -' ' Text +' ' Text.Whitespace '(' Punctuation 'try' Operator.Word -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 's' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace 'aiou' Name ')' Punctuation -' ' Text +' ' Text.Whitespace 'or' Operator.Word -' ' Text +' ' Text.Whitespace '(' Punctuation 'try' Operator.Word -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'n' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'e' Literal.String.Single "'" Literal.String.Single ')' Punctuation ')' Punctuation -'\n ' Text +'\n ' Text.Whitespace 'try' Operator.Word -' ' Text +' ' Text.Whitespace "'" Literal.String.Single '-' Literal.String.Single "'" Literal.String.Single -' ' Text +' ' Text.Whitespace 'try' Operator.Word -' ' Text +' ' Text.Whitespace "'" Literal.String.Single 'a' Literal.String.Single '{' Literal.String.Escape 'ux}' Literal.String.Escape '' Literal.String.Single "'" Literal.String.Single -'\n ' Text +'\n ' Text.Whitespace ']' Operator -' ' Text +' ' Text.Whitespace 'delete' Operator.Word -'\n ' Text +'\n ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace ')' Punctuation -'\n\n' Text +'\n\n' Text.Whitespace 'define' Keyword.Reserved -' ' Text +' ' Text.Whitespace 'stem' Name -' ' Text +' ' Text.Whitespace 'as' Keyword.Reserved -' ' Text +' ' Text.Whitespace '(' Punctuation -'\n ' Text +'\n ' Text.Whitespace 'do' Operator.Word -' ' Text +' ' Text.Whitespace 'canonical_form' Name -'\n ' Text +'\n ' Text.Whitespace 'not' Operator.Word -' ' Text +' ' Text.Whitespace 'foreign' Name -'\n ' Text +'\n ' Text.Whitespace 'backwards' Operator.Word -' ' Text +' ' Text.Whitespace '(' Punctuation -'\n ' Text +'\n ' Text.Whitespace 'do' Operator.Word -' ' Text +' ' Text.Whitespace 'apostrophe' Name -'\n ' Text +'\n ' Text.Whitespace 'short_word' Name -' ' Text +' ' Text.Whitespace 'or' Operator.Word -' ' Text +' ' Text.Whitespace 'interjection' Name -' ' Text +' ' Text.Whitespace 'or' Operator.Word -'\n ' Text +'\n ' Text.Whitespace 'correlative' Name -' ' Text +' ' Text.Whitespace 'or' Operator.Word -' ' Text +' ' Text.Whitespace 'unuj' Name -' ' Text +' ' Text.Whitespace 'or' Operator.Word -' ' Text +' ' Text.Whitespace 'do' Operator.Word -' ' Text +' ' Text.Whitespace 'standard_suffix' Name -'\n ' Text +'\n ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace diff --git a/tests/examplefiles/vgl/example.rpf.output b/tests/examplefiles/vgl/example.rpf.output index b775c249..a7a31e28 100644 --- a/tests/examplefiles/vgl/example.rpf.output +++ b/tests/examplefiles/vgl/example.rpf.output @@ -1,27 +1,27 @@ 'declare' Keyword.Constant -' ' Text +' ' Text.Whitespace 'xyz' Name -' ' Text +' ' Text.Whitespace 'true' Keyword.Constant -'\n' Text +'\n' Text.Whitespace 'declare' Keyword.Constant -' ' Text +' ' Text.Whitespace 's' Name -' ' Text +' ' Text.Whitespace '"some string"' Literal.String -'\n' Text +'\n' Text.Whitespace 'i' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '2' Literal.Number -'\n' Text +'\n' Text.Whitespace 'f' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '0.2' Literal.Number -'\n' Text +'\n' Text.Whitespace diff --git a/tests/examplefiles/zeek/test.bro.output b/tests/examplefiles/zeek/test.bro.output index 6005095e..926dfa4f 100644 --- a/tests/examplefiles/zeek/test.bro.output +++ b/tests/examplefiles/zeek/test.bro.output @@ -1,331 +1,331 @@ '@load notice' Comment.Preproc -'\n' Text +'\n' Text.Whitespace '@load utils/thresholds' Comment.Preproc -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'module' Keyword.Namespace -' ' Text +' ' Text.Whitespace 'SSH' Name.Namespace ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'export' Keyword -' ' Text +' ' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'redef' Keyword -' ' Text +' ' Text.Whitespace 'enum' Keyword.Type -' ' Text +' ' Text.Whitespace 'Log::ID' Name.Class -' ' Text +' ' Text.Whitespace '+' Operator '=' Operator -' ' Text +' ' Text.Whitespace '{' Punctuation -' ' Text +' ' Text.Whitespace 'SSH' Name -' ' Text +' ' Text.Whitespace '}' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'redef' Keyword -' ' Text +' ' Text.Whitespace 'enum' Keyword.Type -' ' Text +' ' Text.Whitespace 'Notice::Type' Name.Class -' ' Text +' ' Text.Whitespace '+' Operator '=' Operator -' ' Text +' ' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'Login' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'Password_Guessing' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'Login_By_Password_Guesser' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'Login_From_Interesting_Hostname' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'Bytecount_Inconsistency' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '}' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'type' Keyword -' ' Text +' ' Text.Whitespace 'Info' Name.Class ':' Operator -' ' Text +' ' Text.Whitespace 'record' Keyword.Type -' ' Text +' ' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'ts' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'time' Keyword.Type -' ' Text +' ' Text.Whitespace '&log' Keyword.Pseudo ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'uid' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'string' Keyword.Type -' ' Text +' ' Text.Whitespace '&log' Keyword.Pseudo ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'id' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'conn_id' Name -' ' Text +' ' Text.Whitespace '&log' Keyword.Pseudo ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'status' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'string' Keyword.Type -' ' Text +' ' Text.Whitespace '&log' Keyword.Pseudo -' ' Text +' ' Text.Whitespace '&optional' Keyword.Pseudo ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'direction' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'string' Keyword.Type -' ' Text +' ' Text.Whitespace '&log' Keyword.Pseudo -' ' Text +' ' Text.Whitespace '&optional' Keyword.Pseudo ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'remote_location' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'geo_location' Name -' ' Text +' ' Text.Whitespace '&log' Keyword.Pseudo -' ' Text +' ' Text.Whitespace '&optional' Keyword.Pseudo ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'client' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'string' Keyword.Type -' ' Text +' ' Text.Whitespace '&log' Keyword.Pseudo -' ' Text +' ' Text.Whitespace '&optional' Keyword.Pseudo ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'server' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'string' Keyword.Type -' ' Text +' ' Text.Whitespace '&log' Keyword.Pseudo -' ' Text +' ' Text.Whitespace '&optional' Keyword.Pseudo ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'resp_size' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'count' Keyword.Type -' ' Text +' ' Text.Whitespace '&log' Keyword.Pseudo -' ' Text +' ' Text.Whitespace '&default' Keyword.Pseudo '=' Operator '0' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\n\t\t' Text +'\t\t\n\t\t' Text.Whitespace '## Indicate if the SSH session is done being watched.' Comment -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'done' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'bool' Keyword.Type -' ' Text +' ' Text.Whitespace '&default' Keyword.Pseudo '=' Operator 'F' Keyword.Constant ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '}' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'const' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'password_guesses_limit' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '30' Literal.Number.Float -' ' Text +' ' Text.Whitespace '&redef' Keyword.Pseudo ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\n\t' Text +'\t\n\t' Text.Whitespace '# The size in bytes at which the SSH connection is presumed to be' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '# successful.' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'const' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'authentication_data_size' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '5500' Literal.Number.Float -' ' Text +' ' Text.Whitespace '&redef' Keyword.Pseudo ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\n\t' Text +'\t\n\t' Text.Whitespace '# The amount of time to remember presumed non-successful logins to build' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '# model of a password guesser.' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'const' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'guessing_timeout' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '30 mins' Literal.Number.Float -' ' Text +' ' Text.Whitespace '&redef' Keyword.Pseudo ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace "# The set of countries for which you'd like to throw notices upon successful login" Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '# requires Bro compiled with libGeoIP support' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'const' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'watched_countries' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'set' Keyword.Type '[' Punctuation 'string' Keyword.Type ']' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '{' Punctuation '"' Literal.String 'R' Literal.String 'O' Literal.String '"' Literal.String '}' Punctuation -' ' Text +' ' Text.Whitespace '&redef' Keyword.Pseudo ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '# Strange/bad host names to originate successful SSH logins' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'const' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'interesting_hostnames' Name -' ' Text +' ' Text.Whitespace '=' Operator -'\n' Text +'\n' Text.Whitespace -'\t\t\t' Text +'\t\t\t' Text.Whitespace '/' Literal.String.Regex '^' Literal.String.Regex 'd' Literal.String.Regex @@ -340,11 +340,11 @@ '*' Literal.String.Regex '\\.' Literal.String.Escape '/' Literal.String.Regex -' ' Text +' ' Text.Whitespace '|' Operator -'\n' Text +'\n' Text.Whitespace -'\t\t\t' Text +'\t\t\t' Text.Whitespace '/' Literal.String.Regex '^' Literal.String.Regex 's' Literal.String.Regex @@ -359,11 +359,11 @@ '*' Literal.String.Regex '\\.' Literal.String.Escape '/' Literal.String.Regex -' ' Text +' ' Text.Whitespace '|' Operator -'\n' Text +'\n' Text.Whitespace -'\t\t\t' Text +'\t\t\t' Text.Whitespace '/' Literal.String.Regex '^' Literal.String.Regex 'm' Literal.String.Regex @@ -378,11 +378,11 @@ '*' Literal.String.Regex '\\.' Literal.String.Escape '/' Literal.String.Regex -' ' Text +' ' Text.Whitespace '|' Operator -'\n' Text +'\n' Text.Whitespace -'\t\t\t' Text +'\t\t\t' Text.Whitespace '/' Literal.String.Regex '^' Literal.String.Regex 'p' Literal.String.Regex @@ -396,11 +396,11 @@ '*' Literal.String.Regex '\\.' Literal.String.Escape '/' Literal.String.Regex -' ' Text +' ' Text.Whitespace '|' Operator -'\n' Text +'\n' Text.Whitespace -'\t\t\t' Text +'\t\t\t' Text.Whitespace '/' Literal.String.Regex '^' Literal.String.Regex 'i' Literal.String.Regex @@ -415,11 +415,11 @@ '*' Literal.String.Regex '\\.' Literal.String.Escape '/' Literal.String.Regex -' ' Text +' ' Text.Whitespace '|' Operator -'\n' Text +'\n' Text.Whitespace -'\t\t\t' Text +'\t\t\t' Text.Whitespace '/' Literal.String.Regex '^' Literal.String.Regex 'w' Literal.String.Regex @@ -433,11 +433,11 @@ '*' Literal.String.Regex '\\.' Literal.String.Escape '/' Literal.String.Regex -' ' Text +' ' Text.Whitespace '|' Operator -'\n' Text +'\n' Text.Whitespace -'\t\t\t' Text +'\t\t\t' Text.Whitespace '/' Literal.String.Regex '^' Literal.String.Regex 'f' Literal.String.Regex @@ -451,162 +451,162 @@ '*' Literal.String.Regex '\\.' Literal.String.Escape '/' Literal.String.Regex -' ' Text +' ' Text.Whitespace '&redef' Keyword.Pseudo ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '# This is a table with orig subnet as the key, and subnet as the value.' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'const' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'ignore_guessers' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'table' Keyword.Type '[' Punctuation 'subnet' Keyword.Type ']' Punctuation -' ' Text +' ' Text.Whitespace 'of' Operator.Word -' ' Text +' ' Text.Whitespace 'subnet' Keyword.Type -' ' Text +' ' Text.Whitespace '&redef' Keyword.Pseudo ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\n\t' Text +'\t\n\t' Text.Whitespace '# If true, we tell the event engine to not look at further data' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '# packets after the initial SSH handshake. Helps with performance' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '# (especially with large file transfers) but precludes some' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '# kinds of analyses (e.g., tracking connection size).' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'const' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'skip_processing_after_detection' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'F' Keyword.Constant -' ' Text +' ' Text.Whitespace '&redef' Keyword.Pseudo ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\n\t' Text +'\t\n\t' Text.Whitespace '# Keeps count of how many rejections a host has had' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'global' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'password_rejections' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'table' Keyword.Type '[' Punctuation 'addr' Keyword.Type ']' Punctuation -' ' Text +' ' Text.Whitespace 'of' Operator.Word -' ' Text +' ' Text.Whitespace 'TrackCount' Name -' \n\t\t' Text +' \n\t\t' Text.Whitespace '&write_expire' Keyword.Pseudo '=' Operator 'guessing_timeout' Name -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace '&synchronized' Keyword.Pseudo ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '# Keeps track of hosts identified as guessing passwords' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace "# TODO: guessing_timeout doesn't work correctly here. If a user redefs" Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace "# the variable, it won't take effect." Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'global' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'password_guessers' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'set' Keyword.Type '[' Punctuation 'addr' Keyword.Type ']' Punctuation -' ' Text +' ' Text.Whitespace '&read_expire' Keyword.Pseudo '=' Operator 'guessing_timeout' Name '+' Operator '1hr' Literal.Number.Float -' ' Text +' ' Text.Whitespace '&synchronized' Keyword.Pseudo ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\n\t' Text +'\t\n\t' Text.Whitespace 'global' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'log_ssh' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'event' Keyword.Type '(' Punctuation 'rec' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'Info' Name ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '# Configure DPD and the packet filter' Comment -'\n' Text +'\n' Text.Whitespace 'redef' Keyword -' ' Text +' ' Text.Whitespace 'capture_filters' Name -' ' Text +' ' Text.Whitespace '+' Operator '=' Operator -' ' Text +' ' Text.Whitespace '{' Punctuation -' ' Text +' ' Text.Whitespace '[' Punctuation '"' Literal.String 's' Literal.String @@ -614,9 +614,9 @@ 'h' Literal.String '"' Literal.String ']' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '"' Literal.String 't' Literal.String 'c' Literal.String @@ -630,95 +630,95 @@ '2' Literal.String '2' Literal.String '"' Literal.String -' ' Text +' ' Text.Whitespace '}' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace 'redef' Keyword -' ' Text +' ' Text.Whitespace 'dpd_config' Name -' ' Text +' ' Text.Whitespace '+' Operator '=' Operator -' ' Text +' ' Text.Whitespace '{' Punctuation -' ' Text +' ' Text.Whitespace '[' Punctuation 'ANALYZER_SSH' Name ']' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '[' Punctuation '$' Operator 'ports' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'set' Keyword.Type '(' Punctuation '22/tcp' Literal.Number ')' Punctuation ']' Punctuation -' ' Text +' ' Text.Whitespace '}' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'redef' Keyword -' ' Text +' ' Text.Whitespace 'record' Keyword.Type -' ' Text +' ' Text.Whitespace 'connection' Name.Class -' ' Text +' ' Text.Whitespace '+' Operator '=' Operator -' ' Text +' ' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'ssh' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'Info' Name -' ' Text +' ' Text.Whitespace '&optional' Keyword.Pseudo ';' Punctuation -'\n' Text +'\n' Text.Whitespace '}' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'event' Keyword.Type -' ' Text +' ' Text.Whitespace 'bro_init' Name.Function '(' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'Log::create_stream' Name.Function '(' Punctuation 'SSH' Name ',' Punctuation -' ' Text +' ' Text.Whitespace '[' Punctuation '$' Operator 'columns' Name '=' Operator 'Info' Name ',' Punctuation -' ' Text +' ' Text.Whitespace '$' Operator 'ev' Name '=' Operator @@ -726,57 +726,57 @@ ']' Punctuation ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'function' Keyword.Type -' ' Text +' ' Text.Whitespace 'set_session' Name.Function '(' Punctuation 'c' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'connection' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace '!' Operator -' ' Text +' ' Text.Whitespace 'c' Name '?$' Operator 'ssh' Name -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'local' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'info' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'Info' Name ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'info' Name '$' Operator 'ts' Name @@ -785,9 +785,9 @@ '(' Punctuation ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'info' Name '$' Operator 'uid' Name @@ -796,9 +796,9 @@ '$' Operator 'uid' Name ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'info' Name '$' Operator 'id' Name @@ -807,156 +807,156 @@ '$' Operator 'id' Name ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'c' Name '$' Operator 'ssh' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'info' Name ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'function' Keyword.Type -' ' Text +' ' Text.Whitespace 'check_ssh_connection' Name.Function '(' Punctuation 'c' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'connection' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'done' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'bool' Keyword.Type ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '# If done watching this connection, just return.' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'c' Name '$' Operator 'ssh' Name '$' Operator 'done' Name -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'return' Keyword ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\n\t' Text +'\t\n\t' Text.Whitespace '# If this is still a live connection and the byte count has not' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '# crossed the threshold, just return and let the resheduled check happen later.' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace '!' Operator 'done' Name -' ' Text +' ' Text.Whitespace '&' Operator '&' Operator -' ' Text +' ' Text.Whitespace 'c' Name '$' Operator 'resp' Name '$' Operator 'size' Name -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace 'authentication_data_size' Name -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'return' Keyword ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '# Make sure the server has sent back more than 50 bytes to filter out' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '# hosts that are just port scanning. Nothing is ever logged if the server' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace "# doesn't send back at least 50 bytes." Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'c' Name '$' Operator 'resp' Name '$' Operator 'size' Name -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace '50' Literal.Number.Float -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'return' Keyword ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'local' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'status' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '"' Literal.String 'f' Literal.String 'a' Literal.String @@ -967,15 +967,15 @@ 'e' Literal.String '"' Literal.String ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'local' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'direction' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'Site::is_local_addr' Name.Function '(' Punctuation 'c' Name @@ -984,16 +984,16 @@ '$' Operator 'orig_h' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '?' Punctuation -' ' Text +' ' Text.Whitespace '"' Literal.String 't' Literal.String 'o' Literal.String '"' Literal.String -' ' Text +' ' Text.Whitespace ':' Punctuation -' ' Text +' ' Text.Whitespace '"' Literal.String 'f' Literal.String 'r' Literal.String @@ -1001,37 +1001,37 @@ 'm' Literal.String '"' Literal.String ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'local' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'location' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'geo_location' Name ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'location' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'direction' Name -' ' Text +' ' Text.Whitespace '=' Operator '=' Operator -' ' Text +' ' Text.Whitespace '"' Literal.String 't' Literal.String 'o' Literal.String '"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '?' Punctuation -' ' Text +' ' Text.Whitespace 'lookup_location' Name.Function '(' Punctuation 'c' Name @@ -1040,9 +1040,9 @@ '$' Operator 'resp_h' Name ')' Punctuation -' ' Text +' ' Text.Whitespace ':' Punctuation -' ' Text +' ' Text.Whitespace 'lookup_location' Name.Function '(' Punctuation 'c' Name @@ -1052,59 +1052,59 @@ 'orig_h' Name ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\n\t' Text +'\t\n\t' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'done' Name -' ' Text +' ' Text.Whitespace '&' Operator '&' Operator -' ' Text +' ' Text.Whitespace 'c' Name '$' Operator 'resp' Name '$' Operator 'size' Name -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace 'authentication_data_size' Name -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace '# presumed failure' Comment -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'c' Name '$' Operator 'id' Name '$' Operator 'orig_h' Name -' ' Text +' ' Text.Whitespace '!' Operator 'in' Operator.Word -' ' Text +' ' Text.Whitespace 'password_rejections' Name -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t' Text +'\t\t\t' Text.Whitespace 'password_rejections' Name '[' Punctuation 'c' Name @@ -1113,24 +1113,24 @@ '$' Operator 'orig_h' Name ']' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'new_track_count' Name.Function '(' Punctuation ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t\n\t\t' Text +'\t\t\t\n\t\t' Text.Whitespace '# Track the number of rejections' Comment -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace '!' Operator '(' Punctuation 'c' Name @@ -1138,24 +1138,24 @@ 'id' Name '$' Operator 'orig_h' Name -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace 'ignore_guessers' Name -' ' Text +' ' Text.Whitespace '&' Operator '&' Operator -'\n' Text +'\n' Text.Whitespace -'\t\t ' Text +'\t\t ' Text.Whitespace 'c' Name '$' Operator 'id' Name '$' Operator 'resp_h' Name -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace 'ignore_guessers' Name '[' Punctuation 'c' Name @@ -1165,11 +1165,11 @@ 'orig_h' Name ']' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t' Text +'\t\t\t' Text.Whitespace '+' Operator '+' Operator 'password_rejections' Name @@ -1183,13 +1183,13 @@ '$' Operator 'n' Name ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t\n\t\t' Text +'\t\t\t\n\t\t' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'default_check_threshold' Name.Function '(' Punctuation 'password_rejections' Name @@ -1201,17 +1201,17 @@ 'orig_h' Name ']' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t' Text +'\t\t\t' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t' Text +'\t\t\t' Text.Whitespace 'add' Keyword -' ' Text +' ' Text.Whitespace 'password_guessers' Name '[' Punctuation 'c' Name @@ -1221,9 +1221,9 @@ 'orig_h' Name ']' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t' Text +'\t\t\t' Text.Whitespace 'NOTICE' Name.Function '(' Punctuation '[' Punctuation @@ -1232,17 +1232,17 @@ '=' Operator 'Password_Guessing' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t ' Text +'\t\t\t ' Text.Whitespace '$' Operator 'conn' Name '=' Operator 'c' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t ' Text +'\t\t\t ' Text.Whitespace '$' Operator 'msg' Name '=' Operator @@ -1277,7 +1277,7 @@ '%s' Literal.String.Escape '"' Literal.String ',' Punctuation -' ' Text +' ' Text.Whitespace 'c' Name '$' Operator 'id' Name @@ -1285,9 +1285,9 @@ 'orig_h' Name ')' Punctuation ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t ' Text +'\t\t\t ' Text.Whitespace '$' Operator 'sub' Name '=' Operator @@ -1311,7 +1311,7 @@ 's' Literal.String '"' Literal.String ',' Punctuation -' ' Text +' ' Text.Whitespace 'password_rejections' Name '[' Punctuation 'c' Name @@ -1324,9 +1324,9 @@ 'n' Name ')' Punctuation ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t ' Text +'\t\t\t ' Text.Whitespace '$' Operator 'n' Name '=' Operator @@ -1343,55 +1343,55 @@ ']' Punctuation ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t' Text +'\t\t\t' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace '}' Punctuation -' \n\t' Text +' \n\t' Text.Whitespace '# TODO: This is to work around a quasi-bug in Bro which occasionally ' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '# causes the byte count to be oversized.' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '# Watch for Gregors work that adds an actual counter of bytes transferred.' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'else' Keyword -' ' Text +' ' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'c' Name '$' Operator 'resp' Name '$' Operator 'size' Name -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace '20000000' Literal.Number -' ' Text +' ' Text.Whitespace ')' Punctuation -' \n\t\t' Text +' \n\t\t' Text.Whitespace '{' Punctuation -' \n\t\t' Text +' \n\t\t' Text.Whitespace '# presumed successful login' Comment -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'status' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '"' Literal.String 's' Literal.String 'u' Literal.String @@ -1402,43 +1402,43 @@ 's' Literal.String '"' Literal.String ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'c' Name '$' Operator 'ssh' Name '$' Operator 'done' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'T' Keyword.Constant ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'c' Name '$' Operator 'id' Name '$' Operator 'orig_h' Name -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace 'password_rejections' Name -' ' Text +' ' Text.Whitespace '&' Operator '&' Operator -'\n' Text +'\n' Text.Whitespace -'\t\t ' Text +'\t\t ' Text.Whitespace 'password_rejections' Name '[' Punctuation 'c' Name @@ -1449,37 +1449,37 @@ ']' Punctuation '$' Operator 'n' Name -' ' Text +' ' Text.Whitespace '>' Operator -' ' Text +' ' Text.Whitespace 'password_guesses_limit' Name -' ' Text +' ' Text.Whitespace '&' Operator '&' Operator -'\n' Text +'\n' Text.Whitespace -'\t\t ' Text +'\t\t ' Text.Whitespace 'c' Name '$' Operator 'id' Name '$' Operator 'orig_h' Name -' ' Text +' ' Text.Whitespace '!' Operator 'in' Operator.Word -' ' Text +' ' Text.Whitespace 'password_guessers' Name -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t' Text +'\t\t\t' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t' Text +'\t\t\t' Text.Whitespace 'add' Keyword -' ' Text +' ' Text.Whitespace 'password_guessers' Name '[' Punctuation 'c' Name @@ -1489,9 +1489,9 @@ 'orig_h' Name ']' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t' Text +'\t\t\t' Text.Whitespace 'NOTICE' Name.Function '(' Punctuation '[' Punctuation @@ -1500,17 +1500,17 @@ '=' Operator 'Login_By_Password_Guesser' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t ' Text +'\t\t\t ' Text.Whitespace '$' Operator 'conn' Name '=' Operator 'c' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t ' Text +'\t\t\t ' Text.Whitespace '$' Operator 'n' Name '=' Operator @@ -1525,9 +1525,9 @@ '$' Operator 'n' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t ' Text +'\t\t\t ' Text.Whitespace '$' Operator 'msg' Name '=' Operator @@ -1578,7 +1578,7 @@ '%s' Literal.String.Escape '"' Literal.String ',' Punctuation -' ' Text +' ' Text.Whitespace 'c' Name '$' Operator 'id' Name @@ -1586,9 +1586,9 @@ 'orig_h' Name ')' Punctuation ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t ' Text +'\t\t\t ' Text.Whitespace '$' Operator 'sub' Name '=' Operator @@ -1612,7 +1612,7 @@ 's' Literal.String '"' Literal.String ',' Punctuation -' ' Text +' ' Text.Whitespace 'password_rejections' Name '[' Punctuation 'c' Name @@ -1627,19 +1627,19 @@ ']' Punctuation ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t' Text +'\t\t\t' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\n\t\t' Text +'\t\t\n\t\t' Text.Whitespace 'local' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'message' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'fmt' Name.Function '(' Punctuation '"' Literal.String @@ -1697,41 +1697,41 @@ ')' Literal.String '"' Literal.String ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t ' Text +'\t\t ' Text.Whitespace 'direction' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'location' Name '$' Operator 'country_code' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'location' Name '$' Operator 'region' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'location' Name '$' Operator 'city' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t ' Text +'\t\t ' Text.Whitespace 'location' Name '$' Operator 'latitude' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'location' Name '$' Operator 'longitude' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t ' Text +'\t\t ' Text.Whitespace 'id_string' Name.Function '(' Punctuation 'c' Name @@ -1739,7 +1739,7 @@ 'id' Name ')' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'c' Name '$' Operator 'resp' Name @@ -1747,9 +1747,9 @@ 'size' Name ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'NOTICE' Name.Function '(' Punctuation '[' Punctuation @@ -1758,25 +1758,25 @@ '=' Operator 'Login' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t ' Text +'\t\t ' Text.Whitespace '$' Operator 'conn' Name '=' Operator 'c' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t ' Text +'\t\t ' Text.Whitespace '$' Operator 'msg' Name '=' Operator 'message' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t ' Text +'\t\t ' Text.Whitespace '$' Operator 'sub' Name '=' Operator @@ -1786,23 +1786,23 @@ ']' Punctuation ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\n\t\t' Text +'\t\t\n\t\t' Text.Whitespace '# Check to see if this login came from an interesting hostname' Comment -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'when' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'local' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'hostname' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'lookup_addr' Name.Function '(' Punctuation 'c' Name @@ -1811,33 +1811,33 @@ '$' Operator 'orig_h' Name ')' Punctuation -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t' Text +'\t\t\t' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t' Text +'\t\t\t' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'interesting_hostnames' Name -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace 'hostname' Name -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t\t' Text +'\t\t\t\t' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t\t' Text +'\t\t\t\t' Text.Whitespace 'NOTICE' Name.Function '(' Punctuation '[' Punctuation @@ -1846,17 +1846,17 @@ '=' Operator 'Login_From_Interesting_Hostname' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t\t ' Text +'\t\t\t\t ' Text.Whitespace '$' Operator 'conn' Name '=' Operator 'c' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t\t ' Text +'\t\t\t\t ' Text.Whitespace '$' Operator 'msg' Name '=' Operator @@ -1885,13 +1885,13 @@ '%s' Literal.String.Escape '"' Literal.String ',' Punctuation -' ' Text +' ' Text.Whitespace 'hostname' Name ')' Punctuation ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t\t ' Text +'\t\t\t\t ' Text.Whitespace '$' Operator 'sub' Name '=' Operator @@ -1899,68 +1899,68 @@ ']' Punctuation ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t\t' Text +'\t\t\t\t' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t' Text +'\t\t\t' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t\n\t\t' Text +'\t\t\t\n\t\t' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'location' Name '$' Operator 'country_code' Name -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace 'watched_countries' Name -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t' Text +'\t\t\t' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t\n\t\t\t' Text +'\t\t\t\n\t\t\t' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t\t\n\t\t' Text +'\t\t\t\n\t\t' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'else' Keyword -' ' Text +' ' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'c' Name '$' Operator 'resp' Name '$' Operator 'size' Name -' ' Text +' ' Text.Whitespace '>' Operator '=' Operator -' ' Text +' ' Text.Whitespace '200000000' Literal.Number -' ' Text +' ' Text.Whitespace ')' Punctuation -' \n\t\t' Text +' \n\t\t' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'NOTICE' Name.Function '(' Punctuation '[' Punctuation @@ -1969,17 +1969,17 @@ '=' Operator 'Bytecount_Inconsistency' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t ' Text +'\t\t ' Text.Whitespace '$' Operator 'conn' Name '=' Operator 'c' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t ' Text +'\t\t ' Text.Whitespace '$' Operator 'msg' Name '=' Operator @@ -2055,9 +2055,9 @@ '.' Literal.String '"' Literal.String ',' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t ' Text +'\t\t ' Text.Whitespace '$' Operator 'sub' Name '=' Operator @@ -2076,119 +2076,119 @@ ']' Punctuation ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'c' Name '$' Operator 'ssh' Name '$' Operator 'remote_location' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'location' Name ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'c' Name '$' Operator 'ssh' Name '$' Operator 'status' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'status' Name ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'c' Name '$' Operator 'ssh' Name '$' Operator 'direction' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'direction' Name ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'c' Name '$' Operator 'ssh' Name '$' Operator 'resp_size' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'c' Name '$' Operator 'resp' Name '$' Operator 'size' Name ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\n\t' Text +'\t\n\t' Text.Whitespace 'Log::write' Name.Function '(' Punctuation 'SSH' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'c' Name '$' Operator 'ssh' Name ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\n\t' Text +'\t\n\t' Text.Whitespace '# Set the "done" flag to prevent the watching event from rescheduling' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '# after detection is done.' Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'c' Name '$' Operator 'ssh' Name '$' Operator 'done' Name ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\n\t' Text +'\t\n\t' Text.Whitespace "# Stop watching this connection, we don't care about it anymore." Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'skip_processing_after_detection' Name -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'skip_further_processing' Name.Function '(' Punctuation 'c' Name @@ -2196,298 +2196,298 @@ 'id' Name ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'set_record_packets' Name.Function '(' Punctuation 'c' Name '$' Operator 'id' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'F' Keyword.Constant ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'event' Keyword.Type -' ' Text +' ' Text.Whitespace 'connection_state_remove' Name.Function '(' Punctuation 'c' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'connection' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '&priority' Keyword.Pseudo '=' Operator '-' Operator '5' Literal.Number.Float -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'c' Name '?$' Operator 'ssh' Name -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'check_ssh_connection' Name.Function '(' Punctuation 'c' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'T' Keyword.Constant ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'event' Keyword.Type -' ' Text +' ' Text.Whitespace 'ssh_watcher' Name.Function '(' Punctuation 'c' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'connection' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'local' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'id' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'c' Name '$' Operator 'id' Name ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace "# don't go any further if this connection is gone already!" Comment -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace '!' Operator 'connection_exists' Name.Function '(' Punctuation 'id' Name ')' Punctuation -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'return' Keyword ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'check_ssh_connection' Name.Function '(' Punctuation 'c' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'F' Keyword.Constant ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace '!' Operator -' ' Text +' ' Text.Whitespace 'c' Name '$' Operator 'ssh' Name '$' Operator 'done' Name -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\t' Text +'\t\t' Text.Whitespace 'schedule' Keyword -' ' Text +' ' Text.Whitespace '+' Operator '15secs' Literal.Number.Float -' ' Text +' ' Text.Whitespace '{' Punctuation -' ' Text +' ' Text.Whitespace 'ssh_watcher' Name.Function '(' Punctuation 'c' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '}' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'event' Keyword.Type -' ' Text +' ' Text.Whitespace 'ssh_server_version' Name.Function '(' Punctuation 'c' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'connection' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'version' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'string' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '&priority' Keyword.Pseudo '=' Operator '5' Literal.Number.Float -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'set_session' Name.Function '(' Punctuation 'c' Name ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'c' Name '$' Operator 'ssh' Name '$' Operator 'server' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'version' Name ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t\n' Text +'\t\n' Text.Whitespace 'event' Keyword.Type -' ' Text +' ' Text.Whitespace 'ssh_client_version' Name.Function '(' Punctuation 'c' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'connection' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'version' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'string' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '&priority' Keyword.Pseudo '=' Operator '5' Literal.Number.Float -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'set_session' Name.Function '(' Punctuation 'c' Name ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'c' Name '$' Operator 'ssh' Name '$' Operator 'client' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'version' Name ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace 'schedule' Keyword -' ' Text +' ' Text.Whitespace '+' Operator '15secs' Literal.Number.Float -' ' Text +' ' Text.Whitespace '{' Punctuation -' ' Text +' ' Text.Whitespace 'ssh_watcher' Name.Function '(' Punctuation 'c' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '}' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\t' Text +'\t' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace diff --git a/tests/examplefiles/zeek/test.zeek.output b/tests/examplefiles/zeek/test.zeek.output index 116bfc96..d2d5145d 100644 --- a/tests/examplefiles/zeek/test.zeek.output +++ b/tests/examplefiles/zeek/test.zeek.output @@ -1,195 +1,195 @@ '# An example of the Zeek scripting language.' Comment -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '##! A Zeekygen-style summmary comment.' Comment -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '# TODO: just an example of a todo-indicator' Comment -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '@load base/frameworks/notice' Comment.Preproc -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '@if' Comment.Preproc -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'F' Keyword.Constant -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace '@endif' Comment.Preproc -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'module' Keyword.Namespace -' ' Text +' ' Text.Whitespace 'Example' Name.Namespace ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'export' Keyword -' ' Text +' ' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'type' Keyword -' ' Text +' ' Text.Whitespace 'mycount' Name ':' Operator -' ' Text +' ' Text.Whitespace 'count' Keyword.Type ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'type' Keyword -' ' Text +' ' Text.Whitespace 'SimpleEnum' Name.Class ':' Operator -' ' Text +' ' Text.Whitespace 'enum' Keyword.Type -' ' Text +' ' Text.Whitespace '{' Punctuation -' ' Text +' ' Text.Whitespace 'ONE' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'TWO' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'THREE' Name -' ' Text +' ' Text.Whitespace '}' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'redef' Keyword -' ' Text +' ' Text.Whitespace 'enum' Keyword.Type -' ' Text +' ' Text.Whitespace 'SimpleEnum' Name.Class -' ' Text +' ' Text.Whitespace '+' Operator '=' Operator -' ' Text +' ' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '## A Zeekygen-style comment.' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'FOUR' Name ',' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'FIVE' Name ',' Punctuation -' ' Text +' ' Text.Whitespace '##< A Zeekygen-style comment.' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'type' Keyword -' ' Text +' ' Text.Whitespace 'SimpleRecord' Name.Class ':' Operator -' ' Text +' ' Text.Whitespace 'record' Keyword.Type -' ' Text +' ' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'field1' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'count' Keyword.Type ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'field2' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'bool' Keyword.Type ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Punctuation -' ' Text +' ' Text.Whitespace '&redef' Keyword.Pseudo ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'redef' Keyword -' ' Text +' ' Text.Whitespace 'record' Keyword.Type -' ' Text +' ' Text.Whitespace 'SimpleRecord' Name.Class -' ' Text +' ' Text.Whitespace '+' Operator '=' Operator -' ' Text +' ' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'field3' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'string' Keyword.Type -' ' Text +' ' Text.Whitespace '&optional' Keyword.Pseudo ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'field4' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'string' Keyword.Type -' ' Text +' ' Text.Whitespace '&default' Keyword.Pseudo '=' Operator '"' Literal.String @@ -199,176 +199,176 @@ 'h' Literal.String '"' Literal.String ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'const' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'init_option' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'bool' Keyword.Type -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'T' Keyword.Constant ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'option' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'runtime_option' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'bool' Keyword.Type -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'F' Keyword.Constant ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'global' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'test_opaque' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'opaque' Keyword.Type -' ' Text +' ' Text.Whitespace 'of' Operator.Word -' ' Text +' ' Text.Whitespace 'md5' Keyword.Type ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'global' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'test_vector' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'vector' Keyword.Type -' ' Text +' ' Text.Whitespace 'of' Operator.Word -' ' Text +' ' Text.Whitespace 'count' Keyword.Type ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'global' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'myfunction' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'function' Keyword.Type '(' Punctuation 'msg' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'string' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'c' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'count' Keyword.Type -' ' Text +' ' Text.Whitespace '&default' Keyword.Pseudo '=' Operator '0' Literal.Number.Float ')' Punctuation ':' Punctuation -' ' Text +' ' Text.Whitespace 'count' Keyword.Type ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'global' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'myhook' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'hook' Keyword.Type '(' Punctuation 'tag' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'string' Keyword.Type ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'global' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'myevent' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'event' Keyword.Type '(' Punctuation 'tag' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'string' Keyword.Type ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'function' Keyword.Type -' ' Text +' ' Text.Whitespace 'myfunction' Name.Function '(' Punctuation 'msg' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'string' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'c' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'count' Keyword.Type ')' Punctuation ':' Punctuation -' ' Text +' ' Text.Whitespace 'count' Keyword.Type -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '"' Literal.String 'i' Literal.String 'n' Literal.String @@ -385,49 +385,49 @@ 'n' Literal.String '"' Literal.String ',' Punctuation -' ' Text +' ' Text.Whitespace 'msg' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'c' Name ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace '0' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'event' Keyword.Type -' ' Text +' ' Text.Whitespace 'myevent' Name.Function '(' Punctuation 'msg' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'string' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '&priority' Keyword.Pseudo '=' Operator '1' Literal.Number.Float -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '"' Literal.String 'i' Literal.String 'n' Literal.String @@ -441,32 +441,32 @@ 't' Literal.String '"' Literal.String ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'hook' Keyword.Type -' ' Text +' ' Text.Whitespace 'myhook' Name.Function '(' Punctuation 'msg' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'string' Keyword.Type ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '"' Literal.String 'i' Literal.String 'n' Literal.String @@ -480,43 +480,43 @@ 't' Literal.String '"' Literal.String ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'event' Keyword.Type -' ' Text +' ' Text.Whitespace 'zeek_init' Name.Function '(' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'local' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'T' Keyword.Constant ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'local' Keyword.Declaration -' ' Text +' ' Text.Whitespace 's' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '"' Literal.String '\\x' Literal.String.Escape 'f' Literal.String @@ -559,15 +559,15 @@ 'e' Literal.String '"' Literal.String ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'local' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'p' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '/' Literal.String.Regex 'f' Literal.String.Regex 'o' Literal.String.Regex @@ -614,90 +614,90 @@ 'h' Literal.String.Regex '/' Literal.String.Regex ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'local' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '10' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'local' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'sr' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'SimpleRecord' Name.Function '(' Punctuation '$' Operator 'field1' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Float ',' Punctuation -' ' Text +' ' Text.Whitespace '$' Operator 'field2' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'T' Keyword.Constant ',' Punctuation -' ' Text +' ' Text.Whitespace '$' Operator 'field3' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '"' Literal.String 'h' Literal.String 'i' Literal.String '"' Literal.String ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace 'sr' Name '?$' Operator 'field3' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'sr' Name '$' Operator 'field1' Name ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'local' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'myset' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'set' Keyword.Type '[' Punctuation 'string' Keyword.Type ']' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'set' Keyword.Type '(' Punctuation '"' Literal.String @@ -706,14 +706,14 @@ 'e' Literal.String '"' Literal.String ',' Punctuation -' ' Text +' ' Text.Whitespace '"' Literal.String 't' Literal.String 'w' Literal.String 'o' Literal.String '"' Literal.String ',' Punctuation -' ' Text +' ' Text.Whitespace '"' Literal.String 't' Literal.String 'h' Literal.String @@ -723,13 +723,13 @@ '"' Literal.String ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'add' Keyword -' ' Text +' ' Text.Whitespace 'myset' Name '[' Punctuation '"' Literal.String @@ -740,11 +740,11 @@ '"' Literal.String ']' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'delete' Keyword -' ' Text +' ' Text.Whitespace 'myset' Name '[' Punctuation '"' Literal.String @@ -754,51 +754,51 @@ '"' Literal.String ']' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'for' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'ms' Name -' ' Text +' ' Text.Whitespace 'in' Operator.Word -' ' Text +' ' Text.Whitespace 'myset' Name -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace 'ms' Name -' ' Text +' ' Text.Whitespace 'is' Operator.Word -' ' Text +' ' Text.Whitespace 'string' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 's' Name -' ' Text +' ' Text.Whitespace 'as' Operator.Word -' ' Text +' ' Text.Whitespace 'string' Keyword.Type ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace 's' Name '[' Punctuation '1' Literal.Number.Float @@ -806,61 +806,61 @@ '3' Literal.Number.Float ']' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'local' Keyword.Declaration -' ' Text +' ' Text.Whitespace 'tern' Name ':' Punctuation -' ' Text +' ' Text.Whitespace 'count' Keyword.Type -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 's' Name -' ' Text +' ' Text.Whitespace '=' Operator '=' Operator -' ' Text +' ' Text.Whitespace '"' Literal.String 't' Literal.String 'w' Literal.String 'o' Literal.String '"' Literal.String -' ' Text +' ' Text.Whitespace '?' Punctuation -' ' Text +' ' Text.Whitespace '2' Literal.Number.Float -' ' Text +' ' Text.Whitespace ':' Punctuation -' ' Text +' ' Text.Whitespace '0' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 's' Name -' ' Text +' ' Text.Whitespace '!' Operator 'in' Operator.Word -' ' Text +' ' Text.Whitespace 'myset' Name -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace 'fmt' Name.Function '(' Punctuation '"' Literal.String @@ -876,10 +876,10 @@ '%s' Literal.String.Escape '"' Literal.String ',' Punctuation -' ' Text +' ' Text.Whitespace '3.14159' Literal.Number ',' Punctuation -' ' Text +' ' Text.Whitespace '"' Literal.String 'w' Literal.String 't' Literal.String @@ -888,81 +888,81 @@ '"' Literal.String ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'switch' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace ')' Punctuation -' ' Text +' ' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'case' Keyword -' ' Text +' ' Text.Whitespace '1' Literal.Number.Float ':' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'break' Keyword ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'case' Keyword -' ' Text +' ' Text.Whitespace '2' Literal.Number.Float ':' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'fallthrough' Keyword ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'default' Keyword ':' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'break' Keyword ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace '!' Operator -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '"' Literal.String 'h' Literal.String 'e' Literal.String @@ -970,15 +970,15 @@ 'e' Literal.String '"' Literal.String ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'else' Keyword -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '"' Literal.String 't' Literal.String 'h' Literal.String @@ -987,172 +987,172 @@ 'e' Literal.String '"' Literal.String ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'while' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace '!' Operator '=' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Float -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '{' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace '>' Operator '=' Operator -' ' Text +' ' Text.Whitespace '5' Literal.Number.Float -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace '+' Operator '=' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'else' Keyword -' ' Text +' ' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace '(' Punctuation -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace '=' Operator '=' Operator -' ' Text +' ' Text.Whitespace '8' Literal.Number.Float -' ' Text +' ' Text.Whitespace ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace '-' Operator '=' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace '/' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace '/' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace '-' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '|' Operator 'myset' Name '|' Operator ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '~' Operator '5' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '0xff' Literal.Number.Hex ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '2' Literal.Number.Float -' ' Text +' ' Text.Whitespace '^' Operator -' ' Text +' ' Text.Whitespace '5' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'myfunction' Name.Function -' ' Text +' ' Text.Whitespace '(' Punctuation '"' Literal.String 'h' Literal.String @@ -1172,11 +1172,11 @@ '"' Literal.String ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'hook' Keyword.Type -' ' Text +' ' Text.Whitespace 'myhook' Name.Function '(' Punctuation '"' Literal.String @@ -1192,11 +1192,11 @@ '"' Literal.String ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'event' Keyword.Type -' ' Text +' ' Text.Whitespace 'myevent' Name.Function '(' Punctuation '"' Literal.String @@ -1214,15 +1214,15 @@ '"' Literal.String ')' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'schedule' Keyword -' ' Text +' ' Text.Whitespace '1sec' Literal.Number.Float -' ' Text +' ' Text.Whitespace '{' Punctuation -' ' Text +' ' Text.Whitespace 'myevent' Name.Function '(' Punctuation '"' Literal.String @@ -1249,347 +1249,347 @@ 't' Literal.String '"' Literal.String ')' Punctuation -' ' Text +' ' Text.Whitespace '}' Punctuation ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '0' Literal.Number.Float ',' Punctuation -' ' Text +' ' Text.Whitespace '7' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '0xff' Literal.Number.Hex ',' Punctuation -' ' Text +' ' Text.Whitespace '0xdeadbeef' Literal.Number.Hex ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '3.14159' Literal.Number ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '1234.0' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '1234e0' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '.003E-23' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '.003E+23' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '123/udp' Literal.Number ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '8000/tcp' Literal.Number ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '13/icmp' Literal.Number ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '42/unknown' Literal.Number ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace 'google.com' Literal.String ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '192.168.50.1' Literal.Number ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '255.255.255.255' Literal.Number ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '0.0.0.0' Literal.Number ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '10.0.0.0' Literal.Number '/' Operator '16' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '[2001:0db8:85a3:0000:0000:8a2e:0370:7334]' Literal.Number ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '# test for case insensitivity' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '[2001:0DB8:85A3:0000:0000:8A2E:0370:7334]' Literal.Number ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '# any case mixture is allowed' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '[2001:0dB8:85a3:0000:0000:8A2E:0370:7334]' Literal.Number ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '# leading zeroes of a 16-bit group may be omitted' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '[2001:db8:85a3:0:0:8a2e:370:7334]' Literal.Number ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '# a single occurrence of consecutive groups of zeroes may be replaced by ::' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '[2001:db8:85a3::8a2e:370:7334]' Literal.Number ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '# all zeroes should work' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '[0:0:0:0:0:0:0:0]' Literal.Number ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '# all zeroes condensed should work' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '[::]' Literal.Number ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '# hybrid ipv6-ipv4 address should work' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '[2001:db8:0:0:0:FFFF:192.168.0.5]' Literal.Number ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '# hybrid ipv6-ipv4 address with zero ommission should work' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '[2001:db8::FFFF:192.168.0.5]' Literal.Number ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '[2001:0db8:85a3:0000:0000:8a2e:0370:7334]' Literal.Number '/' Operator '64' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '1day' Literal.Number.Float ',' Punctuation -' ' Text +' ' Text.Whitespace '1days' Literal.Number.Float ',' Punctuation -' ' Text +' ' Text.Whitespace '1.0day' Literal.Number.Float ',' Punctuation -' ' Text +' ' Text.Whitespace '1.0days' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '1hr' Literal.Number.Float ',' Punctuation -' ' Text +' ' Text.Whitespace '1hrs' Literal.Number.Float ',' Punctuation -' ' Text +' ' Text.Whitespace '1.0hr' Literal.Number.Float ',' Punctuation -' ' Text +' ' Text.Whitespace '1.0hrs' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '1min' Literal.Number.Float ',' Punctuation -' ' Text +' ' Text.Whitespace '1mins' Literal.Number.Float ',' Punctuation -' ' Text +' ' Text.Whitespace '1.0min' Literal.Number.Float ',' Punctuation -' ' Text +' ' Text.Whitespace '1.0mins' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '1sec' Literal.Number.Float ',' Punctuation -' ' Text +' ' Text.Whitespace '1secs' Literal.Number.Float ',' Punctuation -' ' Text +' ' Text.Whitespace '1.0sec' Literal.Number.Float ',' Punctuation -' ' Text +' ' Text.Whitespace '1.0secs' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '1msec' Literal.Number.Float ',' Punctuation -' ' Text +' ' Text.Whitespace '1msecs' Literal.Number.Float ',' Punctuation -' ' Text +' ' Text.Whitespace '1.0msec' Literal.Number.Float ',' Punctuation -' ' Text +' ' Text.Whitespace '1.0msecs' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Keyword -' ' Text +' ' Text.Whitespace '1usec' Literal.Number.Float ',' Punctuation -' ' Text +' ' Text.Whitespace '1usecs' Literal.Number.Float ',' Punctuation -' ' Text +' ' Text.Whitespace '1.0usec' Literal.Number.Float ',' Punctuation -' ' Text +' ' Text.Whitespace '1.0usecs' Literal.Number.Float ';' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '}' Punctuation -'\n' Text +'\n' Text.Whitespace |
