diff options
| author | Sebastian Engel <dev@sebastianengel.eu> | 2022-01-06 17:46:43 +0100 |
|---|---|---|
| committer | Sebastian Engel <dev@sebastianengel.eu> | 2022-01-06 18:34:29 +0100 |
| commit | a447ca5c793159deade19e103c451631951f2fe1 (patch) | |
| tree | 4b5aedc07bbda7f9617a5952a1c5eb23b7455472 /tests | |
| parent | d68371b52211ae3aeed7c3215d21a6734d08f87e (diff) | |
| download | pygments-git-a447ca5c793159deade19e103c451631951f2fe1.tar.gz | |
Whitespace token for julia lexer
Diffstat (limited to 'tests')
| -rw-r--r-- | tests/examplefiles/julia/string.jl.output | 2920 | ||||
| -rw-r--r-- | tests/snippets/julia-repl/test_repl.txt | 14 | ||||
| -rw-r--r-- | tests/snippets/julia/test_keywords.txt | 72 | ||||
| -rw-r--r-- | tests/snippets/julia/test_macros.txt | 36 | ||||
| -rw-r--r-- | tests/snippets/julia/test_names.txt | 86 | ||||
| -rw-r--r-- | tests/snippets/julia/test_numbers.txt | 186 | ||||
| -rw-r--r-- | tests/snippets/julia/test_operators.txt | 108 | ||||
| -rw-r--r-- | tests/snippets/julia/test_strings.txt | 64 | ||||
| -rw-r--r-- | tests/snippets/julia/test_symbols.txt | 26 | ||||
| -rw-r--r-- | tests/snippets/julia/test_types.txt | 94 | ||||
| -rw-r--r-- | tests/snippets/julia/test_unicode.txt | 20 |
11 files changed, 1819 insertions, 1807 deletions
diff --git a/tests/examplefiles/julia/string.jl.output b/tests/examplefiles/julia/string.jl.output index 70010b51..d7305561 100644 --- a/tests/examplefiles/julia/string.jl.output +++ b/tests/examplefiles/julia/string.jl.output @@ -1,73 +1,73 @@ '# This file is a part of Julia. License is MIT: https://julialang.org/license' Comment -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '"""' Literal.String '\n StringIndexError(str, i)\n\nAn error occurred when trying to access `str` at index `i` that is not valid.\n' Literal.String '"""' Literal.String -'\n' Text +'\n' Text.Whitespace 'struct' Keyword ' ' Text 'StringIndexError' Keyword.Type -' ' Text +' ' Text.Whitespace '<:' Operator -' ' Text +' ' Text.Whitespace 'Exception' Keyword.Type -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'string' Name '::' Operator 'AbstractString' Keyword.Type -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'index' Name '::' Operator 'Integer' Keyword.Type -'\n' Text +'\n' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace '@noinline' Name.Decorator -' ' Text +' ' Text.Whitespace 'string_index_err' Name '(' Punctuation 's' Name '::' Operator 'AbstractString' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name '::' Operator 'Integer' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'throw' Name '(' Punctuation 'StringIndexError' Keyword.Type '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'Int' Keyword.Type '(' Punctuation 'i' Name ')' Punctuation ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace 'function' Keyword -' ' Text +' ' Text.Whitespace 'Base' Name '.' Operator 'showerror' Name @@ -76,34 +76,34 @@ '::' Operator 'IO' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'exc' Name '::' Operator 'StringIndexError' Keyword.Type ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 's' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'exc' Name '.' Operator 'string' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Name '(' Punctuation 'io' Name ',' Punctuation -' ' Text +' ' Text.Whitespace '"' Literal.String 'StringIndexError: ' Literal.String '"' Literal.String ',' Punctuation -' ' Text +' ' Text.Whitespace '"' Literal.String 'invalid index [' Literal.String '$' Literal.String.Interpol @@ -115,79 +115,79 @@ ']' Literal.String '"' Literal.String ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace 'firstindex' Name '(' Punctuation 's' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '<=' Operator -' ' Text +' ' Text.Whitespace 'exc' Name '.' Operator 'index' Name -' ' Text +' ' Text.Whitespace '<=' Operator -' ' Text +' ' Text.Whitespace 'ncodeunits' Name '(' Punctuation 's' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'iprev' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'thisind' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'exc' Name '.' Operator 'index' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'inext' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'nextind' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'iprev' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace 'inext' Name -' ' Text +' ' Text.Whitespace '<=' Operator -' ' Text +' ' Text.Whitespace 'ncodeunits' Name '(' Punctuation 's' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Name '(' Punctuation 'io' Name ',' Punctuation -' ' Text +' ' Text.Whitespace '"' Literal.String ', valid nearby indices [' Literal.String '$iprev' Literal.String.Interpol @@ -212,18 +212,18 @@ "'" Literal.String '"' Literal.String ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'else' Keyword -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'print' Name '(' Punctuation 'io' Name ',' Punctuation -' ' Text +' ' Text.Whitespace '"' Literal.String ', valid nearby index [' Literal.String '$iprev' Literal.String.Interpol @@ -238,27 +238,27 @@ "'" Literal.String '"' Literal.String ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'const' Keyword -' ' Text +' ' Text.Whitespace 'ByteArray' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'Union' Keyword.Type '{' Punctuation 'Vector' Keyword.Type @@ -271,76 +271,76 @@ 'Int8' Keyword.Type '}' Punctuation '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '@inline' Name.Decorator -' ' Text +' ' Text.Whitespace 'between' Name '(' Punctuation 'b' Name '::' Operator 'T' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'lo' Name '::' Operator 'T' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'hi' Name '::' Operator 'T' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace 'where' Keyword -' ' Text +' ' Text.Whitespace '{' Punctuation 'T' Keyword.Type '<:' Operator 'Integer' Keyword.Type '}' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'lo' Name -' ' Text +' ' Text.Whitespace '≤' Operator -' ' Text +' ' Text.Whitespace 'b' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'b' Name -' ' Text +' ' Text.Whitespace '≤' Operator -' ' Text +' ' Text.Whitespace 'hi' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '## constructors and conversions ##' Comment -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '# String constructor docstring from boot.jl, workaround for #16730' Comment -'\n' Text +'\n' Text.Whitespace '# and the unavailability of @doc in boot.jl context.' Comment -'\n' Text +'\n' Text.Whitespace '"""' Literal.String '\n String(v::AbstractVector{UInt8})\n\nCreate a new `String` object from a byte vector `v` containing UTF-8 encoded\ncharacters. If `v` is `Vector{UInt8}` it will be truncated to zero length and\nfuture modification of `v` cannot affect the contents of the resulting string.\nTo avoid truncation of `Vector{UInt8}` data, use `String(copy(v))`; for other\n`AbstractVector` types, `String(v)` already makes a copy.\n\nWhen possible, the memory of `v` will be used without copying when the `String`\nobject is created. This is guaranteed to be the case for byte vectors returned\nby [`take!`](@ref) on a writable [`IOBuffer`](@ref) and by calls to\n[`read(io, nb)`](@ref). This allows zero-copy conversion of I/O data to strings.\nIn other cases, `Vector{UInt8}` data may be copied, but `v` is truncated anyway\nto guarantee consistent behavior.\n' Literal.String '"""' Literal.String -'\n' Text +'\n' Text.Whitespace 'String' Keyword.Type '(' Punctuation @@ -351,9 +351,9 @@ 'UInt8' Keyword.Type '}' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'String' Keyword.Type '(' Punctuation 'copyto!' Name @@ -366,11 +366,11 @@ ')' Punctuation ')' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'v' Name ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace 'String' Keyword.Type '(' Punctuation @@ -381,31 +381,31 @@ 'UInt8' Keyword.Type '}' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'ccall' Keyword '(' Punctuation ':jl_array_to_string' Literal.String.Symbol ',' Punctuation -' ' Text +' ' Text.Whitespace 'Ref' Keyword.Type '{' Punctuation 'String' Keyword.Type '}' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'Any' Keyword.Type ',' Punctuation ')' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'v' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '"""' Literal.String '\n unsafe_string(p::Ptr{UInt8}, [length::Integer])\n\nCopy a string from the address of a C-style (NUL-terminated) string encoded as UTF-8.\n(The pointer can be safely freed afterwards.) If `length` is specified\n(the length of the data in bytes), the string does not have to be NUL-terminated.\n\nThis function is labeled ' Literal.String @@ -415,10 +415,10 @@ ' because it will crash if `p` is not\na valid memory address to data of the requested length.\n' Literal.String '"""' Literal.String -'\n' Text +'\n' Text.Whitespace 'function' Keyword -' ' Text +' ' Text.Whitespace 'unsafe_string' Name '(' Punctuation 'p' Name @@ -436,22 +436,22 @@ '}' Punctuation '}' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'len' Name '::' Operator 'Integer' Keyword.Type ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'p' Name -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace 'C_NULL' Name.Builtin -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'throw' Name '(' Punctuation 'ArgumentError' Keyword.Type @@ -461,43 +461,43 @@ '"' Literal.String ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'ccall' Keyword '(' Punctuation ':jl_pchar_to_string' Literal.String.Symbol ',' Punctuation -' ' Text +' ' Text.Whitespace 'Ref' Keyword.Type '{' Punctuation 'String' Keyword.Type '}' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'Ptr' Keyword.Type '{' Punctuation 'UInt8' Keyword.Type '}' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'Int' Keyword.Type ')' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'p' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'len' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace 'function' Keyword -' ' Text +' ' Text.Whitespace 'unsafe_string' Name '(' Punctuation 'p' Name @@ -515,17 +515,17 @@ '}' Punctuation '}' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'p' Name -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace 'C_NULL' Name.Builtin -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'throw' Name '(' Punctuation 'ArgumentError' Keyword.Type @@ -535,20 +535,20 @@ '"' Literal.String ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'ccall' Keyword '(' Punctuation ':jl_cstr_to_string' Literal.String.Symbol ',' Punctuation -' ' Text +' ' Text.Whitespace 'Ref' Keyword.Type '{' Punctuation 'String' Keyword.Type '}' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'Ptr' Keyword.Type '{' Punctuation @@ -557,15 +557,15 @@ ',' Punctuation ')' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'p' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '_string_n' Name '(' Punctuation @@ -573,37 +573,37 @@ '::' Operator 'Integer' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'ccall' Keyword '(' Punctuation ':jl_alloc_string' Literal.String.Symbol ',' Punctuation -' ' Text +' ' Text.Whitespace 'Ref' Keyword.Type '{' Punctuation 'String' Keyword.Type '}' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'Csize_t' Keyword.Type ',' Punctuation ')' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'n' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '"""' Literal.String '\n String(s::AbstractString)\n\nConvert a string to a contiguous byte array representation encoded as UTF-8 bytes.\nThis representation is often appropriate for passing strings to C.\n' Literal.String '"""' Literal.String -'\n' Text +'\n' Text.Whitespace 'String' Keyword.Type '(' Punctuation @@ -611,26 +611,26 @@ '::' Operator 'AbstractString' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'print_to_string' Name '(' Punctuation 's' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace '@pure' Name.Decorator -' ' Text +' ' Text.Whitespace 'String' Keyword.Type '(' Punctuation 's' Name '::' Operator 'Symbol' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'unsafe_string' Name '(' Punctuation 'unsafe_convert' Name @@ -640,13 +640,13 @@ 'UInt8' Keyword.Type '}' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 's' Name ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'unsafe_wrap' Name '(' Punctuation @@ -659,19 +659,19 @@ '}' Punctuation '}' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 's' Name '::' Operator 'String' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'ccall' Keyword '(' Punctuation ':jl_string_to_array' Literal.String.Symbol ',' Punctuation -' ' Text +' ' Text.Whitespace 'Ref' Keyword.Type '{' Punctuation 'Vector' Keyword.Type @@ -680,18 +680,18 @@ '}' Punctuation '}' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'Any' Keyword.Type ',' Punctuation ')' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 's' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'Vector' Keyword.Type '{' Punctuation @@ -707,9 +707,9 @@ 'String' Keyword.Type '}' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'copyto!' Name '(' Punctuation 'Vector' Keyword.Type @@ -719,17 +719,17 @@ '(' Punctuation 'undef' Name.Builtin ',' Punctuation -' ' Text +' ' Text.Whitespace 'length' Name '(' Punctuation 's' Name ')' Punctuation ')' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 's' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace 'Vector' Keyword.Type '{' Punctuation @@ -740,9 +740,9 @@ '::' Operator 'String' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'Vector' Keyword.Type '{' Punctuation 'UInt8' Keyword.Type @@ -753,7 +753,7 @@ 's' Name ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace 'Array' Keyword.Type '{' Punctuation @@ -764,9 +764,9 @@ '::' Operator 'String' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'Vector' Keyword.Type '{' Punctuation 'UInt8' Keyword.Type @@ -777,9 +777,9 @@ 's' Name ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'String' Keyword.Type '(' Punctuation @@ -792,20 +792,20 @@ 'String' Keyword.Type '}' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 's' Name '.' Operator 's' Name -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '## low-level functions ##' Comment -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'pointer' Name '(' Punctuation @@ -813,9 +813,9 @@ '::' Operator 'String' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'unsafe_convert' Name '(' Punctuation 'Ptr' Keyword.Type @@ -823,10 +823,10 @@ 'UInt8' Keyword.Type '}' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 's' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace 'pointer' Name '(' Punctuation @@ -834,53 +834,53 @@ '::' Operator 'String' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name '::' Operator 'Integer' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'pointer' Name '(' Punctuation 's' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace 'Int' Keyword.Type '(' Punctuation 'i' Name ')' Punctuation '::' Operator 'Int' Keyword.Type -' ' Text +' ' Text.Whitespace '-' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '@pure' Name.Decorator -' ' Text +' ' Text.Whitespace 'ncodeunits' Name '(' Punctuation 's' Name '::' Operator 'String' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'Core' Name '.' Operator 'sizeof' Name '(' Punctuation 's' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace 'codeunit' Name '(' Punctuation @@ -888,81 +888,81 @@ '::' Operator 'String' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'UInt8' Keyword.Type -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '@inline' Name.Decorator -' ' Text +' ' Text.Whitespace 'function' Keyword -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name '::' Operator 'String' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name '::' Operator 'Integer' Keyword.Type ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@boundscheck' Name.Decorator -' ' Text +' ' Text.Whitespace 'checkbounds' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'GC' Name '.' Operator '@preserve' Name.Decorator -' ' Text +' ' Text.Whitespace 's' Name -' ' Text +' ' Text.Whitespace 'unsafe_load' Name '(' Punctuation 'pointer' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'b' Name -'\n' Text +'\n' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '## comparison ##' Comment -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '_memcmp' Name '(' Punctuation @@ -978,7 +978,7 @@ 'AbstractString' Keyword.Type '}' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'b' Name '::' Operator 'Union' Keyword.Type @@ -991,107 +991,107 @@ 'AbstractString' Keyword.Type '}' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'len' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'ccall' Keyword '(' Punctuation ':memcmp' Literal.String.Symbol ',' Punctuation -' ' Text +' ' Text.Whitespace 'Cint' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'Ptr' Keyword.Type '{' Punctuation 'UInt8' Keyword.Type '}' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'Ptr' Keyword.Type '{' Punctuation 'UInt8' Keyword.Type '}' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'Csize_t' Keyword.Type ')' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'a' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'b' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'len' Name -' ' Text +' ' Text.Whitespace '%' Operator -' ' Text +' ' Text.Whitespace 'Csize_t' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '%' Operator -' ' Text +' ' Text.Whitespace 'Int' Keyword.Type -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'function' Keyword -' ' Text +' ' Text.Whitespace 'cmp' Name '(' Punctuation 'a' Name '::' Operator 'String' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'b' Name '::' Operator 'String' Keyword.Type ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'al' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'bl' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'sizeof' Name '(' Punctuation 'a' Name ')' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'sizeof' Name '(' Punctuation 'b' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '_memcmp' Name '(' Punctuation 'a' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'b' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'min' Name '(' Punctuation 'al' Name @@ -1099,130 +1099,130 @@ 'bl' Name ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '?' Operator -' ' Text +' ' Text.Whitespace '-' Operator '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace ':' Operator -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace '>' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '?' Operator -' ' Text +' ' Text.Whitespace '+' Operator '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace ':' Operator -' ' Text +' ' Text.Whitespace 'cmp' Name '(' Punctuation 'al' Name ',' Punctuation 'bl' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'function' Keyword -' ' Text +' ' Text.Whitespace '==' Operator '(' Punctuation 'a' Name '::' Operator 'String' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'b' Name '::' Operator 'String' Keyword.Type ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'pointer_from_objref' Name '(' Punctuation 'a' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace 'pointer_from_objref' Name '(' Punctuation 'b' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'true' Name.Builtin -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'al' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'sizeof' Name '(' Punctuation 'a' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'al' Name -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace 'sizeof' Name '(' Punctuation 'b' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace '_memcmp' Name '(' Punctuation 'a' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'b' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'al' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'typemin' Name '(' Punctuation @@ -1232,803 +1232,803 @@ 'String' Keyword.Type '}' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '"' Literal.String '"' Literal.String -'\n' Text +'\n' Text.Whitespace 'typemin' Name '(' Punctuation '::' Operator 'String' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'typemin' Name '(' Punctuation 'String' Keyword.Type ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '## thisind, nextind ##' Comment -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '@propagate_inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'thisind' Name '(' Punctuation 's' Name '::' Operator 'String' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name '::' Operator 'Int' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '_thisind_str' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '# s should be String or SubString{String}' Comment -'\n' Text +'\n' Text.Whitespace '@inline' Name.Decorator -' ' Text +' ' Text.Whitespace 'function' Keyword -' ' Text +' ' Text.Whitespace '_thisind_str' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name '::' Operator 'Int' Keyword.Type ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'i' Name -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'n' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'ncodeunits' Name '(' Punctuation 's' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'i' Name -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace 'n' Name -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'i' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@boundscheck' Name.Decorator -' ' Text +' ' Text.Whitespace 'between' Name '(' Punctuation 'i' Name ',' Punctuation -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ',' Punctuation -' ' Text +' ' Text.Whitespace 'n' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace 'throw' Name '(' Punctuation 'BoundsError' Keyword.Type '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '(' Punctuation 'b' Name -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '0xc0' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace '0x80' Literal.Number.Hex ')' Punctuation -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'i' Name '-' Operator '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '>' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'i' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name '-' Operator '1' Literal.Number.Integer ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'between' Name '(' Punctuation 'b' Name ',' Punctuation -' ' Text +' ' Text.Whitespace '0b11000000' Literal.Number.Bin ',' Punctuation -' ' Text +' ' Text.Whitespace '0b11110111' Literal.Number.Bin ')' Punctuation -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'i' Name '-' Operator '1' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '(' Punctuation 'b' Name -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '0xc0' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace '0x80' Literal.Number.Hex ')' Punctuation -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'i' Name '-' Operator '2' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '>' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'i' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name '-' Operator '2' Literal.Number.Integer ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'between' Name '(' Punctuation 'b' Name ',' Punctuation -' ' Text +' ' Text.Whitespace '0b11100000' Literal.Number.Bin ',' Punctuation -' ' Text +' ' Text.Whitespace '0b11110111' Literal.Number.Bin ')' Punctuation -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'i' Name '-' Operator '2' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '(' Punctuation 'b' Name -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '0xc0' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace '0x80' Literal.Number.Hex ')' Punctuation -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'i' Name '-' Operator '3' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '>' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'i' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name '-' Operator '3' Literal.Number.Integer ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'between' Name '(' Punctuation 'b' Name ',' Punctuation -' ' Text +' ' Text.Whitespace '0b11110000' Literal.Number.Bin ',' Punctuation -' ' Text +' ' Text.Whitespace '0b11110111' Literal.Number.Bin ')' Punctuation -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'i' Name '-' Operator '3' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'i' Name -'\n' Text +'\n' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '@propagate_inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'nextind' Name '(' Punctuation 's' Name '::' Operator 'String' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name '::' Operator 'Int' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '_nextind_str' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '# s should be String or SubString{String}' Comment -'\n' Text +'\n' Text.Whitespace '@inline' Name.Decorator -' ' Text +' ' Text.Whitespace 'function' Keyword -' ' Text +' ' Text.Whitespace '_nextind_str' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name '::' Operator 'Int' Keyword.Type ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'i' Name -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'n' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'ncodeunits' Name '(' Punctuation 's' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@boundscheck' Name.Decorator -' ' Text +' ' Text.Whitespace 'between' Name '(' Punctuation 'i' Name ',' Punctuation -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ',' Punctuation -' ' Text +' ' Text.Whitespace 'n' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace 'throw' Name '(' Punctuation 'BoundsError' Keyword.Type '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'l' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '(' Punctuation 'l' Name -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace '0x80' Literal.Number.Hex ')' Punctuation -' ' Text +' ' Text.Whitespace '|' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation '0xf8' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '≤' Operator -' ' Text +' ' Text.Whitespace 'l' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'i' Name '+' Operator '1' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace 'l' Name -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace '0xc0' Literal.Number.Hex -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'i′' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'thisind' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'i′' Name -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace 'i' Name -' ' Text +' ' Text.Whitespace '?' Operator -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator '(' Punctuation 'nextind' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i′' Name ')' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace ':' Operator -' ' Text +' ' Text.Whitespace 'i' Name '+' Operator '1' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '# first continuation byte' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '(' Punctuation 'i' Name -' ' Text +' ' Text.Whitespace '+=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '>' Operator -' ' Text +' ' Text.Whitespace 'n' Name -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'i' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '0xc0' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '≠' Operator -' ' Text +' ' Text.Whitespace '0x80' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'i' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '(' Punctuation '(' Punctuation 'i' Name -' ' Text +' ' Text.Whitespace '+=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '>' Operator -' ' Text +' ' Text.Whitespace 'n' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '|' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'l' Name -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace '0xe0' Literal.Number.Hex ')' Punctuation -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'i' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '# second continuation byte' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '0xc0' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '≠' Operator -' ' Text +' ' Text.Whitespace '0x80' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'i' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '(' Punctuation '(' Punctuation 'i' Name -' ' Text +' ' Text.Whitespace '+=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '>' Operator -' ' Text +' ' Text.Whitespace 'n' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '|' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'l' Name -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace '0xf0' Literal.Number.Hex ')' Punctuation -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'i' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '# third continuation byte' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'ifelse' Name '(' Punctuation 'b' Name -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '0xc0' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '≠' Operator -' ' Text +' ' Text.Whitespace '0x80' Literal.Number.Hex ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name '+' Operator '1' Literal.Number.Integer ')' Punctuation -'\n' Text +'\n' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '## checking UTF-8 & ACSII validity ##' Comment -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'byte_string_classify' Name '(' Punctuation @@ -2056,53 +2056,53 @@ '}' Punctuation '}' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'ccall' Keyword '(' Punctuation ':u8_isvalid' Literal.String.Symbol ',' Punctuation -' ' Text +' ' Text.Whitespace 'Int32' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'Ptr' Keyword.Type '{' Punctuation 'UInt8' Keyword.Type '}' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'Int' Keyword.Type ')' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'sizeof' Name '(' Punctuation 's' Name ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '# 0: neither valid ASCII nor UTF-8' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '# 1: valid ASCII' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '# 2: valid UTF-8' Comment -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'isvalid' Name '(' Punctuation @@ -2112,7 +2112,7 @@ 'String' Keyword.Type '}' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 's' Name '::' Operator 'Union' Keyword.Type @@ -2137,18 +2137,18 @@ 'String' Keyword.Type '}' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'byte_string_classify' Name '(' Punctuation 's' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '≠' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace 'isvalid' Name '(' Punctuation @@ -2156,56 +2156,56 @@ '::' Operator 'String' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'isvalid' Name '(' Punctuation 'String' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 's' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'is_valid_continuation' Name '(' Punctuation 'c' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '0xc0' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace '0x80' Literal.Number.Hex -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '## required core functionality ##' Comment -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '@inline' Name.Decorator -' ' Text +' ' Text.Whitespace 'function' Keyword -' ' Text +' ' Text.Whitespace 'iterate' Name '(' Punctuation 's' Name '::' Operator 'String' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name '::' Operator 'Int' Keyword.Type @@ -2215,869 +2215,869 @@ 's' Name ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '(' Punctuation 'i' Name -' ' Text +' ' Text.Whitespace '%' Operator -' ' Text +' ' Text.Whitespace 'UInt' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '-' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace 'ncodeunits' Name '(' Punctuation 's' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'nothing' Name.Builtin -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'u' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'UInt32' Keyword.Type '(' Punctuation 'b' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '<<' Operator -' ' Text +' ' Text.Whitespace '24' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'between' Name '(' Punctuation 'b' Name ',' Punctuation -' ' Text +' ' Text.Whitespace '0x80' Literal.Number.Hex ',' Punctuation -' ' Text +' ' Text.Whitespace '0xf7' Literal.Number.Hex ')' Punctuation -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'reinterpret' Name '(' Punctuation 'Char' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'u' Name ')' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name '+' Operator '1' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'iterate_continued' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'u' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'function' Keyword -' ' Text +' ' Text.Whitespace 'iterate_continued' Name '(' Punctuation 's' Name '::' Operator 'String' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name '::' Operator 'Int' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'u' Name '::' Operator 'UInt32' Keyword.Type ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'u' Name -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace '0xc0000000' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'i' Name -' ' Text +' ' Text.Whitespace '+=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ';' Punctuation -' ' Text +' ' Text.Whitespace '@goto' Name.Decorator -' ' Text +' ' Text.Whitespace 'ret' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'n' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'ncodeunits' Name '(' Punctuation 's' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '# first continuation byte' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '(' Punctuation 'i' Name -' ' Text +' ' Text.Whitespace '+=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '>' Operator -' ' Text +' ' Text.Whitespace 'n' Name -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace '@goto' Name.Decorator -' ' Text +' ' Text.Whitespace 'ret' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '0xc0' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace '0x80' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace '@goto' Name.Decorator -' ' Text +' ' Text.Whitespace 'ret' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'u' Name -' ' Text +' ' Text.Whitespace '|=' Operator -' ' Text +' ' Text.Whitespace 'UInt32' Keyword.Type '(' Punctuation 'b' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '<<' Operator -' ' Text +' ' Text.Whitespace '16' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '# second continuation byte' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '(' Punctuation '(' Punctuation 'i' Name -' ' Text +' ' Text.Whitespace '+=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '>' Operator -' ' Text +' ' Text.Whitespace 'n' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '|' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'u' Name -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace '0xe0000000' Literal.Number.Hex ')' Punctuation -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace '@goto' Name.Decorator -' ' Text +' ' Text.Whitespace 'ret' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '0xc0' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace '0x80' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace '@goto' Name.Decorator -' ' Text +' ' Text.Whitespace 'ret' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'u' Name -' ' Text +' ' Text.Whitespace '|=' Operator -' ' Text +' ' Text.Whitespace 'UInt32' Keyword.Type '(' Punctuation 'b' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '<<' Operator -' ' Text +' ' Text.Whitespace '8' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '# third continuation byte' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '(' Punctuation '(' Punctuation 'i' Name -' ' Text +' ' Text.Whitespace '+=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '>' Operator -' ' Text +' ' Text.Whitespace 'n' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '|' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'u' Name -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace '0xf0000000' Literal.Number.Hex ')' Punctuation -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace '@goto' Name.Decorator -' ' Text +' ' Text.Whitespace 'ret' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '0xc0' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace '0x80' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace '@goto' Name.Decorator -' ' Text +' ' Text.Whitespace 'ret' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'u' Name -' ' Text +' ' Text.Whitespace '|=' Operator -' ' Text +' ' Text.Whitespace 'UInt32' Keyword.Type '(' Punctuation 'b' Name ')' Punctuation ';' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name -' ' Text +' ' Text.Whitespace '+=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace '@label' Name.Decorator -' ' Text +' ' Text.Whitespace 'ret' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'reinterpret' Name '(' Punctuation 'Char' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'u' Name ')' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name -'\n' Text +'\n' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '@propagate_inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'function' Keyword -' ' Text +' ' Text.Whitespace 'getindex' Name '(' Punctuation 's' Name '::' Operator 'String' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name '::' Operator 'Int' Keyword.Type ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'u' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'UInt32' Keyword.Type '(' Punctuation 'b' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '<<' Operator -' ' Text +' ' Text.Whitespace '24' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'between' Name '(' Punctuation 'b' Name ',' Punctuation -' ' Text +' ' Text.Whitespace '0x80' Literal.Number.Hex ',' Punctuation -' ' Text +' ' Text.Whitespace '0xf7' Literal.Number.Hex ')' Punctuation -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'reinterpret' Name '(' Punctuation 'Char' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'u' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'getindex_continued' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'u' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'function' Keyword -' ' Text +' ' Text.Whitespace 'getindex_continued' Name '(' Punctuation 's' Name '::' Operator 'String' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name '::' Operator 'Int' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'u' Name '::' Operator 'UInt32' Keyword.Type ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace 'u' Name -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace '0xc0000000' Literal.Number.Hex -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '# called from `getindex` which checks bounds' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'isvalid' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace '@goto' Name.Decorator -' ' Text +' ' Text.Whitespace 'ret' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'string_index_err' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'n' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'ncodeunits' Name '(' Punctuation 's' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '(' Punctuation 'i' Name -' ' Text +' ' Text.Whitespace '+=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '>' Operator -'\xa0' Text +'\xa0' Text.Whitespace 'n' Name -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace '@goto' Name.Decorator -' ' Text +' ' Text.Whitespace 'ret' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '# cont byte 1' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '0xc0' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace '0x80' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace '@goto' Name.Decorator -' ' Text +' ' Text.Whitespace 'ret' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'u' Name -' ' Text +' ' Text.Whitespace '|=' Operator -' ' Text +' ' Text.Whitespace 'UInt32' Keyword.Type '(' Punctuation 'b' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '<<' Operator -' ' Text +' ' Text.Whitespace '16' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '(' Punctuation '(' Punctuation 'i' Name -' ' Text +' ' Text.Whitespace '+=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '>' Operator -' ' Text +' ' Text.Whitespace 'n' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '|' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'u' Name -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace '0xe0000000' Literal.Number.Hex ')' Punctuation -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace '@goto' Name.Decorator -' ' Text +' ' Text.Whitespace 'ret' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '# cont byte 2' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '0xc0' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace '0x80' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace '@goto' Name.Decorator -' ' Text +' ' Text.Whitespace 'ret' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'u' Name -' ' Text +' ' Text.Whitespace '|=' Operator -' ' Text +' ' Text.Whitespace 'UInt32' Keyword.Type '(' Punctuation 'b' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '<<' Operator -' ' Text +' ' Text.Whitespace '8' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '(' Punctuation '(' Punctuation 'i' Name -' ' Text +' ' Text.Whitespace '+=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '>' Operator -' ' Text +' ' Text.Whitespace 'n' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '|' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'u' Name -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace '0xf0000000' Literal.Number.Hex ')' Punctuation -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace '@goto' Name.Decorator -' ' Text +' ' Text.Whitespace 'ret' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '# cont byte 3' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '0xc0' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace '0x80' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace '@goto' Name.Decorator -' ' Text +' ' Text.Whitespace 'ret' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'u' Name -' ' Text +' ' Text.Whitespace '|=' Operator -' ' Text +' ' Text.Whitespace 'UInt32' Keyword.Type '(' Punctuation 'b' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace '@label' Name.Decorator -' ' Text +' ' Text.Whitespace 'ret' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'reinterpret' Name '(' Punctuation 'Char' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'u' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'getindex' Name '(' Punctuation @@ -3085,7 +3085,7 @@ '::' Operator 'String' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'r' Name '::' Operator 'UnitRange' Keyword.Type @@ -3094,9 +3094,9 @@ 'Integer' Keyword.Type '}' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 's' Name '[' Punctuation 'Int' Keyword.Type @@ -3115,21 +3115,21 @@ ')' Punctuation ')' Punctuation ']' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '@inline' Name.Decorator -' ' Text +' ' Text.Whitespace 'function' Keyword -' ' Text +' ' Text.Whitespace 'getindex' Name '(' Punctuation 's' Name '::' Operator 'String' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'r' Name '::' Operator 'UnitRange' Keyword.Type @@ -3137,160 +3137,160 @@ 'Int' Keyword.Type '}' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'isempty' Name '(' Punctuation 'r' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace '"' Literal.String '"' Literal.String -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'i' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'j' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'first' Name '(' Punctuation 'r' Name ')' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'last' Name '(' Punctuation 'r' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@boundscheck' Name.Decorator -' ' Text +' ' Text.Whitespace 'begin' Keyword -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'checkbounds' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'r' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'isvalid' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace 'string_index_err' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'isvalid' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'j' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace 'string_index_err' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'j' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'j' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'nextind' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'j' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '-' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'n' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'j' Name -' ' Text +' ' Text.Whitespace '-' Operator -' ' Text +' ' Text.Whitespace 'i' Name -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'ss' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '_string_n' Name '(' Punctuation 'n' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'GC' Name '.' Operator '@preserve' Name.Decorator -' ' Text +' ' Text.Whitespace 's' Name -' ' Text +' ' Text.Whitespace 'ss' Name -' ' Text +' ' Text.Whitespace 'unsafe_copyto!' Name '(' Punctuation 'pointer' Name @@ -3298,30 +3298,30 @@ 'ss' Name ')' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'pointer' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'n' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'ss' Name -'\n' Text +'\n' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'length' Name '(' Punctuation @@ -3329,539 +3329,539 @@ '::' Operator 'String' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'length_continued' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ',' Punctuation -' ' Text +' ' Text.Whitespace 'ncodeunits' Name '(' Punctuation 's' Name ')' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'ncodeunits' Name '(' Punctuation 's' Name ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '@inline' Name.Decorator -' ' Text +' ' Text.Whitespace 'function' Keyword -' ' Text +' ' Text.Whitespace 'length' Name '(' Punctuation 's' Name '::' Operator 'String' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name '::' Operator 'Int' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'j' Name '::' Operator 'Int' Keyword.Type ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@boundscheck' Name.Decorator -' ' Text +' ' Text.Whitespace 'begin' Keyword -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace 'i' Name -' ' Text +' ' Text.Whitespace '≤' Operator -' ' Text +' ' Text.Whitespace 'ncodeunits' Name '(' Punctuation 's' Name ')' Punctuation '+' Operator '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace 'throw' Name '(' Punctuation 'BoundsError' Keyword.Type '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '≤' Operator -'\xa0' Text +'\xa0' Text.Whitespace 'j' Name -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace 'ncodeunits' Name '(' Punctuation 's' Name ')' Punctuation '+' Operator '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace 'throw' Name '(' Punctuation 'BoundsError' Keyword.Type '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'j' Name ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'j' Name -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace 'i' Name -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'i' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'k' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'thisind' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'j' Name -' ' Text +' ' Text.Whitespace '-' Operator -' ' Text +' ' Text.Whitespace 'i' Name -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'i' Name -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace 'k' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'length_continued' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'j' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'c' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '@inline' Name.Decorator -' ' Text +' ' Text.Whitespace 'function' Keyword -' ' Text +' ' Text.Whitespace 'length_continued' Name '(' Punctuation 's' Name '::' Operator 'String' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name '::' Operator 'Int' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'n' Name '::' Operator 'Int' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'c' Name '::' Operator 'Int' Keyword.Type ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'i' Name -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace 'n' Name -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'c' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'while' Keyword -' ' Text +' ' Text.Whitespace 'true' Name.Builtin -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'while' Keyword -' ' Text +' ' Text.Whitespace 'true' Name.Builtin -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '(' Punctuation 'i' Name -' ' Text +' ' Text.Whitespace '+=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '≤' Operator -'\xa0' Text +'\xa0' Text.Whitespace 'n' Name -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'c' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '0xc0' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '≤' Operator -'\xa0' Text +'\xa0' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '≤' Operator -'\xa0' Text +'\xa0' Text.Whitespace '0xf7' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'break' Keyword -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'l' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'b' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '# cont byte 1' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace '-=' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'x' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '0xc0' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace '0x80' Literal.Number.Hex ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'x' Name -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'l' Name -' ' Text +' ' Text.Whitespace '≥' Operator -' ' Text +' ' Text.Whitespace '0xe0' Literal.Number.Hex ')' Punctuation -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace 'continue' Keyword -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '(' Punctuation 'i' Name -' ' Text +' ' Text.Whitespace '+=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '≤' Operator -'\xa0' Text +'\xa0' Text.Whitespace 'n' Name -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'c' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '# cont byte 2' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace '-=' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'x' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '0xc0' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace '0x80' Literal.Number.Hex ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'x' Name -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'l' Name -' ' Text +' ' Text.Whitespace '≥' Operator -' ' Text +' ' Text.Whitespace '0xf0' Literal.Number.Hex ')' Punctuation -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace 'continue' Keyword -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '(' Punctuation 'i' Name -' ' Text +' ' Text.Whitespace '+=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '≤' Operator -'\xa0' Text +'\xa0' Text.Whitespace 'n' Name -' ' Text +' ' Text.Whitespace '||' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'c' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '# cont byte 3' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace '-=' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'b' Name -' ' Text +' ' Text.Whitespace '&' Operator -' ' Text +' ' Text.Whitespace '0xc0' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace '0x80' Literal.Number.Hex ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '## overload methods for efficiency ##' Comment -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'isvalid' Name '(' Punctuation @@ -3869,103 +3869,103 @@ '::' Operator 'String' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name '::' Operator 'Int' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'checkbounds' Name '(' Punctuation 'Bool' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'thisind' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace 'i' Name -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'function' Keyword -' ' Text +' ' Text.Whitespace 'isascii' Name '(' Punctuation 's' Name '::' Operator 'String' Keyword.Type ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '@inbounds' Name.Decorator -' ' Text +' ' Text.Whitespace 'for' Keyword -' ' Text +' ' Text.Whitespace 'i' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ':' Operator 'ncodeunits' Name '(' Punctuation 's' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'codeunit' Name '(' Punctuation 's' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '>=' Operator -' ' Text +' ' Text.Whitespace '0x80' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'false' Name.Builtin -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 'true' Name.Builtin -'\n' Text +'\n' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '"""' Literal.String "\n repeat(c::AbstractChar, r::Integer) -> String\n\nRepeat a character `r` times. This can equivalently be accomplished by calling\n[`c^r`](@ref :^(::Union{AbstractString, AbstractChar}, ::Integer)).\n\n# Examples\n```jldoctest\njulia> repeat('A', 3)\n" Literal.String @@ -3976,7 +3976,7 @@ '\n```\n' Literal.String '"""' Literal.String -'\n' Text +'\n' Text.Whitespace 'repeat' Name '(' Punctuation @@ -3984,14 +3984,14 @@ '::' Operator 'AbstractChar' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'r' Name '::' Operator 'Integer' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'repeat' Name '(' Punctuation 'Char' Keyword.Type @@ -3999,52 +3999,52 @@ 'c' Name ')' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'r' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '# fallback' Comment -'\n' Text +'\n' Text.Whitespace 'function' Keyword -' ' Text +' ' Text.Whitespace 'repeat' Name '(' Punctuation 'c' Name '::' Operator 'Char' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'r' Name '::' Operator 'Integer' Keyword.Type ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'r' Name -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace '"' Literal.String '"' Literal.String -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'r' Name -' ' Text +' ' Text.Whitespace '<' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '&&' Operator -' ' Text +' ' Text.Whitespace 'throw' Name '(' Punctuation 'ArgumentError' Keyword.Type @@ -4056,145 +4056,145 @@ '"' Literal.String ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'u' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'bswap' Name '(' Punctuation 'reinterpret' Name '(' Punctuation 'UInt32' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'c' Name ')' Punctuation ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'n' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '4' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '-' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'leading_zeros' Name '(' Punctuation 'u' Name -' ' Text +' ' Text.Whitespace '|' Operator -' ' Text +' ' Text.Whitespace '0xff' Literal.Number.Hex ')' Punctuation -' ' Text +' ' Text.Whitespace '>>' Operator -' ' Text +' ' Text.Whitespace '3' Literal.Number.Integer ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 's' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '_string_n' Name '(' Punctuation 'n' Name '*' Operator 'r' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'p' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'pointer' Name '(' Punctuation 's' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'GC' Name '.' Operator '@preserve' Name.Decorator -' ' Text +' ' Text.Whitespace 's' Name -' ' Text +' ' Text.Whitespace 'if' Keyword -' ' Text +' ' Text.Whitespace 'n' Name -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'ccall' Keyword '(' Punctuation ':memset' Literal.String.Symbol ',' Punctuation -' ' Text +' ' Text.Whitespace 'Ptr' Keyword.Type '{' Punctuation 'Cvoid' Keyword.Type '}' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace '(' Punctuation 'Ptr' Keyword.Type '{' Punctuation 'UInt8' Keyword.Type '}' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'Cint' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'Csize_t' Keyword.Type ')' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'p' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'u' Name -' ' Text +' ' Text.Whitespace '%' Operator -' ' Text +' ' Text.Whitespace 'UInt8' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'r' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'elseif' Keyword -' ' Text +' ' Text.Whitespace 'n' Name -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'p16' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'reinterpret' Name '(' Punctuation 'Ptr' Keyword.Type @@ -4202,195 +4202,195 @@ 'UInt16' Keyword.Type '}' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'p' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'for' Keyword -' ' Text +' ' Text.Whitespace 'i' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ':' Operator 'r' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'unsafe_store!' Name '(' Punctuation 'p16' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'u' Name -' ' Text +' ' Text.Whitespace '%' Operator -' ' Text +' ' Text.Whitespace 'UInt16' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'elseif' Keyword -' ' Text +' ' Text.Whitespace 'n' Name -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace '3' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'b1' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'u' Name -' ' Text +' ' Text.Whitespace '>>' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '%' Operator -' ' Text +' ' Text.Whitespace 'UInt8' Keyword.Type -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'b2' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'u' Name -' ' Text +' ' Text.Whitespace '>>' Operator -' ' Text +' ' Text.Whitespace '8' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '%' Operator -' ' Text +' ' Text.Whitespace 'UInt8' Keyword.Type -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'b3' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'u' Name -' ' Text +' ' Text.Whitespace '>>' Operator -' ' Text +' ' Text.Whitespace '16' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '%' Operator -' ' Text +' ' Text.Whitespace 'UInt8' Keyword.Type -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'for' Keyword -' ' Text +' ' Text.Whitespace 'i' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer ':' Operator 'r' Name '-' Operator '1' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'unsafe_store!' Name '(' Punctuation 'p' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'b1' Name ',' Punctuation -' ' Text +' ' Text.Whitespace '3' Literal.Number.Integer 'i' Name -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'unsafe_store!' Name '(' Punctuation 'p' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'b2' Name ',' Punctuation -' ' Text +' ' Text.Whitespace '3' Literal.Number.Integer 'i' Name -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'unsafe_store!' Name '(' Punctuation 'p' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'b3' Name ',' Punctuation -' ' Text +' ' Text.Whitespace '3' Literal.Number.Integer 'i' Name -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace '3' Literal.Number.Integer ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'elseif' Keyword -' ' Text +' ' Text.Whitespace 'n' Name -' ' Text +' ' Text.Whitespace '==' Operator -' ' Text +' ' Text.Whitespace '4' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'p32' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'reinterpret' Name '(' Punctuation 'Ptr' Keyword.Type @@ -4398,49 +4398,49 @@ 'UInt32' Keyword.Type '}' Punctuation ',' Punctuation -' ' Text +' ' Text.Whitespace 'p' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'for' Keyword -' ' Text +' ' Text.Whitespace 'i' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ':' Operator 'r' Name -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'unsafe_store!' Name '(' Punctuation 'p32' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'u' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'i' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace 'return' Keyword -' ' Text +' ' Text.Whitespace 's' Name -'\n' Text +'\n' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace diff --git a/tests/snippets/julia-repl/test_repl.txt b/tests/snippets/julia-repl/test_repl.txt index 798f0047..183de178 100644 --- a/tests/snippets/julia-repl/test_repl.txt +++ b/tests/snippets/julia-repl/test_repl.txt @@ -11,14 +11,14 @@ julia> @. f(1:2) ---tokens--- 'julia>' Generic.Prompt -' ' Text +' ' Text.Whitespace 'f' Name '(' Punctuation 'x' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'sin' Name '(' Punctuation 'π' Name.Builtin @@ -26,23 +26,23 @@ julia> @. f(1:2) '2' Literal.Number.Integer 'x' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace 'f (generic function with 1 method)\n' Generic.Output '\n' Generic.Output 'julia>' Generic.Prompt -' ' Text +' ' Text.Whitespace '@.' Name.Decorator -' ' Text +' ' Text.Whitespace 'f' Name '(' Punctuation '1' Literal.Number.Integer ':' Operator '2' Literal.Number.Integer ')' Punctuation -'\n' Text +'\n' Text.Whitespace '2-element Vector{Float64}:\n' Generic.Output diff --git a/tests/snippets/julia/test_keywords.txt b/tests/snippets/julia/test_keywords.txt index 235c411c..10166d67 100644 --- a/tests/snippets/julia/test_keywords.txt +++ b/tests/snippets/julia/test_keywords.txt @@ -12,78 +12,90 @@ primitive type MyPrimitive 32 end mutable struct MutableType end ---tokens--- -'mutable struct' Keyword +'mutable' Keyword +' ' Text.Whitespace +'struct' Keyword ' ' Text 'MutableType' Keyword.Type -' ' Text +' ' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace 'struct' Keyword ' ' Text 'ImmutableType' Keyword.Type -' ' Text +' ' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -'abstract type' Keyword +'abstract' Keyword +' ' Text.Whitespace +'type' Keyword ' ' Text 'AbstractMyType' Keyword.Type -' ' Text +' ' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -'primitive type' Keyword +'primitive' Keyword +' ' Text.Whitespace +'type' Keyword ' ' Text 'MyPrimitive' Keyword.Type -' ' Text +' ' Text.Whitespace '32' Literal.Number.Integer -' ' Text +' ' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'abstract' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'mutable' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'type' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'true' Name.Builtin ',' Punctuation -' ' Text +' ' Text.Whitespace 'π' Name.Builtin ',' Punctuation -' ' Text +' ' Text.Whitespace 'missing' Name.Builtin -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace -'abstract type' Keyword +'abstract' Keyword +' ' Text.Whitespace +'type' Keyword ' ' Text 'AbstractMyType' Keyword.Type -' ' Text +' ' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -'primitive \ttype' Keyword +'primitive' Keyword +' \t' Text.Whitespace +'type' Keyword ' ' Text 'MyPrimitive' Keyword.Type -' ' Text +' ' Text.Whitespace '32' Literal.Number.Integer -' ' Text +' ' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace -'mutable struct' Keyword +'mutable' Keyword +' ' Text.Whitespace +'struct' Keyword ' ' Text 'MutableType' Keyword.Type -' ' Text +' ' Text.Whitespace 'end' Keyword -'\n' Text +'\n' Text.Whitespace diff --git a/tests/snippets/julia/test_macros.txt b/tests/snippets/julia/test_macros.txt index 8dc27187..43d67e0f 100644 --- a/tests/snippets/julia/test_macros.txt +++ b/tests/snippets/julia/test_macros.txt @@ -10,47 +10,47 @@ ---tokens--- '@generated' Name.Decorator -' ' Text +' ' Text.Whitespace 'function' Keyword -'\n' Text +'\n' Text.Whitespace '@.' Name.Decorator -' ' Text +' ' Text.Whitespace 'a' Name -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace 'b' Name -'\n' Text +'\n' Text.Whitespace '@~' Name.Decorator -' ' Text +' ' Text.Whitespace 'a' Name -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace 'b' Name -'\n' Text +'\n' Text.Whitespace '@±' Name.Decorator -' ' Text +' ' Text.Whitespace 'a' Name -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace 'b' Name -'\n' Text +'\n' Text.Whitespace '@mymacro' Name.Decorator '(' Punctuation 'a' Name ',' Punctuation -' ' Text +' ' Text.Whitespace 'b' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace '@+¹ᵀ' Name.Decorator -' ' Text +' ' Text.Whitespace 'a' Name -'\n' Text +'\n' Text.Whitespace diff --git a/tests/snippets/julia/test_names.txt b/tests/snippets/julia/test_names.txt index 338f483f..62c0b55d 100644 --- a/tests/snippets/julia/test_names.txt +++ b/tests/snippets/julia/test_names.txt @@ -33,116 +33,116 @@ A² # category No ---tokens--- 'a' Name -' ' Text +' ' Text.Whitespace '# single character variable' Comment -'\n' Text +'\n' Text.Whitespace 'a_simple_name' Name -'\n' Text +'\n' Text.Whitespace '_leading_underscore' Name -'\n' Text +'\n' Text.Whitespace '5' Literal.Number.Integer 'implicit_mul' Name -'\n' Text +'\n' Text.Whitespace '6' Literal.Number.Integer '_more_mul' Name -'\n' Text +'\n' Text.Whitespace 'nums1' Name -'\n' Text +'\n' Text.Whitespace 'nums_2' Name -'\n' Text +'\n' Text.Whitespace 'nameswith!' Name -'\n' Text +'\n' Text.Whitespace 'multiple!!' Name -'\n' Text +'\n' Text.Whitespace 'embedded!_inthemiddle' Name -'\n' Text +'\n' Text.Whitespace 'embed!1' Name -'\n' Text +'\n' Text.Whitespace 'prime_suffix′' Name -'\n' Text +'\n' Text.Whitespace 'for_each' Name -' ' Text +' ' Text.Whitespace '# starts with keyword substring' Comment -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '# variables with characters > \\u00A1' Comment -'\n' Text +'\n' Text.Whitespace 'ð' Name -' ' Text +' ' Text.Whitespace '# category Ll' Comment -'\n' Text +'\n' Text.Whitespace 'Aʺ' Name -' ' Text +' ' Text.Whitespace '# category Lm -- \\U02BA (MODIFIER LETTER DOUBLE PRIME), not \\U2033 (DOUBLE PRIME)' Comment -'\n' Text +'\n' Text.Whitespace 'א' Name -' ' Text +' ' Text.Whitespace '# category Lo' Comment -'\n' Text +'\n' Text.Whitespace 'Ð' Name -' ' Text +' ' Text.Whitespace '# category Lu' Comment -'\n' Text +'\n' Text.Whitespace 'A̅' Name -' ' Text +' ' Text.Whitespace '# category Mn -- \\U0305 (COMBINING OVERLINE)' Comment -'\n' Text +'\n' Text.Whitespace 'ⅿ' Name -' ' Text +' ' Text.Whitespace '# category Nl -- \\U217F (SMALL ROMAN NUMERAL ONE THOUSAND)' Comment -'\n' Text +'\n' Text.Whitespace 'A₁' Name -' ' Text +' ' Text.Whitespace '# category No' Comment -'\n' Text +'\n' Text.Whitespace 'A²' Name -' ' Text +' ' Text.Whitespace '# category No' Comment -'\n' Text +'\n' Text.Whitespace '€' Name -' ' Text +' ' Text.Whitespace '# category Sc' Comment -'\n' Text +'\n' Text.Whitespace '©' Name -' ' Text +' ' Text.Whitespace '# category So' Comment -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '# number-like names' Comment -'\n' Text +'\n' Text.Whitespace '𝟙' Name -' ' Text +' ' Text.Whitespace '# category Nd' Comment -'\n' Text +'\n' Text.Whitespace '𝟏' Name -' ' Text +' ' Text.Whitespace '# category Nd' Comment -'\n' Text +'\n' Text.Whitespace diff --git a/tests/snippets/julia/test_numbers.txt b/tests/snippets/julia/test_numbers.txt index 5c572438..66f1fd0f 100644 --- a/tests/snippets/julia/test_numbers.txt +++ b/tests/snippets/julia/test_numbers.txt @@ -33,229 +33,229 @@ ---tokens--- '# floats' Comment -'\n' Text +'\n' Text.Whitespace -' ' Text +' ' Text.Whitespace '1e1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1e+1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1e-1' Literal.Number.Float -'\n' Text +'\n' Text.Whitespace '1.1e1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1.1e+1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1.1e-1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '.1e1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '.1_1e1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1_1.1e1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1.1_1e1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1.1_11e1' Literal.Number.Float -'\n' Text +'\n' Text.Whitespace '1.1E1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1.1E+1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1.1E-1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '.1E1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '.1_1E1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1_1.1E1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1.1_1E1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1.1_11E1' Literal.Number.Float -'\n' Text +'\n' Text.Whitespace '1.1f1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1.1f+1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1.1f-1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '.1f1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '.1_1f1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1_1.1f1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1.1_1f1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1.1_11f1' Literal.Number.Float -'\n' Text +'\n' Text.Whitespace '1E1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1E+1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1E-1' Literal.Number.Float -'\n' Text +'\n' Text.Whitespace '1f1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1f+1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1f-1' Literal.Number.Float -'\n' Text +'\n' Text.Whitespace '.1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1.' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1.1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1.1_1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1.1_11' Literal.Number.Float -' ' Text +' ' Text.Whitespace '.1_1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '.1_11' Literal.Number.Float -' ' Text +' ' Text.Whitespace '1_1.1_1' Literal.Number.Float -'\n' Text +'\n' Text.Whitespace '# hex floats' Comment -'\n' Text +'\n' Text.Whitespace '0x1p1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '0xa_bp10' Literal.Number.Float -' ' Text +' ' Text.Whitespace '0x01_ap11' Literal.Number.Float -' ' Text +' ' Text.Whitespace '0x01_abp1' Literal.Number.Float -'\n' Text +'\n' Text.Whitespace '0x1.1p1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '0xA.Bp10' Literal.Number.Float -' ' Text +' ' Text.Whitespace '0x0.1_Ap9' Literal.Number.Float -' ' Text +' ' Text.Whitespace '0x0_1.Ap1' Literal.Number.Float -' ' Text +' ' Text.Whitespace '0x0_1.A_Bp9' Literal.Number.Float -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '# integers' Comment -'\n' Text +'\n' Text.Whitespace '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '01' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '10_1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '10_11' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '# non-decimal' Comment -'\n' Text +'\n' Text.Whitespace '0xf' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '0xf_0' Literal.Number.Hex -' ' Text +' ' Text.Whitespace '0xfff_000' Literal.Number.Hex -'\n' Text +'\n' Text.Whitespace '0o7' Literal.Number.Oct -' ' Text +' ' Text.Whitespace '0o7_0' Literal.Number.Oct -' ' Text +' ' Text.Whitespace '0o777_000' Literal.Number.Oct -'\n' Text +'\n' Text.Whitespace '0b1' Literal.Number.Bin -' ' Text +' ' Text.Whitespace '0b1_0' Literal.Number.Bin -' ' Text +' ' Text.Whitespace '0b111_000' Literal.Number.Bin -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '# invalid in Julia - out of range values' Comment -'\n' Text +'\n' Text.Whitespace '0' Literal.Number.Integer 'xg' Name -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer 'o8' Name -' ' Text +' ' Text.Whitespace '0' Literal.Number.Integer 'b2' Name -' ' Text +' ' Text.Whitespace '0x1' Literal.Number.Hex 'pA' Name -'\n' Text +'\n' Text.Whitespace '# invalid in Julia - no trailing underscores' Comment -'\n' Text +'\n' Text.Whitespace '1' Literal.Number.Integer '_' Name -' ' Text +' ' Text.Whitespace '1.1' Literal.Number.Float '_' Name -' ' Text +' ' Text.Whitespace '0xf' Literal.Number.Hex '_' Name -' ' Text +' ' Text.Whitespace '0o7' Literal.Number.Oct '_' Name -' ' Text +' ' Text.Whitespace '0b1' Literal.Number.Bin '_' Name -' ' Text +' ' Text.Whitespace '0xF' Literal.Number.Hex '_p1' Name -'\n' Text +'\n' Text.Whitespace '# parsed as juxtaposed numeral + variable in Julia (no underscores in exponents)' Comment -'\n' Text +'\n' Text.Whitespace '1e1' Literal.Number.Float '_1' Name -' ' Text +' ' Text.Whitespace '1E1' Literal.Number.Float '_1' Name -' ' Text +' ' Text.Whitespace '1f1' Literal.Number.Float '_1' Name -' ' Text +' ' Text.Whitespace '0xfp1' Literal.Number.Float '_1' Name -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '# not floats -- range-like expression parts' Comment -'\n' Text +'\n' Text.Whitespace '1' Literal.Number.Integer '..' Operator '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '..' Operator '1' Literal.Number.Integer -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer '..' Operator -'\n' Text +'\n' Text.Whitespace diff --git a/tests/snippets/julia/test_operators.txt b/tests/snippets/julia/test_operators.txt index 017a48e9..c3c0f9f6 100644 --- a/tests/snippets/julia/test_operators.txt +++ b/tests/snippets/julia/test_operators.txt @@ -22,151 +22,151 @@ suffixed +¹²³ operator ---tokens--- 'a' Name -' ' Text +' ' Text.Whitespace '+=' Operator -' ' Text +' ' Text.Whitespace 'b' Name '.' Operator 'c' Name -'\n' Text +'\n' Text.Whitespace 'a' Name -' ' Text +' ' Text.Whitespace '.÷=' Operator -' ' Text +' ' Text.Whitespace '.~' Operator 'b' Name '.' Operator 'c' Name -'\n' Text +'\n' Text.Whitespace 'a' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '!' Operator 'b' Name -' ' Text +' ' Text.Whitespace '⋆' Operator -' ' Text +' ' Text.Whitespace 'c!' Name -'\n' Text +'\n' Text.Whitespace 'a' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'b' Name -' ' Text +' ' Text.Whitespace '?' Operator -' ' Text +' ' Text.Whitespace 'c' Name -' ' Text +' ' Text.Whitespace ':' Operator -' ' Text +' ' Text.Whitespace 'd' Name -' ' Text +' ' Text.Whitespace '⊕' Operator -' ' Text +' ' Text.Whitespace 'e' Name -'\n' Text +'\n' Text.Whitespace 'a' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '√' Operator '(' Punctuation '5' Literal.Number.Integer ')' Punctuation -'\n' Text +'\n' Text.Whitespace 'a' Name -' ' Text +' ' Text.Whitespace '->' Operator -' ' Text +' ' Text.Whitespace '(' Punctuation 'a' Name '...' Operator ')' Punctuation -' ' Text +' ' Text.Whitespace '.+' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace 'a' Name -' ' Text +' ' Text.Whitespace '\\' Operator -' ' Text +' ' Text.Whitespace 'b' Name -'\n' Text +'\n' Text.Whitespace '1' Literal.Number.Integer '..' Operator '2' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace 'a' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace 'a' Name -' ' Text +' ' Text.Whitespace '===' Operator -' ' Text +' ' Text.Whitespace 'b' Name -'\n' Text +'\n' Text.Whitespace 'a' Keyword.Type -' ' Text +' ' Text.Whitespace '<:' Operator -' ' Text +' ' Text.Whitespace 'T' Keyword.Type -'\n' Text +'\n' Text.Whitespace 'a' Keyword.Type -' ' Text +' ' Text.Whitespace '>:' Operator -' ' Text +' ' Text.Whitespace 'T' Keyword.Type -'\n' Text +'\n' Text.Whitespace 'a' Name '::' Operator 'T' Keyword.Type -'\n' Text +'\n' Text.Whitespace '[' Punctuation 'adjoint' Name ']' Punctuation "'" Operator -'\n' Text +'\n' Text.Whitespace '(' Punctuation 'identity' Name ')' Punctuation "''" Operator -'\n' Text +'\n' Text.Whitespace 'adjoint' Name "'''" Operator -'\n' Text +'\n' Text.Whitespace 'transpose' Name "'ᵀ" Operator -'\n' Text +'\n' Text.Whitespace 'suffixed' Name -' ' Text +' ' Text.Whitespace '+¹' Operator -' ' Text +' ' Text.Whitespace 'operator' Name -'\n' Text +'\n' Text.Whitespace 'suffixed' Name -' ' Text +' ' Text.Whitespace '+¹²³' Operator -' ' Text +' ' Text.Whitespace 'operator' Name -'\n' Text +'\n' Text.Whitespace diff --git a/tests/snippets/julia/test_strings.txt b/tests/snippets/julia/test_strings.txt index 436bfe3c..d5f91bff 100644 --- a/tests/snippets/julia/test_strings.txt +++ b/tests/snippets/julia/test_strings.txt @@ -44,33 +44,33 @@ arbi`trary`1234 '"' Literal.String 'global function' Literal.String '"' Literal.String -'\n' Text +'\n' Text.Whitespace '"' Literal.String 'An ' Literal.String '$interpolated' Literal.String.Interpol ' variable' Literal.String '"' Literal.String -'\n' Text +'\n' Text.Whitespace '"' Literal.String 'An ' Literal.String '$' Literal.String.Interpol '(' Punctuation 'a' Name -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ')' Punctuation ' expression' Literal.String '"' Literal.String -'\n' Text +'\n' Text.Whitespace '"""' Literal.String 'a' Literal.String '"""' Literal.String -'\n' Text +'\n' Text.Whitespace '"""' Literal.String '\nglobal function\nde e f\n' Literal.String @@ -81,7 +81,7 @@ arbi`trary`1234 '\n' Literal.String '"""' Literal.String -'\n' Text +'\n' Text.Whitespace 'raw' Literal.String.Affix '"' Literal.String @@ -90,70 +90,70 @@ arbi`trary`1234 ' $interp $(1 + 1) ' Literal.String '\\"' Literal.String.Escape '"' Literal.String -'\n' Text +'\n' Text.Whitespace 'raw' Literal.String.Affix '"""' Literal.String '\n"inner string"\n$interp\n$(1 + 1)\n' Literal.String '"""' Literal.String -'\n' Text +'\n' Text.Whitespace '# commented "string"' Comment -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '@sprintf' Name.Decorator -' ' Text +' ' Text.Whitespace '"' Literal.String '%0.2f' Literal.String.Interpol '"' Literal.String -' ' Text +' ' Text.Whitespace 'var' Name -'\n' Text +'\n' Text.Whitespace 'v' Literal.String.Affix '"' Literal.String '1.0' Literal.String '"' Literal.String -'\n' Text +'\n' Text.Whitespace 'var' Literal.String.Affix '"' Literal.String '#nonstandard#' Literal.String '"' Literal.String -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'r' Literal.String.Affix '"' Literal.String.Regex '^[abs]+$' Literal.String.Regex '"' Literal.String.Regex 'm' Literal.String.Affix -'\n' Text +'\n' Text.Whitespace 'arbi' Literal.String.Affix '"' Literal.String 'trary' Literal.String '"' Literal.String 'suff' Literal.String.Affix -'\n' Text +'\n' Text.Whitespace 'arbi' Literal.String.Affix '"' Literal.String 'trary' Literal.String '"' Literal.String '1234' Literal.String.Affix -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '`' Literal.String.Backtick 'global function' Literal.String.Backtick '`' Literal.String.Backtick -'\n' Text +'\n' Text.Whitespace '`' Literal.String.Backtick 'abc ' Literal.String.Backtick @@ -163,25 +163,25 @@ arbi`trary`1234 ' ' Literal.String.Backtick '$interpolated' Literal.String.Interpol '`' Literal.String.Backtick -'\n' Text +'\n' Text.Whitespace '`' Literal.String.Backtick 'abc ' Literal.String.Backtick '$' Literal.String.Interpol '(' Punctuation 'a' Name -' ' Text +' ' Text.Whitespace '+' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer ')' Punctuation '`' Literal.String.Backtick -'\n' Text +'\n' Text.Whitespace '```' Literal.String.Backtick 'a' Literal.String.Backtick '```' Literal.String.Backtick -'\n' Text +'\n' Text.Whitespace '```' Literal.String.Backtick '\nglobal function\n"thing" ' Literal.String.Backtick @@ -203,23 +203,23 @@ arbi`trary`1234 '\n' Literal.String.Backtick '```' Literal.String.Backtick -'\n' Text +'\n' Text.Whitespace '# commented `command`' Comment -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace 'arbi' Literal.String.Affix '`' Literal.String.Backtick 'trary' Literal.String.Backtick '`' Literal.String.Backtick 'suff' Literal.String.Affix -'\n' Text +'\n' Text.Whitespace 'arbi' Literal.String.Affix '`' Literal.String.Backtick 'trary' Literal.String.Backtick '`' Literal.String.Backtick '1234' Literal.String.Affix -'\n' Text +'\n' Text.Whitespace diff --git a/tests/snippets/julia/test_symbols.txt b/tests/snippets/julia/test_symbols.txt index 8b85a8e1..37b4f830 100644 --- a/tests/snippets/julia/test_symbols.txt +++ b/tests/snippets/julia/test_symbols.txt @@ -17,54 +17,54 @@ UInt(1):UInt(2) ---tokens--- ':abc_123' Literal.String.Symbol -'\n' Text +'\n' Text.Whitespace ':abc_def' Literal.String.Symbol -'\n' Text +'\n' Text.Whitespace ':α' Literal.String.Symbol -'\n' Text +'\n' Text.Whitespace 'Val' Keyword.Type '{' Punctuation ':mysymbol' Literal.String.Symbol '}' Punctuation -'\n' Text +'\n' Text.Whitespace -'\n' Text +'\n' Text.Whitespace '# non-symbols' Comment -'\n' Text +'\n' Text.Whitespace 'a' Name ':' Operator 'b' Name -'\n' Text +'\n' Text.Whitespace '1' Literal.Number.Integer ':' Operator 'b' Name -'\n' Text +'\n' Text.Whitespace '1.' Literal.Number.Float ':' Operator 'b' Name -'\n' Text +'\n' Text.Whitespace 'a' Name '::' Operator 'T' Keyword.Type -'\n' Text +'\n' Text.Whitespace 'a' Keyword.Type '<:' Operator 'T' Keyword.Type -'\n' Text +'\n' Text.Whitespace 'a' Keyword.Type '>:' Operator 'T' Keyword.Type -'\n' Text +'\n' Text.Whitespace 'UInt' Keyword.Type '(' Punctuation @@ -75,4 +75,4 @@ UInt(1):UInt(2) '(' Punctuation '2' Literal.Number.Integer ')' Punctuation -'\n' Text +'\n' Text.Whitespace diff --git a/tests/snippets/julia/test_types.txt b/tests/snippets/julia/test_types.txt index dc475349..16267fd8 100644 --- a/tests/snippets/julia/test_types.txt +++ b/tests/snippets/julia/test_types.txt @@ -20,16 +20,16 @@ g(C) <: T 'Union' Keyword.Type '{' Punctuation '}' Punctuation -'\n' Text +'\n' Text.Whitespace 'MyType' Keyword.Type '{' Punctuation 'Nothing' Keyword.Type ',' Punctuation -' ' Text +' ' Text.Whitespace 'Any' Keyword.Type '}' Punctuation -'\n' Text +'\n' Text.Whitespace 'f' Name '(' Punctuation @@ -41,36 +41,36 @@ g(C) <: T 'S' Keyword.Type '}' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace 'where' Keyword -' ' Text +' ' Text.Whitespace 'S' Keyword.Type -' ' Text +' ' Text.Whitespace 'where' Keyword -' ' Text +' ' Text.Whitespace 'T' Keyword.Type -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace 'f' Name '(' Punctuation '::' Operator 'T' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace 'where' Keyword -' ' Text +' ' Text.Whitespace '{' Punctuation 'T' Keyword.Type '}' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace 'f' Name '(' Punctuation @@ -81,35 +81,35 @@ g(C) <: T 'T' Keyword.Type '}' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace 'f' Name '(' Punctuation '::' Operator 'AT' Keyword.Type ')' Punctuation -' ' Text +' ' Text.Whitespace 'where' Keyword -' ' Text +' ' Text.Whitespace 'AT' Keyword.Type -' ' Text +' ' Text.Whitespace '<:' Operator -' ' Text +' ' Text.Whitespace 'AbstractArray' Keyword.Type '{' Punctuation 'MyType' Keyword.Type ',' Punctuation '1' Literal.Number.Integer '}' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace 'f' Name '(' Punctuation @@ -119,11 +119,11 @@ g(C) <: T ':named' Literal.String.Symbol '}' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace 'f' Name '(' Punctuation @@ -133,25 +133,25 @@ g(C) <: T 'sin' Name ')' Punctuation ')' Punctuation -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '1' Literal.Number.Integer -'\n' Text +'\n' Text.Whitespace 'MyInt' Keyword.Type -' ' Text +' ' Text.Whitespace '<:' Operator -' ' Text +' ' Text.Whitespace 'Integer' Keyword.Type -'\n' Text +'\n' Text.Whitespace 'Number' Keyword.Type -' ' Text +' ' Text.Whitespace '>:' Operator -' ' Text +' ' Text.Whitespace 'MyInt' Keyword.Type -'\n' Text +'\n' Text.Whitespace 'AT' Keyword.Type '{' Punctuation @@ -159,11 +159,11 @@ g(C) <: T ',' Punctuation '1' Literal.Number.Integer '}' Punctuation -' ' Text +' ' Text.Whitespace '<:' Operator -' ' Text +' ' Text.Whitespace 'B' Keyword.Type -'\n' Text +'\n' Text.Whitespace 'B' Keyword.Type '>:' Operator @@ -173,24 +173,24 @@ g(C) <: T ',' Punctuation '1' Literal.Number.Integer '}' Punctuation -'\n' Text +'\n' Text.Whitespace 'A' Keyword.Type -' ' Text +' ' Text.Whitespace '<:' Operator -' ' Text +' ' Text.Whitespace 'f' Name '(' Punctuation 'B' Name ')' Punctuation -'\n' Text +'\n' Text.Whitespace 'g' Name '(' Punctuation 'C' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '<:' Operator -' ' Text +' ' Text.Whitespace 'T' Keyword.Type -'\n' Text +'\n' Text.Whitespace diff --git a/tests/snippets/julia/test_unicode.txt b/tests/snippets/julia/test_unicode.txt index 36f3577d..6b2508a5 100644 --- a/tests/snippets/julia/test_unicode.txt +++ b/tests/snippets/julia/test_unicode.txt @@ -5,9 +5,9 @@ s = √((1/n) * sum(count .^ 2) - mu .^2) ---tokens--- 's' Name -' ' Text +' ' Text.Whitespace '=' Operator -' ' Text +' ' Text.Whitespace '√' Operator '(' Punctuation '(' Punctuation @@ -15,23 +15,23 @@ s = √((1/n) * sum(count .^ 2) - mu .^2) '/' Operator 'n' Name ')' Punctuation -' ' Text +' ' Text.Whitespace '*' Operator -' ' Text +' ' Text.Whitespace 'sum' Name '(' Punctuation 'count' Name -' ' Text +' ' Text.Whitespace '.^' Operator -' ' Text +' ' Text.Whitespace '2' Literal.Number.Integer ')' Punctuation -' ' Text +' ' Text.Whitespace '-' Operator -' ' Text +' ' Text.Whitespace 'mu' Name -' ' Text +' ' Text.Whitespace '.^' Operator '2' Literal.Number.Integer ')' Punctuation -'\n' Text +'\n' Text.Whitespace |
