Use tokenizer for JSON example

Author: tjvr

examples/json.ne

@@ -1,7 +1,35 @@
 # http://www.json.org/
 # http://www.asciitable.com/
+@{%
+// const moo = typeof module === 'object' && module.exports ? require('moo') : moo
+const moo = require('../moo')
+
+let lexer = moo.compile({
+    SPACE: {match: /\s+/, lineBreaks: true},
+    NUMBER: /-?(?:[0-9]|[1-9][0-9]+)(?:\.[0-9]+)?(?:[eE][-+]?[0-9]+)?\b/,
+    STRING: /"(?:\\["bfnrt\/\\]|\\u[a-fA-F0-9]{4}|[^"\\])*"/,
+    '{': '{',
+    '}': '}',
+    '[': '[',
+    ']': ']',
+    ',': ',',
+    ':': ':',
+    TRUE: /true\b/,
+    FALSE: /false\b/,
+    NULL: /null\b/,
+})
+
+var SPACE = {type: 'SPACE'}
+var STRING = {type: 'STRING'}
+var NUMBER = {type: 'NUMBER'}
+var TRUE = {type: 'TRUE'}
+var FALSE = {type: 'FALSE'}
+var NULL = {type: 'NULL'}
+%}
 
-json -> [\s]:* (object | array) [\s]:* {% function(d) { return d[1][0]; } %}
+@lexer lexer
+
+json -> _ (object | array) _ {% function(d) { return d[1][0]; } %}
 
 object -> "{" _ "}" {% function(d) { return {}; } %}
     | "{" _ pair (_ "," _ pair):* _ "}" {% extractObject %}
@@ -14,39 +42,19 @@ value ->
     | array {% id %}
     | number {% id %}
     | string {% id %}
-    | "true" {% function(d) { return true; } %}
-    | "false" {% function(d) { return false; } %}
-    | "null" {% function(d) { return null; } %}
+    | %TRUE {% function(d) { return true; } %}
+    | %FALSE {% function(d) { return false; } %}
+    | %NULL {% function(d) { return null; } %}
 
-number -> "-":? ("0" | intPart) fracPart:? expPart:? {% extractNumber %}
+number -> %NUMBER {% function(d) { return parseFloat(d[0].value) } %}
 
-string -> "\"" validChar:* "\"" {% function(d) { return d[1].join("") } %}
+string -> %STRING {% function(d) { return JSON.parse(d[0].value) } %}
 
 pair -> key _ ":" _ value {% function(d) { return [d[0], d[4]]; } %}
 
 key -> string {% id %}
 
-intPart -> [1-9] [0-9]:* {% function(d) { return d[0] + d[1].join(""); } %}
-
-fracPart -> "." [0-9]:* {% function(d) { return d[0] + d[1].join(""); } %}
-
-expPart -> [eE] [+-]:? [0-9]:* {% function(d) { return d[0] + (d[1] || '') + d[2].join(""); } %}
-
-validChar ->
-      [^"\\] {% function(d) { return d[0]; } %}
-    | "\\\"" {% function(d) { return "\""; } %}
-    | "\\\\" {% function(d) { return "\\"; } %}
-    | "\\/" {% function(d) { return "/"; } %}
-    | "\\n" {% function(d) { return "\n"; } %}
-    | "\\b" {% function(d) { return "\b"; } %}
-    | "\\f" {% function(d) { return "\f"; } %}
-    | "\\r" {% function(d) { return "\r"; } %}
-    | "\\t" {% function(d) { return "\t"; } %}
-    | "\\u" hex hex hex hex {% unicodehex %}
-
-hex -> [0-9a-fA-F] {% function(d) { return d[0]; } %}
-
-_ -> null | [\s]:+ {% function(d) { return null; } %}
+_ -> null | %SPACE {% function(d) { return null; } %}
 
 @{%
 
@@ -76,20 +84,4 @@ function extractArray(d) {
     return output;
 }
 
-function unicodehex(d) {
-    let codePoint = parseInt(d[1]+d[2]+d[3]+d[4], 16);
-
-    // Handle '\\'
-    if (codePoint == 92) {
-        return "\\";
-    }
-
-    return String.fromCodePoint(codePoint);
-}
-
-function extractNumber(d) {
-    let value = (d[0] || '') + d[1] + (d[2] || '') + (d[3] || '');
-    return parseFloat(value);
-}
-
 %}