Keep tokens close to lexer.
This commit is contained in:
+26
-1
@@ -1,9 +1,34 @@
|
|||||||
use crate::{
|
use crate::{
|
||||||
cursor::Cursor,
|
cursor::Cursor,
|
||||||
span::{Span, Spanned},
|
span::{Span, Spanned},
|
||||||
token::Token,
|
|
||||||
};
|
};
|
||||||
|
|
||||||
|
#[derive(Debug, PartialEq, Eq)]
|
||||||
|
pub enum Token {
|
||||||
|
Asterisk,
|
||||||
|
Colon,
|
||||||
|
Comma,
|
||||||
|
CurlyBracketL,
|
||||||
|
CurlyBracketR,
|
||||||
|
Equals,
|
||||||
|
Fn,
|
||||||
|
GreaterThan,
|
||||||
|
Hyphen,
|
||||||
|
LessThan,
|
||||||
|
Ident,
|
||||||
|
Let,
|
||||||
|
Number,
|
||||||
|
ParenL,
|
||||||
|
ParenR,
|
||||||
|
Plus,
|
||||||
|
Semicolon,
|
||||||
|
Slash,
|
||||||
|
SquareBracketL,
|
||||||
|
SquareBracketR,
|
||||||
|
String,
|
||||||
|
Unknown,
|
||||||
|
}
|
||||||
|
|
||||||
pub struct Lexer<'a> {
|
pub struct Lexer<'a> {
|
||||||
input: &'a str,
|
input: &'a str,
|
||||||
cursor: Cursor,
|
cursor: Cursor,
|
||||||
|
|||||||
@@ -2,4 +2,3 @@ pub mod ast;
|
|||||||
pub mod cursor;
|
pub mod cursor;
|
||||||
pub mod lexer;
|
pub mod lexer;
|
||||||
pub mod span;
|
pub mod span;
|
||||||
pub mod token;
|
|
||||||
|
|||||||
@@ -1,25 +0,0 @@
|
|||||||
#[derive(Debug, PartialEq, Eq)]
|
|
||||||
pub enum Token {
|
|
||||||
Asterisk,
|
|
||||||
Colon,
|
|
||||||
Comma,
|
|
||||||
CurlyBracketL,
|
|
||||||
CurlyBracketR,
|
|
||||||
Equals,
|
|
||||||
Fn,
|
|
||||||
GreaterThan,
|
|
||||||
Hyphen,
|
|
||||||
LessThan,
|
|
||||||
Ident,
|
|
||||||
Let,
|
|
||||||
Number,
|
|
||||||
ParenL,
|
|
||||||
ParenR,
|
|
||||||
Plus,
|
|
||||||
Semicolon,
|
|
||||||
Slash,
|
|
||||||
SquareBracketL,
|
|
||||||
SquareBracketR,
|
|
||||||
String,
|
|
||||||
Unknown,
|
|
||||||
}
|
|
||||||
Reference in New Issue
Block a user