Keep tokens close to lexer.
This commit is contained in:
+26
-1
@@ -1,9 +1,34 @@
|
||||
use crate::{
|
||||
cursor::Cursor,
|
||||
span::{Span, Spanned},
|
||||
token::Token,
|
||||
};
|
||||
|
||||
#[derive(Debug, PartialEq, Eq)]
|
||||
pub enum Token {
|
||||
Asterisk,
|
||||
Colon,
|
||||
Comma,
|
||||
CurlyBracketL,
|
||||
CurlyBracketR,
|
||||
Equals,
|
||||
Fn,
|
||||
GreaterThan,
|
||||
Hyphen,
|
||||
LessThan,
|
||||
Ident,
|
||||
Let,
|
||||
Number,
|
||||
ParenL,
|
||||
ParenR,
|
||||
Plus,
|
||||
Semicolon,
|
||||
Slash,
|
||||
SquareBracketL,
|
||||
SquareBracketR,
|
||||
String,
|
||||
Unknown,
|
||||
}
|
||||
|
||||
pub struct Lexer<'a> {
|
||||
input: &'a str,
|
||||
cursor: Cursor,
|
||||
|
||||
@@ -2,4 +2,3 @@ pub mod ast;
|
||||
pub mod cursor;
|
||||
pub mod lexer;
|
||||
pub mod span;
|
||||
pub mod token;
|
||||
|
||||
@@ -1,25 +0,0 @@
|
||||
#[derive(Debug, PartialEq, Eq)]
|
||||
pub enum Token {
|
||||
Asterisk,
|
||||
Colon,
|
||||
Comma,
|
||||
CurlyBracketL,
|
||||
CurlyBracketR,
|
||||
Equals,
|
||||
Fn,
|
||||
GreaterThan,
|
||||
Hyphen,
|
||||
LessThan,
|
||||
Ident,
|
||||
Let,
|
||||
Number,
|
||||
ParenL,
|
||||
ParenR,
|
||||
Plus,
|
||||
Semicolon,
|
||||
Slash,
|
||||
SquareBracketL,
|
||||
SquareBracketR,
|
||||
String,
|
||||
Unknown,
|
||||
}
|
||||
Reference in New Issue
Block a user