Function tokenize

nodedb/src/control/promql/lexer.rs:49–164

Tokenize a PromQL expression.

(input: &str)

/// Tokenize a PromQL expression.
pub fn tokenize(input: &str) -> Result<Vec<Token>, PromqlError> {
    let mut tokens = Vec::new();
    let bytes = input.as_bytes();
    let mut i = 0;

    while i < bytes.len() {
        // Skip whitespace.
        if bytes[i].is_ascii_whitespace() {
            i += 1;
            continue;
        }

        // Skip line comments.
        if bytes[i] == b'#' {
            while i < bytes.len() && bytes[i] != b'\n' {
                i += 1;
            }
            continue;
        }

        // String literals.
        if bytes[i] == b'"' || bytes[i] == b'\'' || bytes[i] == b'`' {
            let (tok, end) = lex_string(bytes, i)?;
            tokens.push(tok);
            i = end;
            continue;
        }

        // Number or duration.
        if bytes[i].is_ascii_digit()
            || (bytes[i] == b'.' && i + 1 < bytes.len() && bytes[i + 1].is_ascii_digit())
        {
            let (tok, end) = lex_number_or_duration(bytes, i)?;
            tokens.push(tok);
            i = end;
            continue;
        }

        // Identifier or keyword.
        if bytes[i].is_ascii_alphabetic() || bytes[i] == b'_' || bytes[i] == b':' {
            let (tok, end) = lex_ident(bytes, i);
            tokens.push(tok);
            i = end;
            continue;
        }

        // Multi-char operators.
        if i + 1 < bytes.len() {
            match (bytes[i], bytes[i + 1]) {
                (b'=', b'=') => {
                    tokens.push(Token::Eq);
                    i += 2;
                    continue;
                }
                (b'!', b'=') => {
                    tokens.push(Token::Neq);
                    i += 2;
                    continue;