Method isWord

src/Lexer.cpp:1067–1081

/////////////////////////////////////////////////////////////////////////// Lexer::Type::word [^\s]+

// Lexer::Type::word
//   [^\s]+
bool Lexer::isWord(std::string& token, Lexer::Type& type) {
  std::size_t marker = _cursor;

  while (_text[marker] && !unicodeWhitespace(_text[marker]) && !isSingleCharOperator(_text[marker]))
    utf8_next_char(_text, marker);

  if (marker > _cursor) {
    token = _text.substr(_cursor, marker - _cursor);
    type = Lexer::Type::word;
    _cursor = marker;
    return true;
  }

  return false;
}

////////////////////////////////////////////////////////////////////////////////
bool Lexer::isLiteral(const std::string& literal, bool allowAbbreviations, bool endBoundary) {