Function DetectNLPType

library/cpp/token/nlptypes.cpp:82–98

}

NLP_TYPE DetectNLPType(const TTokenStructure& subtokens) {
    Y_ASSERT(subtokens.size() >= 1);
    for (size_t i = 1; i < subtokens.size(); ++i) {
        Y_ASSERT(subtokens[i].Type == TOKEN_WORD || subtokens[i].Type == TOKEN_NUMBER);
        if (subtokens[i].Type != subtokens[0].Type)
            return NLP_MARK;
    }
    if (subtokens[0].Type == TOKEN_WORD)
        return NLP_WORD;
    else if (subtokens[0].Type == TOKEN_MARK)
        return NLP_MARK;
    else if (subtokens[0].Type == TOKEN_FLOAT)
        return NLP_FLOAT;
    else if (subtokens[0].Type == TOKEN_NUMBER)
        return NLP_INTEGER;
    return NLP_MARK;
}