Method SetTokenDelim

library/cpp/tokenizer/nlpparserbase.h:34–37

        Hyphen = true;
    }
    void SetTokenDelim(ETokenDelim delim) {
        Y_ASSERT(!Subtokens.empty());
        Subtokens.back().TokenDelim = delim;
    }
    NLP_TYPE GetNlpType() const {
        return NlpType;
    }