Function CorrectDelimiters

library/cpp/tokenizer/multitokenutil.cpp:88–148

}

void CorrectDelimiters(TCharSpan& prevtok, wchar16 suffixChar, TCharSpan& lasttok, wchar16 prefixChar) {
    // correct suffix length of the previous token
    switch (lasttok.Pos - prevtok.EndPos()) {
        case 0:
            Y_ASSERT(prevtok.SuffixLen == 0 && prevtok.TokenDelim == TOKDELIM_NULL && lasttok.PrefixLen == 0);
            break;
        case 1:                                                                // only delimiter allowed
            if (prevtok.SuffixLen == 1 && prevtok.TokenDelim == TOKDELIM_PLUS) // 'a+b'
                prevtok.SuffixLen = 0;
            Y_ASSERT(
                (prevtok.SuffixLen == 0 && prevtok.TokenDelim != TOKDELIM_NULL && lasttok.PrefixLen == 0) ||
                (prevtok.SuffixLen == 0 && prevtok.TokenDelim == TOKDELIM_NULL && lasttok.PrefixLen == 0 && prevtok.Hyphen == HYPHEN_SOFT));
            break;
        case 2:                                                     // only suffix + delimiter OR delimiter + prefix
            if (prevtok.SuffixLen == 1 && lasttok.PrefixLen == 1) { // 'a+@b' - delim/prefix, 'a#@b' - suffix/delim
                if (suffixChar == '+') {
                    prevtok.SuffixLen = 0;
                    prevtok.TokenDelim = TOKDELIM_PLUS;
                } else if (suffixChar == '#') {
                    Y_ASSERT(prefixChar == '@'); // only '@' can be delimiter and prefix
                    prevtok.TokenDelim = TOKDELIM_AT_SIGN;
                    lasttok.PrefixLen = 0;
                }
            } else if (prevtok.SuffixLen == 2) {
                prevtok.SuffixLen = 1;
                prevtok.TokenDelim = TOKDELIM_PLUS; // since SuffixLen == 2 can be '++' only
            }
            Y_ASSERT(
                (prevtok.SuffixLen == 1 && prevtok.TokenDelim != TOKDELIM_NULL && lasttok.PrefixLen == 0) ||
                (prevtok.SuffixLen == 0 && prevtok.TokenDelim != TOKDELIM_NULL && lasttok.PrefixLen == 1) ||
                (prevtok.SuffixLen == 0 && prevtok.TokenDelim == TOKDELIM_NULL && lasttok.PrefixLen == 0 &&
                 (prevtok.Hyphen == HYPHEN_ORDINARY || prevtok.Hyphen == HYPHEN_SOFT)));
            break;
        case 3:
            if (prevtok.SuffixLen == 2 && lasttok.PrefixLen == 1) { // a++/b
                if (prevtok.TokenDelim == TOKDELIM_PLUS)            // a++/b
                    prevtok.SuffixLen = 1;
                else if (prevtok.TokenDelim == TOKDELIM_AT_SIGN) { // 'a++@b'
                    prevtok.SuffixLen = 1;
                    prevtok.TokenDelim = TOKDELIM_PLUS;
                }
            }
            Y_ASSERT(
                (prevtok.SuffixLen == 1 && prevtok.TokenDelim != TOKDELIM_NULL && lasttok.PrefixLen == 1) ||
                (prevtok.SuffixLen == 2 && prevtok.TokenDelim != TOKDELIM_NULL && lasttok.PrefixLen == 0) ||
                (prevtok.SuffixLen == 0 && prevtok.TokenDelim == TOKDELIM_NULL && lasttok.PrefixLen == 0 &&
                 (prevtok.Hyphen == HYPHEN_ORDINARY || prevtok.Hyphen == HYPHEN_SOFT)));
            break;
        case 4:
            Y_ASSERT(
                (prevtok.SuffixLen == 2 && prevtok.TokenDelim != TOKDELIM_NULL && lasttok.PrefixLen == 1) ||
                (prevtok.SuffixLen == 0 && prevtok.TokenDelim == TOKDELIM_NULL && lasttok.PrefixLen == 0 &&
                 (prevtok.Hyphen == HYPHEN_ORDINARY || prevtok.Hyphen == HYPHEN_SOFT)));
            break;
        default:
            Y_ASSERT(
                prevtok.SuffixLen == 0 && prevtok.TokenDelim == TOKDELIM_NULL && lasttok.PrefixLen == 0 &&
                (prevtok.Hyphen == HYPHEN_ORDINARY || prevtok.Hyphen == HYPHEN_SOFT));