| 107 | } |
| 108 | |
| 109 | void Tokenizer::setSingleTokens(const char* singleTokens) |
| 110 | { |
| 111 | if (mSingleTokens) |
| 112 | { |
| 113 | free(mSingleTokens); |
| 114 | mSingleTokens = NULL; |
| 115 | } |
| 116 | |
| 117 | if (singleTokens) |
| 118 | mSingleTokens = dStrdup(singleTokens); |
| 119 | } |
| 120 | |
| 121 | bool Tokenizer::reset() |
| 122 | { |