| 307 | typename set |
| 308 | > |
| 309 | void cpp_tokenizer_kernel_1<tok,queue,set>:: |
| 310 | clear( |
| 311 | ) |
| 312 | { |
| 313 | tokenizer.clear(); |
| 314 | buffer.clear(); |
| 315 | have_peeked = false; |
| 316 | |
| 317 | // set the tokenizer's IDENTIFIER token for C++ identifiers |
| 318 | tokenizer.set_identifier_token( |
| 319 | "$_" + tokenizer.lowercase_letters() + tokenizer.uppercase_letters(), |
| 320 | "$_" + tokenizer.lowercase_letters() + tokenizer.uppercase_letters() + |
| 321 | tokenizer.numbers() |
| 322 | ); |
| 323 | } |
| 324 | |
| 325 | // ---------------------------------------------------------------------------------------- |
| 326 | |