(self, model: LlamaModel, grammar: LlamaGrammar)
| 751 | llama_cpp.llama_sampler_chain_add(self.sampler, sampler) |
| 752 | |
| 753 | def add_grammar(self, model: LlamaModel, grammar: LlamaGrammar): |
| 754 | sampler = llama_cpp.llama_sampler_init_grammar( |
| 755 | model.vocab, grammar._grammar.encode("utf-8"), grammar._root.encode("utf-8") |
| 756 | ) |
| 757 | llama_cpp.llama_sampler_chain_add(self.sampler, sampler) |
| 758 | |
| 759 | def add_grammar_lazy_patterns( |
| 760 | self, |