| 32 | } |
| 33 | |
| 34 | bool llm_graph_input_embd::can_reuse(const llm_graph_params & params) { |
| 35 | bool res = true; |
| 36 | |
| 37 | res &= (!params.ubatch.token) || (tokens && tokens->ne[0] == params.ubatch.n_tokens); |
| 38 | res &= (!params.ubatch.embd) || (embd && embd->ne[1] == params.ubatch.n_tokens); |
| 39 | |
| 40 | return res; |
| 41 | } |
| 42 | |
| 43 | void llm_graph_input_pos::set_input(const llama_ubatch * ubatch) { |
| 44 | if (ubatch->pos && pos) { |