Function llama_n_batch

llama_cpp/llama_cpp.py:1608–1608

(ctx: llama_context_p, /)

# LLAMA_API uint32_t llama_n_batch    (const struct llama_context * ctx);
@ctypes_function("llama_n_batch", [llama_context_p_ctypes], ctypes.c_uint32)
def llama_n_batch(ctx: llama_context_p, /) -> int: ...


# LLAMA_API uint32_t llama_n_ubatch   (const struct llama_context * ctx);