Function llama_model_offload_ffn_split

llama.cpp:10130–10134

}

size_t llama_model_offload_ffn_split(struct llama_model * model) {
    llama_augmentation_model_loader * aug_ml = new llama_augmentation_model_loader(model);    
    size_t offloaded_bytes = aug_ml->offload_ffn_split(model);
    return offloaded_bytes;
}

int llama_get_kv_cache_token_count(const struct llama_context * ctx) {
    return ctx->kv_self.head;