| 3 | #include "ggml.h" |
| 4 | |
| 5 | void llama_hparams::set_swa_pattern(uint32_t n_pattern) { |
| 6 | for (uint32_t il = 0; il < n_layer; ++il) { |
| 7 | swa_layers[il] = n_pattern == 0 || (il % n_pattern < (n_pattern - 1)); |
| 8 | } |
| 9 | } |
| 10 | |
| 11 | void llama_hparams::set_dense_start_swa_pattern(uint32_t n_pattern) { |
| 12 | for (uint32_t il = 0; il < n_layer; ++il) { |