Method key_cache

src/model.h:321–321

  std::optional<QTensor> wkv_b() const { return _wkv_b; }
  std::optional<QTensor> wo() const { return _wo; }
  f16_t* key_cache() const { return _key_cache; }
  f16_t* key_cache(int pos) const { return _key_cache + pos * _config->head_dim * _config->n_heads; }
  f16_t* value_cache() const { return _value_cache; }
  f16_t* value_cache(int pos) const { return _value_cache + pos * _config->v_head_dim * _config->n_heads; }