MCPcopy Create free account

hub / github.com/abetlen/llama-cpp-python / types & classes

Types & classes256 in github.com/abetlen/llama-cpp-python

⨍ Functions 1,336◇ Types & classes 256↳ Endpoints 95
↓ 91 callersClassCompletionRequestValidationError
examples/server/server.py:2465
↓ 31 callersClassCompletionResponseParsingError
examples/server/server.py:2469
↓ 26 callersClassChatFormatterResponse
Dataclass that stores completion parameters for a given chat format and create_chat_completion request. prompt contains the formatted prompt
llama_cpp/llama_chat_format.py:168
↓ 18 callersClassBuiltinRule
llama_cpp/llama_grammar.py:310
↓ 14 callersClasssuppress_stdout_stderr
llama_cpp/_utils.py:14
↓ 7 callersClassMediaInput
examples/server/server.py:3476
↓ 6 callersClassLlama
High-level Python wrapper for a llama.cpp model.
llama_cpp/llama.py:55
↓ 4 callersClassGptParams
examples/low_level_api/common.py:12
↓ 4 callersClassLLaMAInteract
examples/low_level_api/low_level_api_chat_cpp.py:25
↓ 3 callersClassCompletionRequestCancelledError
examples/server/server.py:2461
↓ 3 callersClassErrorResponse
OpenAI style error response
llama_cpp/server/errors.py:26
↓ 3 callersClassLlamaChatCompletionHandlerRegistry
llama_cpp/llama_chat_format.py:117
↓ 3 callersClassPromptSegment
examples/server/server.py:3850
↓ 3 callersClassRadixTrie
examples/server/server.py:786
↓ 2 callersClassChatCompletionRequestMessage
llama_cpp/server/types.py:183
↓ 2 callersClassCompletionUsage
llama_cpp/llama_types.py:52
↓ 2 callersClassCreateCompletionRequest
examples/server/server.py:2504
↓ 2 callersClassLlamaTokenizer
llama_cpp/llama_tokenizer.py:45
↓ 2 callersClassMTMDLoadedMedia
examples/server/server.py:10522
↓ 2 callersClassPreparedCompletionParts
examples/server/server.py:4029
↓ 2 callersClassSequenceHistory
examples/server/server.py:1028
↓ 1 callersClassChatCompletionMessageToolCall
llama_cpp/llama_types.py:219
↓ 1 callersClassChatCompletionMessageToolCallFunction
llama_cpp/llama_types.py:214
↓ 1 callersClassChatCompletionRequestUserMessage
llama_cpp/llama_types.py:209
↓ 1 callersClassCheckpointMemoryPolicy
examples/server/server.py:12857
↓ 1 callersClassCircle
examples/low_level_api/util.py:31
↓ 1 callersClassCompletion
examples/server/server.py:3807
↓ 1 callersClassCompletionChoice
llama_cpp/llama_types.py:45
↓ 1 callersClassCompletionScheduler
examples/server/server.py:12963
↓ 1 callersClassCompletionService
examples/server/server.py:15463
↓ 1 callersClassCreateChatCompletionRequest
llama_cpp/server/types.py:192
↓ 1 callersClassCreateCompletionRequest
llama_cpp/server/types.py:109
↓ 1 callersClassCreateEmbeddingRequest
llama_cpp/server/types.py:167
↓ 1 callersClassCustomSampler
llama_cpp/_internals.py:644
↓ 1 callersClassDetokenizeInputResponse
llama_cpp/server/types.py:311
↓ 1 callersClassEmbeddingDataResponse
examples/server/server.py:2623
↓ 1 callersClassEmbeddingUsageResponse
examples/server/server.py:2629
↓ 1 callersClassHealthzResponse
examples/server/server.py:3152
↓ 1 callersClassJinja2ChatFormatter
examples/server/server.py:3483
↓ 1 callersClassLlamaChatCompletionHandlerNotFoundException
llama_cpp/llama_chat_format.py:113
↓ 1 callersClassLlamaLLM
examples/high_level_api/langchain_custom_llm.py:9
↓ 1 callersClassLlamaProxy
llama_cpp/server/model.py:14
↓ 1 callersClassLlamaSamplingContext
llama_cpp/_internals.py:597
↓ 1 callersClassLlamaState
llama_cpp/llama.py:2450
↓ 1 callersClassLogitsProcessorList
llama_cpp/llama.py:2473
↓ 1 callersClassMTMDEmbedding
examples/server/server.py:10389
↓ 1 callersClassMTMDEmbeddingCache
examples/server/server.py:10394
↓ 1 callersClassMTMDProcessor
examples/server/server.py:10534
↓ 1 callersClassMTPDraftProvider
examples/server/server.py:1245
↓ 1 callersClassModel
examples/server/server.py:11229
↓ 1 callersClassModelCardResponse
examples/server/server.py:3140
↓ 1 callersClassModelListResponse
examples/server/server.py:3147
↓ 1 callersClassOpenAIFormatter
examples/server/server.py:7815
↓ 1 callersClassPartitionedAttentionMemoryPolicy
examples/server/server.py:12813
↓ 1 callersClassPromptLookupDecoding
examples/server/server.py:1208
↓ 1 callersClassPromptPlan
examples/server/server.py:3916
↓ 1 callersClassResponseParser
examples/server/server.py:4302
↓ 1 callersClassResponsesChatRequestParts
examples/server/server.py:4039
↓ 1 callersClassResponsesWebSocketState
examples/server/server.py:3157
↓ 1 callersClassSampler
examples/server/server.py:10259
↓ 1 callersClassSchedulerMetrics
examples/server/server.py:4056
↓ 1 callersClassSchemaConverter
llama_cpp/llama_grammar.py:380
↓ 1 callersClassSequenceDiskCache
Directory-backed cache for serialized llama.cpp sequence state.
examples/server/server.py:12302
↓ 1 callersClassSettings
llama_cpp/server/settings.py:237
↓ 1 callersClassToken
examples/server/server.py:3723
↓ 1 callersClassTokenizeInputCountResponse
llama_cpp/server/types.py:298
↓ 1 callersClassTokenizeInputResponse
llama_cpp/server/types.py:292
↓ 1 callersClassUnifiedAttentionMemoryPolicy
examples/server/server.py:12743
ClassAttentionMemoryPolicy
examples/server/server.py:12685
ClassBaseLlamaCache
Base cache class for a llama.cpp model.
llama_cpp/llama_cache.py:17
ClassBaseLlamaTokenizer
llama_cpp/llama_tokenizer.py:14
ClassBatchItem
examples/server/server.py:12965
ClassBuiltinRule
examples/server/server.py:149
ClassChatCompletionFunction
llama_cpp/llama_types.py:79
ClassChatCompletionFunctionCall
examples/server/server.py:2687
ClassChatCompletionFunctionCallOption
llama_cpp/llama_types.py:172
ClassChatCompletionFunctionCallOption
examples/server/server.py:2805
ClassChatCompletionFunctionDefinition
examples/server/server.py:2757
ClassChatCompletionFunctions
llama_cpp/llama_types.py:166
ClassChatCompletionLogprobToken
llama_cpp/llama_types.py:91
ClassChatCompletionLogprobs
llama_cpp/llama_types.py:98
ClassChatCompletionMessageToolCallChunk
llama_cpp/llama_types.py:124
ClassChatCompletionMessageToolCallChunkFunction
llama_cpp/llama_types.py:119
ClassChatCompletionNamedToolChoice
llama_cpp/llama_types.py:290
ClassChatCompletionNamedToolChoiceFunction
llama_cpp/llama_types.py:286
ClassChatCompletionRequestAssistantMessage
llama_cpp/llama_types.py:233
ClassChatCompletionRequestAssistantMessageFunctionCall
llama_cpp/llama_types.py:228
ClassChatCompletionRequestFunctionCallOption
llama_cpp/llama_types.py:264
ClassChatCompletionRequestFunctionMessage
llama_cpp/llama_types.py:248
ClassChatCompletionRequestMessage
examples/server/server.py:2705
ClassChatCompletionRequestMessageContentPartImage
llama_cpp/llama_types.py:193
ClassChatCompletionRequestMessageContentPartImageImageUrl
llama_cpp/llama_types.py:188
ClassChatCompletionRequestMessageContentPartText
llama_cpp/llama_types.py:183
ClassChatCompletionRequestResponseFormat
llama_cpp/llama_types.py:176
ClassChatCompletionRequestSystemMessage
llama_cpp/llama_types.py:204
ClassChatCompletionRequestToolMessage
llama_cpp/llama_types.py:242
ClassChatCompletionResponseChoice
llama_cpp/llama_types.py:103
ClassChatCompletionResponseFormat
examples/server/server.py:2848
ClassChatCompletionResponseFormatJsonSchema
examples/server/server.py:2827
ClassChatCompletionResponseFunctionCall
llama_cpp/llama_types.py:67
next →1–100 of 256, ranked by callers