From c314e7c372de2540add5ba43e1af807ce6899a09 Mon Sep 17 00:00:00 2001 From: marcus Date: Tue, 2 Jan 2024 13:04:07 -0800 Subject: [PATCH] fixed examples + tests to point to llama_cpp_2 --- llama-cpp-2/benches/grammar_bias.rs | 14 +++++------ llama-cpp-2/src/context/params.rs | 2 +- llama-cpp-2/src/context/sample.rs | 14 +++++------ llama-cpp-2/src/lib.rs | 8 +++---- llama-cpp-2/src/llama_backend.rs | 8 +++---- llama-cpp-2/src/llama_batch.rs | 2 +- llama-cpp-2/src/model/params.rs | 4 ++-- llama-cpp-2/src/timing.rs | 2 +- llama-cpp-2/src/token.rs | 2 +- llama-cpp-2/src/token/data.rs | 28 +++++++++++----------- llama-cpp-2/src/token/data_array.rs | 12 +++++----- llama-cpp-2/src/token_type.rs | 2 +- llama-cpp-2/tests/test_generate.rs | 14 +++++------ llama-cpp-2/tests/test_grammar_generate.rs | 16 ++++++------- 14 files changed, 64 insertions(+), 64 deletions(-) diff --git a/llama-cpp-2/benches/grammar_bias.rs b/llama-cpp-2/benches/grammar_bias.rs index 8b7d09ad..23681ab0 100644 --- a/llama-cpp-2/benches/grammar_bias.rs +++ b/llama-cpp-2/benches/grammar_bias.rs @@ -1,13 +1,13 @@ #![allow(missing_docs)] use criterion::{criterion_group, criterion_main, Criterion}; -use llama_cpp::context::params::LlamaContextParams; -use llama_cpp::context::LlamaContext; -use llama_cpp::grammar::LlamaGrammar; -use llama_cpp::llama_backend::LlamaBackend; -use llama_cpp::model::params::LlamaModelParams; -use llama_cpp::model::LlamaModel; -use llama_cpp::token::data_array::LlamaTokenDataArray; +use llama_cpp_2::context::params::LlamaContextParams; +use llama_cpp_2::context::LlamaContext; +use llama_cpp_2::grammar::LlamaGrammar; +use llama_cpp_2::llama_backend::LlamaBackend; +use llama_cpp_2::model::params::LlamaModelParams; +use llama_cpp_2::model::LlamaModel; +use llama_cpp_2::token::data_array::LlamaTokenDataArray; use pprof::criterion::{Output, PProfProfiler}; use std::str::FromStr; diff --git a/llama-cpp-2/src/context/params.rs b/llama-cpp-2/src/context/params.rs index 69b9fb53..c6117980 100644 --- a/llama-cpp-2/src/context/params.rs +++ b/llama-cpp-2/src/context/params.rs @@ -36,7 +36,7 @@ pub struct LlamaContextParams { /// Default parameters for `LlamaContext`. (as defined in llama.cpp by `llama_context_default_params`) /// ``` -/// # use llama_cpp::context::params::LlamaContextParams; +/// # use llama_cpp_2::context::params::LlamaContextParams; /// let params = LlamaContextParams::default(); /// assert_eq!(params.n_ctx.unwrap().get(), 512, "n_ctx should be 512"); /// ``` diff --git a/llama-cpp-2/src/context/sample.rs b/llama-cpp-2/src/context/sample.rs index b493ae5e..a147caf9 100644 --- a/llama-cpp-2/src/context/sample.rs +++ b/llama-cpp-2/src/context/sample.rs @@ -75,13 +75,13 @@ impl<'grammar> Sampler<'grammar> { /// Set the temperature for sampling. /// - /// ```no_run - /// # use llama_cpp::context::LlamaContext; - /// # use llama_cpp::context::sample::Sampler; - /// # use llama_cpp::grammar::LlamaGrammar; - /// # use llama_cpp::token::data::LlamaTokenData; - /// # use llama_cpp::token::data_array::LlamaTokenDataArray; - /// # use llama_cpp::token::LlamaToken; + /// ``` + /// # use llama_cpp_2::context::LlamaContext; + /// # use llama_cpp_2::context::sample::Sampler; + /// # use llama_cpp_2::grammar::LlamaGrammar; + /// # use llama_cpp_2::token::data::LlamaTokenData; + /// # use llama_cpp_2::token::data_array::LlamaTokenDataArray; + /// # use llama_cpp_2::token::LlamaToken; /// /// let _sampler = Sampler::new(LlamaTokenDataArray::new(vec![LlamaTokenData::new(LlamaToken(0), 0.0, 0.0)], false)) /// .with_temperature(0.5); diff --git a/llama-cpp-2/src/lib.rs b/llama-cpp-2/src/lib.rs index 0c7c1920..12d07edd 100644 --- a/llama-cpp-2/src/lib.rs +++ b/llama-cpp-2/src/lib.rs @@ -141,7 +141,7 @@ pub enum LlamaModelLoadError { /// get the time (in microseconds) according to llama.cpp /// ``` -/// # use llama_cpp::llama_time_us; +/// # use llama_cpp_2::llama_time_us; /// let time = llama_time_us(); /// assert!(time > 0); /// ``` @@ -152,7 +152,7 @@ pub fn llama_time_us() -> i64 { /// get the max number of devices according to llama.cpp (this is generally cuda devices) /// ``` -/// # use llama_cpp::max_devices; +/// # use llama_cpp_2::max_devices; /// let max_devices = max_devices(); /// assert!(max_devices >= 0); /// ``` @@ -163,7 +163,7 @@ pub fn max_devices() -> c_int { /// is memory mapping supported according to llama.cpp /// ``` -/// # use llama_cpp::mmap_supported; +/// # use llama_cpp_2::mmap_supported; /// let mmap_supported = mmap_supported(); /// if mmap_supported { /// println!("mmap_supported!"); @@ -176,7 +176,7 @@ pub fn mmap_supported() -> bool { /// is memory locking supported according to llama.cpp /// ``` -/// # use llama_cpp::mlock_supported; +/// # use llama_cpp_2::mlock_supported; /// let mlock_supported = mlock_supported(); /// if mlock_supported { /// println!("mlock_supported!"); diff --git a/llama-cpp-2/src/llama_backend.rs b/llama-cpp-2/src/llama_backend.rs index 744ad353..e828b73c 100644 --- a/llama-cpp-2/src/llama_backend.rs +++ b/llama-cpp-2/src/llama_backend.rs @@ -26,8 +26,8 @@ impl LlamaBackend { /// # Examples /// /// ``` - ///# use llama_cpp::llama_backend::LlamaBackend; - ///# use llama_cpp::LLamaCppError; + ///# use llama_cpp_2::llama_backend::LlamaBackend; + ///# use llama_cpp_2::LLamaCppError; ///# use std::error::Error; /// ///# fn main() -> Result<(), Box> { @@ -49,7 +49,7 @@ impl LlamaBackend { /// Initialize the llama backend (with numa). /// ``` - ///# use llama_cpp::llama_backend::LlamaBackend; + ///# use llama_cpp_2::llama_backend::LlamaBackend; ///# use std::error::Error; /// ///# fn main() -> Result<(), Box> { @@ -69,7 +69,7 @@ impl LlamaBackend { /// Drops the llama backend. /// ``` /// -///# use llama_cpp::llama_backend::LlamaBackend; +///# use llama_cpp_2::llama_backend::LlamaBackend; ///# use std::error::Error; /// ///# fn main() -> Result<(), Box> { diff --git a/llama-cpp-2/src/llama_batch.rs b/llama-cpp-2/src/llama_batch.rs index 71d7822e..aa52580a 100644 --- a/llama-cpp-2/src/llama_batch.rs +++ b/llama-cpp-2/src/llama_batch.rs @@ -140,7 +140,7 @@ impl Drop for LlamaBatch { /// Drops the `LlamaBatch`. /// /// ``` - /// # use llama_cpp::llama_batch::LlamaBatch; + /// # use llama_cpp_2::llama_batch::LlamaBatch; /// # use std::error::Error; /// # fn main() -> Result<(), Box> { /// let batch = LlamaBatch::new_from_prompt(&[]); diff --git a/llama-cpp-2/src/model/params.rs b/llama-cpp-2/src/model/params.rs index 5f3b7b45..99e89e53 100644 --- a/llama-cpp-2/src/model/params.rs +++ b/llama-cpp-2/src/model/params.rs @@ -42,7 +42,7 @@ impl LlamaModelParams { /// sets the number of gpu layers to offload to the GPU. /// ``` - /// # use llama_cpp::model::params::LlamaModelParams; + /// # use llama_cpp_2::model::params::LlamaModelParams; /// let params = LlamaModelParams::default(); /// let params = params.with_n_gpu_layers(1); /// assert_eq!(params.n_gpu_layers(), 1); @@ -66,7 +66,7 @@ impl LlamaModelParams { /// Default parameters for `LlamaModel`. (as defined in llama.cpp by `llama_model_default_params`) /// ``` -/// # use llama_cpp::model::params::LlamaModelParams; +/// # use llama_cpp_2::model::params::LlamaModelParams; /// let params = LlamaModelParams::default(); /// assert_eq!(params.n_gpu_layers(), 0, "n_gpu_layers should be 0"); /// assert_eq!(params.main_gpu(), 0, "main_gpu should be 0"); diff --git a/llama-cpp-2/src/timing.rs b/llama-cpp-2/src/timing.rs index 567261e4..51cf682a 100644 --- a/llama-cpp-2/src/timing.rs +++ b/llama-cpp-2/src/timing.rs @@ -10,7 +10,7 @@ pub struct LlamaTimings { impl LlamaTimings { /// Create a new `LlamaTimings`. /// ``` - /// # use llama_cpp::timing::LlamaTimings; + /// # use llama_cpp_2::timing::LlamaTimings; /// let timings = LlamaTimings::new(1.0, 2.0, 3.0, 4.0, 5.0, 6.0, 7, 8, 9); /// let timings_str = "load time = 3.00 ms /// sample time = 4.00 ms / 7 runs (0.57 ms per token, 1750.00 tokens per second) diff --git a/llama-cpp-2/src/token.rs b/llama-cpp-2/src/token.rs index de2e83b3..38afba43 100644 --- a/llama-cpp-2/src/token.rs +++ b/llama-cpp-2/src/token.rs @@ -15,7 +15,7 @@ impl LlamaToken { /// Create a new `LlamaToken` from a i32. /// /// ``` - /// # use llama_cpp::token::LlamaToken; + /// # use llama_cpp_2::token::LlamaToken; /// let token = LlamaToken::new(0); /// assert_eq!(token, LlamaToken(0)); /// ``` diff --git a/llama-cpp-2/src/token/data.rs b/llama-cpp-2/src/token/data.rs index e7e3b87a..87003776 100644 --- a/llama-cpp-2/src/token/data.rs +++ b/llama-cpp-2/src/token/data.rs @@ -15,8 +15,8 @@ pub struct LlamaTokenData { impl LlamaTokenData { /// Create a new token data from a token, logit, and probability. /// ``` - /// # use llama_cpp::token::LlamaToken; - /// # use llama_cpp::token::data::LlamaTokenData; + /// # use llama_cpp_2::token::LlamaToken; + /// # use llama_cpp_2::token::data::LlamaTokenData; /// let token = LlamaToken::new(1); /// let token_data = LlamaTokenData::new(token, 1.0, 1.0); #[must_use] @@ -27,8 +27,8 @@ impl LlamaTokenData { } /// Get the token's id /// ``` - /// # use llama_cpp::token::LlamaToken; - /// # use llama_cpp::token::data::LlamaTokenData; + /// # use llama_cpp_2::token::LlamaToken; + /// # use llama_cpp_2::token::data::LlamaTokenData; /// let token = LlamaToken::new(1); /// let token_data = LlamaTokenData::new(token, 1.0, 1.0); /// assert_eq!(token_data.id(), token); @@ -40,8 +40,8 @@ impl LlamaTokenData { /// Get the token's logit /// ``` - /// # use llama_cpp::token::LlamaToken; - /// # use llama_cpp::token::data::LlamaTokenData; + /// # use llama_cpp_2::token::LlamaToken; + /// # use llama_cpp_2::token::data::LlamaTokenData; /// let token = LlamaToken::new(1); /// let token_data = LlamaTokenData::new(token, 1.0, 1.0); /// assert_eq!(token_data.logit(), 1.0); @@ -53,8 +53,8 @@ impl LlamaTokenData { /// Get the token's probability /// ``` - /// # use llama_cpp::token::LlamaToken; - /// # use llama_cpp::token::data::LlamaTokenData; + /// # use llama_cpp_2::token::LlamaToken; + /// # use llama_cpp_2::token::data::LlamaTokenData; /// let token = LlamaToken::new(1); /// let token_data = LlamaTokenData::new(token, 1.0, 1.0); /// assert_eq!(token_data.p(), 1.0); @@ -66,8 +66,8 @@ impl LlamaTokenData { /// Set the token's id /// ``` - /// # use llama_cpp::token::LlamaToken; - /// # use llama_cpp::token::data::LlamaTokenData; + /// # use llama_cpp_2::token::LlamaToken; + /// # use llama_cpp_2::token::data::LlamaTokenData; /// let token = LlamaToken::new(1); /// let mut token_data = LlamaTokenData::new(token, 1.0, 1.0); /// token_data.set_id(LlamaToken::new(2)); @@ -79,8 +79,8 @@ impl LlamaTokenData { /// Set the token's logit /// ``` - /// # use llama_cpp::token::LlamaToken; - /// # use llama_cpp::token::data::LlamaTokenData; + /// # use llama_cpp_2::token::LlamaToken; + /// # use llama_cpp_2::token::data::LlamaTokenData; /// let token = LlamaToken::new(1); /// let mut token_data = LlamaTokenData::new(token, 1.0, 1.0); /// token_data.set_logit(2.0); @@ -92,8 +92,8 @@ impl LlamaTokenData { /// Set the token's probability /// ``` - /// # use llama_cpp::token::LlamaToken; - /// # use llama_cpp::token::data::LlamaTokenData; + /// # use llama_cpp_2::token::LlamaToken; + /// # use llama_cpp_2::token::data::LlamaTokenData; /// let token = LlamaToken::new(1); /// let mut token_data = LlamaTokenData::new(token, 1.0, 1.0); /// token_data.set_p(2.0); diff --git a/llama-cpp-2/src/token/data_array.rs b/llama-cpp-2/src/token/data_array.rs index e42f4ed6..520b2ab1 100644 --- a/llama-cpp-2/src/token/data_array.rs +++ b/llama-cpp-2/src/token/data_array.rs @@ -15,9 +15,9 @@ impl LlamaTokenDataArray { /// Create a new `LlamaTokenDataArray` from a vector and weather or not the data is sorted. /// /// ``` - /// # use llama_cpp::token::data::LlamaTokenData; - /// # use llama_cpp::token::data_array::LlamaTokenDataArray; - /// use llama_cpp::token::LlamaToken; + /// # use llama_cpp_2::token::data::LlamaTokenData; + /// # use llama_cpp_2::token::data_array::LlamaTokenDataArray; + /// # use llama_cpp_2::token::LlamaToken; /// let array = LlamaTokenDataArray::new(vec![ /// LlamaTokenData::new(LlamaToken(0), 0.0, 0.0), /// LlamaTokenData::new(LlamaToken(1), 0.1, 0.1) @@ -32,9 +32,9 @@ impl LlamaTokenDataArray { /// Create a new `LlamaTokenDataArray` from an iterator and weather or not the data is sorted. /// ``` - /// # use llama_cpp::token::data::LlamaTokenData; - /// # use llama_cpp::token::data_array::LlamaTokenDataArray; - /// use llama_cpp::token::LlamaToken; + /// # use llama_cpp_2::token::data::LlamaTokenData; + /// # use llama_cpp_2::token::data_array::LlamaTokenDataArray; + /// # use llama_cpp_2::token::LlamaToken; /// let array = LlamaTokenDataArray::from_iter([ /// LlamaTokenData::new(LlamaToken(0), 0.0, 0.0), /// LlamaTokenData::new(LlamaToken(1), 0.1, 0.1) diff --git a/llama-cpp-2/src/token_type.rs b/llama-cpp-2/src/token_type.rs index a7253c19..485f8410 100644 --- a/llama-cpp-2/src/token_type.rs +++ b/llama-cpp-2/src/token_type.rs @@ -31,7 +31,7 @@ pub enum LlamaTokenType { /// # use std::ffi::c_uint; /// # use std::num::TryFromIntError; /// # use std::result::Result; -/// # use llama_cpp::token_type::{LlamaTokenTypeFromIntError, LlamaTokenType}; +/// # use llama_cpp_2::token_type::{LlamaTokenTypeFromIntError, LlamaTokenType}; /// # fn main() -> Result<(), LlamaTokenTypeFromIntError> { /// let llama_token_type = LlamaTokenType::try_from(0 as c_uint)?; /// assert_eq!(llama_token_type, LlamaTokenType::Undefined); diff --git a/llama-cpp-2/tests/test_generate.rs b/llama-cpp-2/tests/test_generate.rs index 6c9177c6..6ec18f60 100644 --- a/llama-cpp-2/tests/test_generate.rs +++ b/llama-cpp-2/tests/test_generate.rs @@ -1,9 +1,9 @@ -use llama_cpp::context::params::LlamaContextParams; -use llama_cpp::llama_backend::LlamaBackend; -use llama_cpp::llama_batch::LlamaBatch; -use llama_cpp::model::params::LlamaModelParams; -use llama_cpp::model::LlamaModel; -use llama_cpp::token::data_array::LlamaTokenDataArray; +use llama_cpp_2::context::params::LlamaContextParams; +use llama_cpp_2::llama_backend::LlamaBackend; +use llama_cpp_2::llama_batch::LlamaBatch; +use llama_cpp_2::model::params::LlamaModelParams; +use llama_cpp_2::model::LlamaModel; +use llama_cpp_2::token::data_array::LlamaTokenDataArray; use std::error::Error; use std::io; use std::io::Write; @@ -65,7 +65,7 @@ fn check_generate_tokens() -> Result<(), Box> { write!(stdoutlock, "{}", model.token_to_str(*id)?)?; } stdoutlock.flush()?; - let mut batch = LlamaBatch::new(tokens_list.len(), 0, 1); + let mut batch = LlamaBatch::new(tokens_list.len(), 1); batch.add_prompt_seq(&tokens_list, &[0]); ctx.decode(&mut batch)?; let mut n_cur = batch.n_tokens(); diff --git a/llama-cpp-2/tests/test_grammar_generate.rs b/llama-cpp-2/tests/test_grammar_generate.rs index fb11168c..d30b996a 100644 --- a/llama-cpp-2/tests/test_grammar_generate.rs +++ b/llama-cpp-2/tests/test_grammar_generate.rs @@ -1,10 +1,10 @@ -use llama_cpp::context::params::LlamaContextParams; -use llama_cpp::grammar::LlamaGrammar; -use llama_cpp::llama_backend::LlamaBackend; -use llama_cpp::llama_batch::LlamaBatch; -use llama_cpp::model::params::LlamaModelParams; -use llama_cpp::model::LlamaModel; -use llama_cpp::token::data_array::LlamaTokenDataArray; +use llama_cpp_2::context::params::LlamaContextParams; +use llama_cpp_2::grammar::LlamaGrammar; +use llama_cpp_2::llama_backend::LlamaBackend; +use llama_cpp_2::llama_batch::LlamaBatch; +use llama_cpp_2::model::params::LlamaModelParams; +use llama_cpp_2::model::LlamaModel; +use llama_cpp_2::token::data_array::LlamaTokenDataArray; use llama_cpp_sys_2::llama_pos; use std::str::FromStr; @@ -31,7 +31,7 @@ fn test_generate_cat_via_grammar() { .unwrap(); let n_ctx_usize = usize::try_from(ctx.n_ctx()).expect("cannot fit n_ctx into a usize"); - let mut batch = LlamaBatch::new(n_ctx_usize, 0, 1); + let mut batch = LlamaBatch::new(n_ctx_usize, 1); batch.add(model.token_bos(), 0, &[0], true); let mut tokens = vec![model.token_bos()];