fixed examples + tests to point to llama_cpp_2

llama-cpp-2/benches/grammar_bias.rs

@@ -1,13 +1,13 @@
 #![allow(missing_docs)]
 
 use criterion::{criterion_group, criterion_main, Criterion};
-use llama_cpp::context::params::LlamaContextParams;
-use llama_cpp::context::LlamaContext;
-use llama_cpp::grammar::LlamaGrammar;
-use llama_cpp::llama_backend::LlamaBackend;
-use llama_cpp::model::params::LlamaModelParams;
-use llama_cpp::model::LlamaModel;
-use llama_cpp::token::data_array::LlamaTokenDataArray;
+use llama_cpp_2::context::params::LlamaContextParams;
+use llama_cpp_2::context::LlamaContext;
+use llama_cpp_2::grammar::LlamaGrammar;
+use llama_cpp_2::llama_backend::LlamaBackend;
+use llama_cpp_2::model::params::LlamaModelParams;
+use llama_cpp_2::model::LlamaModel;
+use llama_cpp_2::token::data_array::LlamaTokenDataArray;
 use pprof::criterion::{Output, PProfProfiler};
 use std::str::FromStr;
 

llama-cpp-2/src/context/params.rs

@@ -36,7 +36,7 @@ pub struct LlamaContextParams {
 
 /// Default parameters for `LlamaContext`. (as defined in llama.cpp by `llama_context_default_params`)
 /// ```
-/// # use llama_cpp::context::params::LlamaContextParams;
+/// # use llama_cpp_2::context::params::LlamaContextParams;
 /// let params = LlamaContextParams::default();
 /// assert_eq!(params.n_ctx.unwrap().get(), 512, "n_ctx should be 512");
 /// ```

llama-cpp-2/src/context/sample.rs

@@ -75,13 +75,13 @@ impl<'grammar> Sampler<'grammar> {
 
     /// Set the temperature for sampling.
     ///
-    /// ```no_run
-    /// # use llama_cpp::context::LlamaContext;
-    /// # use llama_cpp::context::sample::Sampler;
-    /// # use llama_cpp::grammar::LlamaGrammar;
-    /// # use llama_cpp::token::data::LlamaTokenData;
-    /// # use llama_cpp::token::data_array::LlamaTokenDataArray;
-    /// # use llama_cpp::token::LlamaToken;
+    /// ```
+    /// # use llama_cpp_2::context::LlamaContext;
+    /// # use llama_cpp_2::context::sample::Sampler;
+    /// # use llama_cpp_2::grammar::LlamaGrammar;
+    /// # use llama_cpp_2::token::data::LlamaTokenData;
+    /// # use llama_cpp_2::token::data_array::LlamaTokenDataArray;
+    /// # use llama_cpp_2::token::LlamaToken;
     ///
     /// let _sampler = Sampler::new(LlamaTokenDataArray::new(vec![LlamaTokenData::new(LlamaToken(0), 0.0, 0.0)], false))
     ///     .with_temperature(0.5);

llama-cpp-2/src/lib.rs

@@ -141,7 +141,7 @@ pub enum LlamaModelLoadError {
 
 /// get the time (in microseconds) according to llama.cpp
 /// ```
-/// # use llama_cpp::llama_time_us;
+/// # use llama_cpp_2::llama_time_us;
 /// let time = llama_time_us();
 /// assert!(time > 0);
 /// ```
@@ -152,7 +152,7 @@ pub fn llama_time_us() -> i64 {
 
 /// get the max number of devices according to llama.cpp (this is generally cuda devices)
 /// ```
-/// # use llama_cpp::max_devices;
+/// # use llama_cpp_2::max_devices;
 /// let max_devices = max_devices();
 /// assert!(max_devices >= 0);
 /// ```
@@ -163,7 +163,7 @@ pub fn max_devices() -> c_int {
 
 /// is memory mapping supported according to llama.cpp
 /// ```
-/// # use llama_cpp::mmap_supported;
+/// # use llama_cpp_2::mmap_supported;
 /// let mmap_supported = mmap_supported();
 /// if mmap_supported {
 ///   println!("mmap_supported!");
@@ -176,7 +176,7 @@ pub fn mmap_supported() -> bool {
 
 /// is memory locking supported according to llama.cpp
 /// ```
-/// # use llama_cpp::mlock_supported;
+/// # use llama_cpp_2::mlock_supported;
 /// let mlock_supported = mlock_supported();
 /// if mlock_supported {
 ///    println!("mlock_supported!");

llama-cpp-2/src/llama_backend.rs

@@ -26,8 +26,8 @@ impl LlamaBackend {
     /// # Examples
     ///
     /// ```
-    ///# use llama_cpp::llama_backend::LlamaBackend;
-    ///# use llama_cpp::LLamaCppError;
+    ///# use llama_cpp_2::llama_backend::LlamaBackend;
+    ///# use llama_cpp_2::LLamaCppError;
     ///# use std::error::Error;
     ///
     ///# fn main() -> Result<(), Box<dyn Error>> {
@@ -49,7 +49,7 @@ impl LlamaBackend {
 
     /// Initialize the llama backend (with numa).
     /// ```
-    ///# use llama_cpp::llama_backend::LlamaBackend;
+    ///# use llama_cpp_2::llama_backend::LlamaBackend;
     ///# use std::error::Error;
     ///
     ///# fn main() -> Result<(), Box<dyn Error>> {
@@ -69,7 +69,7 @@ impl LlamaBackend {
 /// Drops the llama backend.
 /// ```
 ///
-///# use llama_cpp::llama_backend::LlamaBackend;
+///# use llama_cpp_2::llama_backend::LlamaBackend;
 ///# use std::error::Error;
 ///
 ///# fn main() -> Result<(), Box<dyn Error>> {

llama-cpp-2/src/llama_batch.rs

@@ -140,7 +140,7 @@ impl Drop for LlamaBatch {
     /// Drops the `LlamaBatch`.
     ///
     /// ```
-    /// # use llama_cpp::llama_batch::LlamaBatch;
+    /// # use llama_cpp_2::llama_batch::LlamaBatch;
     /// # use std::error::Error;
     /// # fn main() -> Result<(), Box<dyn Error>> {
     /// let batch = LlamaBatch::new_from_prompt(&[]);

llama-cpp-2/src/model/params.rs

@@ -42,7 +42,7 @@ impl LlamaModelParams {
 
     /// sets the number of gpu layers to offload to the GPU.
     /// ```
-    /// # use llama_cpp::model::params::LlamaModelParams;
+    /// # use llama_cpp_2::model::params::LlamaModelParams;
     /// let params = LlamaModelParams::default();
     /// let params = params.with_n_gpu_layers(1);
     /// assert_eq!(params.n_gpu_layers(), 1);
@@ -66,7 +66,7 @@ impl LlamaModelParams {
 
 /// Default parameters for `LlamaModel`. (as defined in llama.cpp by `llama_model_default_params`)
 /// ```
-/// # use llama_cpp::model::params::LlamaModelParams;
+/// # use llama_cpp_2::model::params::LlamaModelParams;
 /// let params = LlamaModelParams::default();
 /// assert_eq!(params.n_gpu_layers(), 0, "n_gpu_layers should be 0");
 /// assert_eq!(params.main_gpu(), 0, "main_gpu should be 0");

llama-cpp-2/src/timing.rs

@@ -10,7 +10,7 @@ pub struct LlamaTimings {
 impl LlamaTimings {
     /// Create a new `LlamaTimings`.
     /// ```
-    /// # use llama_cpp::timing::LlamaTimings;
+    /// # use llama_cpp_2::timing::LlamaTimings;
     /// let timings = LlamaTimings::new(1.0, 2.0, 3.0, 4.0, 5.0, 6.0, 7, 8, 9);
     /// let timings_str = "load time = 3.00 ms
     /// sample time = 4.00 ms / 7 runs (0.57 ms per token, 1750.00 tokens per second)

llama-cpp-2/src/token.rs

@@ -15,7 +15,7 @@ impl LlamaToken {
     /// Create a new `LlamaToken` from a i32.
     ///
     /// ```
-    /// # use llama_cpp::token::LlamaToken;
+    /// # use llama_cpp_2::token::LlamaToken;
     /// let token = LlamaToken::new(0);
     /// assert_eq!(token, LlamaToken(0));
     /// ```

llama-cpp-2/src/token/data.rs

@@ -15,8 +15,8 @@ pub struct LlamaTokenData {
 impl LlamaTokenData {
     /// Create a new token data from a token, logit, and probability.
     /// ```
-    /// # use llama_cpp::token::LlamaToken;
-    /// # use llama_cpp::token::data::LlamaTokenData;
+    /// # use llama_cpp_2::token::LlamaToken;
+    /// # use llama_cpp_2::token::data::LlamaTokenData;
     /// let token = LlamaToken::new(1);
     /// let token_data = LlamaTokenData::new(token, 1.0, 1.0);
     #[must_use]
@@ -27,8 +27,8 @@ impl LlamaTokenData {
     }
     /// Get the token's id
     /// ```
-    /// # use llama_cpp::token::LlamaToken;
-    /// # use llama_cpp::token::data::LlamaTokenData;
+    /// # use llama_cpp_2::token::LlamaToken;
+    /// # use llama_cpp_2::token::data::LlamaTokenData;
     /// let token = LlamaToken::new(1);
     /// let token_data = LlamaTokenData::new(token, 1.0, 1.0);
     /// assert_eq!(token_data.id(), token);
@@ -40,8 +40,8 @@ impl LlamaTokenData {
 
     /// Get the token's logit
     /// ```
-    /// # use llama_cpp::token::LlamaToken;
-    /// # use llama_cpp::token::data::LlamaTokenData;
+    /// # use llama_cpp_2::token::LlamaToken;
+    /// # use llama_cpp_2::token::data::LlamaTokenData;
     /// let token = LlamaToken::new(1);
     /// let token_data = LlamaTokenData::new(token, 1.0, 1.0);
     /// assert_eq!(token_data.logit(), 1.0);
@@ -53,8 +53,8 @@ impl LlamaTokenData {
 
     /// Get the token's probability
     /// ```
-    /// # use llama_cpp::token::LlamaToken;
-    /// # use llama_cpp::token::data::LlamaTokenData;
+    /// # use llama_cpp_2::token::LlamaToken;
+    /// # use llama_cpp_2::token::data::LlamaTokenData;
     /// let token = LlamaToken::new(1);
     /// let token_data = LlamaTokenData::new(token, 1.0, 1.0);
     /// assert_eq!(token_data.p(), 1.0);
@@ -66,8 +66,8 @@ impl LlamaTokenData {
 
     /// Set the token's id
     /// ```
-    /// # use llama_cpp::token::LlamaToken;
-    /// # use llama_cpp::token::data::LlamaTokenData;
+    /// # use llama_cpp_2::token::LlamaToken;
+    /// # use llama_cpp_2::token::data::LlamaTokenData;
     /// let token = LlamaToken::new(1);
     /// let mut token_data = LlamaTokenData::new(token, 1.0, 1.0);
     /// token_data.set_id(LlamaToken::new(2));
@@ -79,8 +79,8 @@ impl LlamaTokenData {
 
     /// Set the token's logit
     /// ```
-    /// # use llama_cpp::token::LlamaToken;
-    /// # use llama_cpp::token::data::LlamaTokenData;
+    /// # use llama_cpp_2::token::LlamaToken;
+    /// # use llama_cpp_2::token::data::LlamaTokenData;
     /// let token = LlamaToken::new(1);
     /// let mut token_data = LlamaTokenData::new(token, 1.0, 1.0);
     /// token_data.set_logit(2.0);
@@ -92,8 +92,8 @@ impl LlamaTokenData {
 
     /// Set the token's probability
     /// ```
-    /// # use llama_cpp::token::LlamaToken;
-    /// # use llama_cpp::token::data::LlamaTokenData;
+    /// # use llama_cpp_2::token::LlamaToken;
+    /// # use llama_cpp_2::token::data::LlamaTokenData;
     /// let token = LlamaToken::new(1);
     /// let mut token_data = LlamaTokenData::new(token, 1.0, 1.0);
     /// token_data.set_p(2.0);

llama-cpp-2/src/token/data_array.rs

@@ -15,9 +15,9 @@ impl LlamaTokenDataArray {
     /// Create a new `LlamaTokenDataArray` from a vector and weather or not the data is sorted.
     ///
     /// ```
-    /// # use llama_cpp::token::data::LlamaTokenData;
-    /// # use llama_cpp::token::data_array::LlamaTokenDataArray;
-    /// use llama_cpp::token::LlamaToken;
+    /// # use llama_cpp_2::token::data::LlamaTokenData;
+    /// # use llama_cpp_2::token::data_array::LlamaTokenDataArray;
+    /// # use llama_cpp_2::token::LlamaToken;
     /// let array = LlamaTokenDataArray::new(vec![
     ///         LlamaTokenData::new(LlamaToken(0), 0.0, 0.0),
     ///         LlamaTokenData::new(LlamaToken(1), 0.1, 0.1)
@@ -32,9 +32,9 @@ impl LlamaTokenDataArray {
 
     /// Create a new `LlamaTokenDataArray` from an iterator and weather or not the data is sorted.
     /// ```
-    /// # use llama_cpp::token::data::LlamaTokenData;
-    /// # use llama_cpp::token::data_array::LlamaTokenDataArray;
-    /// use llama_cpp::token::LlamaToken;
+    /// # use llama_cpp_2::token::data::LlamaTokenData;
+    /// # use llama_cpp_2::token::data_array::LlamaTokenDataArray;
+    /// # use llama_cpp_2::token::LlamaToken;
     /// let array = LlamaTokenDataArray::from_iter([
     ///     LlamaTokenData::new(LlamaToken(0), 0.0, 0.0),
     ///     LlamaTokenData::new(LlamaToken(1), 0.1, 0.1)

llama-cpp-2/src/token_type.rs

@@ -31,7 +31,7 @@ pub enum LlamaTokenType {
 /// # use std::ffi::c_uint;
 /// # use std::num::TryFromIntError;
 /// # use std::result::Result;
-/// # use llama_cpp::token_type::{LlamaTokenTypeFromIntError, LlamaTokenType};
+/// # use llama_cpp_2::token_type::{LlamaTokenTypeFromIntError, LlamaTokenType};
 /// # fn main() -> Result<(), LlamaTokenTypeFromIntError> {
 /// let llama_token_type = LlamaTokenType::try_from(0 as c_uint)?;
 /// assert_eq!(llama_token_type, LlamaTokenType::Undefined);

llama-cpp-2/tests/test_generate.rs

@@ -1,9 +1,9 @@
-use llama_cpp::context::params::LlamaContextParams;
-use llama_cpp::llama_backend::LlamaBackend;
-use llama_cpp::llama_batch::LlamaBatch;
-use llama_cpp::model::params::LlamaModelParams;
-use llama_cpp::model::LlamaModel;
-use llama_cpp::token::data_array::LlamaTokenDataArray;
+use llama_cpp_2::context::params::LlamaContextParams;
+use llama_cpp_2::llama_backend::LlamaBackend;
+use llama_cpp_2::llama_batch::LlamaBatch;
+use llama_cpp_2::model::params::LlamaModelParams;
+use llama_cpp_2::model::LlamaModel;
+use llama_cpp_2::token::data_array::LlamaTokenDataArray;
 use std::error::Error;
 use std::io;
 use std::io::Write;
@@ -65,7 +65,7 @@ fn check_generate_tokens() -> Result<(), Box<dyn Error>> {
         write!(stdoutlock, "{}", model.token_to_str(*id)?)?;
     }
     stdoutlock.flush()?;
-    let mut batch = LlamaBatch::new(tokens_list.len(), 0, 1);
+    let mut batch = LlamaBatch::new(tokens_list.len(), 1);
     batch.add_prompt_seq(&tokens_list, &[0]);
     ctx.decode(&mut batch)?;
     let mut n_cur = batch.n_tokens();

llama-cpp-2/tests/test_grammar_generate.rs

@@ -1,10 +1,10 @@
-use llama_cpp::context::params::LlamaContextParams;
-use llama_cpp::grammar::LlamaGrammar;
-use llama_cpp::llama_backend::LlamaBackend;
-use llama_cpp::llama_batch::LlamaBatch;
-use llama_cpp::model::params::LlamaModelParams;
-use llama_cpp::model::LlamaModel;
-use llama_cpp::token::data_array::LlamaTokenDataArray;
+use llama_cpp_2::context::params::LlamaContextParams;
+use llama_cpp_2::grammar::LlamaGrammar;
+use llama_cpp_2::llama_backend::LlamaBackend;
+use llama_cpp_2::llama_batch::LlamaBatch;
+use llama_cpp_2::model::params::LlamaModelParams;
+use llama_cpp_2::model::LlamaModel;
+use llama_cpp_2::token::data_array::LlamaTokenDataArray;
 
 use llama_cpp_sys_2::llama_pos;
 use std::str::FromStr;
@@ -31,7 +31,7 @@ fn test_generate_cat_via_grammar() {
         .unwrap();
 
     let n_ctx_usize = usize::try_from(ctx.n_ctx()).expect("cannot fit n_ctx into a usize");
-    let mut batch = LlamaBatch::new(n_ctx_usize, 0, 1);
+    let mut batch = LlamaBatch::new(n_ctx_usize, 1);
     batch.add(model.token_bos(), 0, &[0], true);
 
     let mut tokens = vec![model.token_bos()];