Ren Xuancheng 229ffff872 llama : add BPE pre-tokenization for Qwen2 (#7114) ... * Add BPE pre-tokenization for Qwen2. * minor : fixes --------- Co-authored-by: Ren Xuancheng <17811943+jklj077@users.noreply.github.com> Co-authored-by: Georgi Gerganov <ggerganov@gmail.com>		2024-05-08 15:06:43 +03:00
..
.editorconfig
ggml-vocab-aquila.gguf
ggml-vocab-baichuan.gguf
ggml-vocab-bert-bge.gguf
ggml-vocab-bert-bge.gguf.inp
ggml-vocab-bert-bge.gguf.out
ggml-vocab-command-r.gguf
ggml-vocab-command-r.gguf.inp
ggml-vocab-command-r.gguf.out
ggml-vocab-deepseek-coder.gguf
ggml-vocab-deepseek-coder.gguf.inp
ggml-vocab-deepseek-coder.gguf.out
ggml-vocab-deepseek-llm.gguf
ggml-vocab-deepseek-llm.gguf.inp
ggml-vocab-deepseek-llm.gguf.out
ggml-vocab-falcon.gguf
ggml-vocab-falcon.gguf.inp
ggml-vocab-falcon.gguf.out
ggml-vocab-gpt-2.gguf
ggml-vocab-gpt-2.gguf.inp
ggml-vocab-gpt-2.gguf.out
ggml-vocab-gpt-neox.gguf
ggml-vocab-gpt2.gguf
ggml-vocab-llama-bpe.gguf
ggml-vocab-llama-bpe.gguf.inp
ggml-vocab-llama-bpe.gguf.out
ggml-vocab-llama-spm.gguf
ggml-vocab-llama-spm.gguf.inp
ggml-vocab-llama-spm.gguf.out
ggml-vocab-mpt.gguf
ggml-vocab-mpt.gguf.inp
ggml-vocab-mpt.gguf.out
ggml-vocab-phi-3.gguf
ggml-vocab-phi-3.gguf.inp
ggml-vocab-phi-3.gguf.out
ggml-vocab-qwen2.gguf
ggml-vocab-qwen2.gguf.inp
ggml-vocab-qwen2.gguf.out
ggml-vocab-refact.gguf
ggml-vocab-refact.gguf.inp
ggml-vocab-refact.gguf.out
ggml-vocab-stablelm.gguf
ggml-vocab-starcoder.gguf
ggml-vocab-starcoder.gguf.inp
ggml-vocab-starcoder.gguf.out