LM/Qwen 3.8 27B: Difference between revisions

From Fundamental Ramen
< LM
Jump to navigation Jump to search
 
(30 intermediate revisions by the same user not shown)
Line 1: Line 1:
== llama.cpp ==
== llama.cpp ==


* https://unsloth.ai/docs/models/qwen3.8
* https://unsloth.ai/docs/basics/dynamic-3.0-ggufs
* https://unsloth.ai/docs/basics/dynamic-3.0-ggufs


=== Running ===
=== Running ===
The five options are important, especially <code>--chat-template-kwargs '{"reasoning_effort":"..."}'</code>.
The option <code>reasoning_effort</code> can be set to <code>xhigh</code>, <code>medium</code>, and <code>low</code>, but <code>xhigh</code> causes significant performance degradation.
* <code>--temp 1.0</code>
* <code>--top-p 0.95</code>
* <code>--top-k 20</code>
* <code>--min-p 0.0</code>
* <code>--chat-template-kwargs '{"reasoning_effort":"low"}'</code>


<syntaxhighlight lang="bash">
<syntaxhighlight lang="bash">
# works
# works
./llama.cpp/sycl/bin/llama-server \
llama-server -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL
  -hf unsloth/Qwen3.8-27B-GGUF:UD-Q6_K_M \
   --spec-type draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0.7 -ngld 99
   --spec-type draft-mtp --spec-draft-n-max 2 -ngld 99 \
   -fa 1 -c 128000 -ctk f16 -ctv f16
  -c 64000 -ctk q8_0 -ctv q8_0 \
   --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0
  -fa on -ngl 99 --load-mode mlock -np 1 --jinja --reasoning-preserve -t 8
   --chat-template-kwargs '{"reasoning_effort":"low"}'
 
   -b 2048 -ub 1024
# with turboquant
   -ngl 99 -np 1 -t 6
./llama.cpp/vulkan/bin/llama-server \
   --load-mode mlock --jinja --reasoning-preserve
  -hf unsloth/Qwen3.8-27B-GGUF:UD-Q6_K_M \
  --spec-type draft-mtp --spec-draft-n-max 2 -ngld 99 \
   -c 64000 -ctk q8_0 -ctv turbo4 \
   -fa on -ngl 99 --load-mode mlock -np 1 --jinja --reasoning-preserve -t 8
 
# assign draft model (cannot run)
./llama.cpp/sycl/bin/llama-server \
   -hf unsloth/Qwen3.8-27B-GGUF:UD-Q6_K_M \
   -hfd unsloth/Qwen3.8-27B-GGUF:MTP/mtp-Qwen3.8-27B-Q4_0.gguf \
   --spec-type draft-mtp --spec-draft-n-max 2 -ngld 99 \
  -c 64000 -ctk q8_0 -ctv q8_0 \
   -fa on -ngl 99 --load-mode mlock -np 1 --jinja --reasoning-preserve -t 8 -lv 5
</syntaxhighlight>
</syntaxhighlight>


Line 33: Line 32:
<syntaxhighlight lang="bash">
<syntaxhighlight lang="bash">
# control group
# control group
./llama.cpp/sycl/bin/llama-bench \
./llama.cpp/sycl/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL -fa 1 -ctk q8_0 -ctv q8_0
  -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL \
  -fa on -ctk q8_0 -ctv q8_0 -ngl 99


| model                          |      size |    params | backend    | ngl | type_k | type_v |  fa |            test |                  t/s |
| model                          |      size |    params | backend    | ngl | type_k | type_v |  fa |            test |                  t/s |
Line 42: Line 39:
| qwen35 27B Q5_K - Medium      |  19.43 GiB |    27.32 B | SYCL      |  99 |  q8_0 |  q8_0 |  1 |          tg128 |        22.17 ± 0.06 |
| qwen35 27B Q5_K - Medium      |  19.43 GiB |    27.32 B | SYCL      |  99 |  q8_0 |  q8_0 |  1 |          tg128 |        22.17 ± 0.06 |


# Test Quantization
# Test -ctv q4_0
./llama.cpp/sycl/bin/llama-bench \
./llama.cpp/sycl/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL -fa 1 -ctk q8_0 -ctv q4_0
  -hf unsloth/Qwen3.8-27B-GGUF:Q4_0 \
  -fa on -ctk q8_0 -ctv q8_0 -ngl 99


| model                          |      size |    params | backend    | ngl | type_k | type_v |  fa |            test |                  t/s |
# Test -ub 2048
| ------------------------------ | ---------: | ---------: | ---------- | --: | -----: | -----: | --: | --------------: | -------------------: |
./llama.cpp/sycl/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL -fa 1 -ctk q8_0 -ctv q8_0 -ub 2048
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL      |  99 |  q8_0 |  q8_0 |  1 |          pp512 |        798.17 ± 1.28 |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL      |  99 |  q8_0 |  q8_0 |  1 |          tg128 |        27.30 ± 0.05 |


./llama.cpp/sycl/bin/llama-bench \
# Test OpenVINO
  -hf unsloth/Qwen3.8-27B-GGUF:Q8_0 \
GGML_OPENVINO_DEVICE=GPU GGML_OPENVINO_STATEFUL_EXECUTION=1 ./llama.cpp/openvino/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL -fa 0
  -fa on -ctk q8_0 -ctv q8_0 -ngl 99
</syntaxhighlight>


| model                          |      size |    params | backend    | ngl | n_ubatch | type_k | type_v |  fa |            test |                  t/s |
=== Benchmark for community ===
| ------------------------------ | ---------: | ---------: | ---------- | --: | -------: | -----: | -----: | --: | --------------: | -------------------: |
| qwen35 27B Q8_0                |  27.04 GiB |    27.32 B | SYCL      |  99 |    2048 |  q8_0 |  q8_0 |  1 |          pp512 |      817.25 ± 15.79 |
| qwen35 27B Q8_0                |  27.04 GiB |    27.32 B | SYCL      |  99 |    2048 |  q8_0 |  q8_0 |  1 |          tg128 |        15.48 ± 0.01 |


./llama.cpp/sycl/bin/llama-bench \
<syntaxhighlight lang="markdown">
  -hf unsloth/Qwen3.8-27B-GGUF:UD-IQ4_XS \
./llama.cpp/sycl/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q6_K -fa 0,1
  -fa on -ctk q8_0 -ctv q8_0 -ngl 99
./llama.cpp/sycl/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL -fa 0,1
./llama.cpp/sycl/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_M -fa 0,1
./llama.cpp/sycl/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_S -fa 0,1
./llama.cpp/sycl/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL -fa 0,1
./llama.cpp/sycl/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:Q4_0 -fa 0,1
./llama.cpp/sycl/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-IQ4_XS -fa 0,1


| model                          |      size |    params | backend    | ngl | n_ubatch | type_k | type_v |  fa |            test |                  t/s |
./llama.cpp/sycl-nodnn/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL -fa 0,1
| ------------------------------ | ---------: | ---------: | ---------- | --: | -------: | -----: | -----: | --: | --------------: | -------------------: |
./llama.cpp/sycl-nodnn/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:Q4_0 -fa 0,1
| qwen35 27B IQ4_XS - 4.25 bpw  |  13.26 GiB |    27.32 B | SYCL      |  99 |    2048 |  q8_0 |  q8_0 |  1 |          pp512 |        573.51 ± 0.58 |
./llama.cpp/sycl-nodnn/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-IQ4_XS -fa 0,1
| qwen35 27B IQ4_XS - 4.25 bpw  |  13.26 GiB |    27.32 B | SYCL      |  99 |    2048 |  q8_0 |  q8_0 |  1 |          tg128 |        16.37 ± 0.05 |


./llama.cpp/sycl/bin/llama-bench \
./llama.cpp/sycl-f32/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL -fa 0,1
  -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_S \
./llama.cpp/sycl-f32/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:Q4_0 -fa 0,1
  -fa on -ctk q8_0 -ctv q8_0 -ngl 99
./llama.cpp/sycl-f32/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-IQ4_XS -fa 0,1
| model                          |      size |    params | backend    | ngl | n_ubatch | type_k | type_v |  fa |            test |                  t/s |
</syntaxhighlight>
| ------------------------------ | ---------: | ---------: | ---------- | --: | -------: | -----: | -----: | --: | --------------: | -------------------: |
| qwen35 27B Q4_K - Small        |  14.29 GiB |    27.32 B | SYCL      |  99 |    2048 |  q8_0 |  q8_0 |  1 |          pp512 |        644.94 ± 1.00 |
| qwen35 27B Q4_K - Small        |  14.29 GiB |    27.32 B | SYCL      |  99 |    2048 |  q8_0 |  q8_0 |  1 |          tg128 |        19.09 ± 0.08 |


./llama.cpp/sycl/bin/llama-bench \
<pre>
  -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL \
## unsloth/Qwen3.8-27B-GGUF:UD-Q6_K
  -fa on -ctk q8_0 -ctv q8_0 -ngl 99


| model                          |      size |    params | backend    | ngl | n_ubatch | type_k | type_v |  fa |            test |                  t/s |
| model                          |      size |    params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | -------: | -----: | -----: | --: | --------------: | -------------------: |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B Q4_K - Medium      |  16.34 GiB |    27.32 B | SYCL      |  99 |     2048 |   q8_0 |   q8_0 |  1 |          pp512 |        793.27 ± 0.74 |
| qwen35 27B Q6_K                |  20.46 GiB |    27.32 B | SYCL      |  -1 |  0 |          pp512 |        979.33 ± 4.64 |
| qwen35 27B Q4_K - Medium      |  16.34 GiB |    27.32 B | SYCL      |  99 |    2048 |  q8_0 |  q8_0 |  1 |          tg128 |        21.37 ± 0.03 |
| qwen35 27B Q6_K                |  20.46 GiB |    27.32 B | SYCL      |  -1 |   0 |           tg128 |        21.25 ± 0.05 |
| qwen35 27B Q6_K                |  20.46 GiB |    27.32 B | SYCL      | -1 |  1 |          pp512 |        793.28 ± 1.67 |
| qwen35 27B Q6_K                |  20.46 GiB |    27.32 B | SYCL      |  -1 |  1 |          tg128 |        21.15 ± 0.02 |


./llama.cpp/sycl/bin/llama-bench \
build: 9723942ad (10711)
  -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_S \
  -fa on -ctk q8_0 -ctv q8_0 -ngl 99


| model                          |      size |    params | backend    | ngl | n_ubatch | type_k | type_v |  fa |            test |                  t/s |
## F16 unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL
| ------------------------------ | ---------: | ---------: | ---------- | --: | -------: | -----: | -----: | --: | --------------: | -------------------: |
| qwen35 27B Q5_K - Small        |  17.37 GiB |    27.32 B | SYCL      |  99 |    2048 |  q8_0 |  q8_0 |  1 |          pp512 |        880.03 ± 1.55 |
| qwen35 27B Q5_K - Small        |  17.37 GiB |    27.32 B | SYCL      |  99 |    2048 |  q8_0 |  q8_0 |  1 |          tg128 |        22.35 ± 0.05 |


./llama.cpp/sycl/bin/llama-bench \
| model                          |      size |    params | backend    | ngl |  fa |            test |                  t/s |
  -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_M \
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
  -fa on -ctk q8_0 -ctv q8_0 -ngl 99
| qwen35 27B Q5_K - Medium      |  19.43 GiB |    27.32 B | SYCL      |  -1 |  0 |          pp512 |        970.49 ± 3.90 |
| qwen35 27B Q5_K - Medium      |  19.43 GiB |    27.32 B | SYCL      |  -1 |  0 |          tg128 |        22.30 ± 0.01 |
| qwen35 27B Q5_K - Medium      |  19.43 GiB |    27.32 B | SYCL      |  -1 |  1 |          pp512 |        840.86 ± 4.11 |
| qwen35 27B Q5_K - Medium      |  19.43 GiB |    27.32 B | SYCL      |  -1 |  1 |          tg128 |        22.22 ± 0.01 |


| model                          |      size |    params | backend    | ngl | n_ubatch | type_k | type_v |  fa |            test |                  t/s |
build: 9723942ad (10711)
| ------------------------------ | ---------: | ---------: | ---------- | --: | -------: | -----: | -----: | --: | --------------: | -------------------: |
| qwen35 27B Q5_K - Medium      |  18.40 GiB |    27.32 B | SYCL      |  99 |    2048 |  q8_0 |  q8_0 |  1 |          pp512 |        927.22 ± 0.90 |
| qwen35 27B Q5_K - Medium      |  18.40 GiB |    27.32 B | SYCL      |  99 |    2048 |  q8_0 |  q8_0 |  1 |          tg128 |        22.43 ± 0.05 |


./llama.cpp/sycl/bin/llama-bench \
## F16 unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_M
  -hf unsloth/Qwen3.8-27B-GGUF:UD-Q6_K \
  -fa on -ctk q8_0 -ctv q8_0 -ngl 99


| model                          |      size |    params | backend    | ngl | n_ubatch | type_k | type_v |  fa |            test |                  t/s |
| model                          |      size |    params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | -------: | -----: | -----: | --: | --------------: | -------------------: |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B Q6_K                |  20.46 GiB |    27.32 B | SYCL      |  99 |     2048 |  q8_0 |   q8_0 |  1 |          pp512 |        945.67 ± 4.57 |
| qwen35 27B Q5_K - Medium      |  18.40 GiB |    27.32 B | SYCL      |  -1 |  0 |          pp512 |      858.88 ± 22.25 |
| qwen35 27B Q6_K                |  20.46 GiB |    27.32 B | SYCL      |  99 |    2048 |  q8_0 |  q8_0 |  1 |          tg128 |        21.06 ± 0.05 |
| qwen35 27B Q5_K - Medium      |  18.40 GiB |    27.32 B | SYCL      | -1 |  0 |           tg128 |        22.22 ± 0.03 |
| qwen35 27B Q5_K - Medium      |  18.40 GiB |    27.32 B | SYCL      |  -1 |  1 |          pp512 |        815.38 ± 6.21 |
| qwen35 27B Q5_K - Medium      |  18.40 GiB |    27.32 B | SYCL      |  -1 |  1 |          tg128 |        22.25 ± 0.05 |


./llama.cpp/sycl/bin/llama-bench \
build: 9723942ad (10711)
  -hf unsloth/Qwen3.8-27B-GGUF:UD-Q6_K_M \
  -fa on -ctk q8_0 -ctv q8_0 -ngl 99


| model                          |      size |    params | backend    | ngl | n_ubatch | type_k | type_v |  fa |            test |                  t/s |
## F16 unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_S
| ------------------------------ | ---------: | ---------: | ---------- | --: | -------: | -----: | -----: | --: | --------------: | -------------------: |
| qwen35 27B Q6_K                |  21.49 GiB |    27.32 B | SYCL      |  99 |    2048 |  q8_0 |  q8_0 |  1 |          pp512 |        953.90 ± 5.70 |
| qwen35 27B Q6_K                |  21.49 GiB |    27.32 B | SYCL      |  99 |    2048 |  q8_0 |  q8_0 |  1 |          tg128 |        20.14 ± 0.04 |


./llama.cpp/sycl/bin/llama-bench \
| model                          |      size |    params | backend    | ngl |  fa |            test |                  t/s |
  -hf unsloth/Qwen3.8-27B-GGUF:UD-Q6_K_L \
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
  -fa on -ctk q8_0 -ctv q8_0 -ngl 99
| qwen35 27B Q5_K - Small        |  17.37 GiB |    27.32 B | SYCL      |  -1 |  0 |          pp512 |        914.77 ± 2.72 |
| qwen35 27B Q5_K - Small        |  17.37 GiB |    27.32 B | SYCL      |  -1 |  0 |          tg128 |        22.40 ± 0.02 |
| qwen35 27B Q5_K - Small        |  17.37 GiB |    27.32 B | SYCL      |  -1 |  1 |          pp512 |        845.78 ± 1.73 |
| qwen35 27B Q5_K - Small        |  17.37 GiB |    27.32 B | SYCL      |  -1 |  1 |          tg128 |        22.33 ± 0.02 |


| model                          |      size |    params | backend    | ngl | n_ubatch | type_k | type_v |  fa |            test |                  t/s |
build: 9723942ad (10711)
| ------------------------------ | ---------: | ---------: | ---------- | --: | -------: | -----: | -----: | --: | --------------: | -------------------: |
| qwen35 27B Q6_K                |  22.52 GiB |    27.32 B | SYCL      |  99 |    2048 |  q8_0 |  q8_0 |  1 |          pp512 |        950.43 ± 5.17 |
| qwen35 27B Q6_K                |  22.52 GiB |    27.32 B | SYCL      |  99 |    2048 |  q8_0 |  q8_0 |  1 |          tg128 |        19.30 ± 0.03 |


./llama.cpp/sycl/bin/llama-bench \
## F16 unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL
  -hf unsloth/Qwen3.8-27B-GGUF:UD-Q6_K_XL \
  -fa on -ctk q8_0 -ctv q8_0 -ngl 99


| model                          |      size |    params | backend    | ngl | n_ubatch | type_k | type_v |  fa |            test |                  t/s |
| model                          |      size |    params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | -------: | -----: | -----: | --: | --------------: | -------------------: |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B Q6_K                |  23.55 GiB |    27.32 B | SYCL      |  99 |     2048 |  q8_0 |   q8_0 |  1 |          pp512 |        923.94 ± 1.96 |
| qwen35 27B Q4_K - Medium      |  16.34 GiB |    27.32 B | SYCL      |  -1 |  0 |          pp512 |        811.78 ± 1.40 |
| qwen35 27B Q6_K                |  23.55 GiB |    27.32 B | SYCL      |  99 |    2048 |  q8_0 |  q8_0 |  1 |          tg128 |        18.27 ± 0.02 |
| qwen35 27B Q4_K - Medium      |  16.34 GiB |    27.32 B | SYCL      | -1 |  0 |           tg128 |        21.39 ± 0.02 |
| qwen35 27B Q4_K - Medium      |  16.34 GiB |    27.32 B | SYCL      |  -1 |  1 |          pp512 |        784.04 ± 1.72 |
| qwen35 27B Q4_K - Medium      |  16.34 GiB |    27.32 B | SYCL      |  -1 |  1 |          tg128 |        21.33 ± 0.02 |


./llama.cpp/sycl/bin/llama-bench \
build: 9723942ad (10711)
  -hf unsloth/Qwen3.8-27B-GGUF:UD-Q8_K_L \
  -fa on -ctk q8_0 -ctv q8_0 -ngl 99


| model                          |      size |    params | backend    | ngl | n_ubatch | type_k | type_v |  fa |            test |                  t/s |
## F16 unsloth/Qwen3.8-27B-GGUF:Q4_0
| ------------------------------ | ---------: | ---------: | ---------- | --: | -------: | -----: | -----: | --: | --------------: | -------------------: |
| qwen35 27B Q8_0                |  26.11 GiB |    27.32 B | SYCL      |  99 |    2048 |  q8_0 |  q8_0 |  1 |          pp512 |        836.06 ± 2.05 |
| qwen35 27B Q8_0                |  26.11 GiB |    27.32 B | SYCL      |  99 |    2048 |  q8_0 |  q8_0 |  1 |          tg128 |        16.28 ± 0.01 |


# Test -ctv
| model                          |      size |    params | backend    | ngl |  fa |            test |                  t/s |
./llama.cpp/sycl/bin/llama-bench \
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
   -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL \
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL      |  -1 |  0 |          pp512 |        813.56 ± 1.92 |
   -fa on -ctk q8_0 -ctv q4_0 -ngl 99
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL      |  -1 |   0 |          tg128 |        27.48 ± 0.02 |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL      |  -1 |  1 |          pp512 |        355.72 ± 0.43 |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL      |  -1 |   1 |          tg128 |        27.37 ± 0.03 |


# Test -ub
build: 9723942ad (10711)
./llama.cpp/sycl/bin/llama-bench \
  -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL \
  -fa on -ctk q8_0 -ctv q8_0 -ngl 99 -ub 2048


# Test -fa off
## F16 unsloth/Qwen3.8-27B-GGUF:UD-IQ4_XS
./llama.cpp/sycl/bin/llama-bench \
  -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL \
  -fa off -ngl 99


# Test bartowski
| model                          |      size |    params | backend    | ngl |  fa |            test |                  t/s |
./llama.cpp/sycl/bin/llama-bench \
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
   -hf bartowski/Qwen3.8-27B-GGUF:Q5_K_L \
| qwen35 27B IQ4_XS - 4.25 bpw  |  13.26 GiB |    27.32 B | SYCL      |  -1 |  0 |          pp512 |        583.02 ± 0.61 |
   -fa on -ctk q8_0 -ctv q8_0 -ngl 99
| qwen35 27B IQ4_XS - 4.25 bpw   |  13.26 GiB |    27.32 B | SYCL      |  -1 |  0 |          tg128 |        16.40 ± 0.03 |
| qwen35 27B IQ4_XS - 4.25 bpw   |  13.26 GiB |    27.32 B | SYCL      |  -1 |  1 |          pp512 |        586.82 ± 0.83 |
| qwen35 27B IQ4_XS - 4.25 bpw  |  13.26 GiB |    27.32 B | SYCL      |  -1 |  1 |          tg128 |        16.34 ± 0.03 |


| model                          |      size |    params | backend    | ngl | type_k | type_v |  fa |            test |                  t/s |
build: 9723942ad (10711)
| ------------------------------ | ---------: | ---------: | ---------- | --: | -----: | -----: | --: | --------------: | -------------------: |
| qwen35 27B Q5_K - Medium      |  20.05 GiB |    27.32 B | SYCL      |  99 |  q8_0 |  q8_0 |  1 |          pp512 |        997.64 ± 2.90 |
| qwen35 27B Q5_K - Medium      |  20.05 GiB |    27.32 B | SYCL      |  99 |  q8_0 |  q8_0 |  1 |          tg128 |        22.08 ± 0.06 |


# Test OpenVINO
## F16 without DNN unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL
GGML_OPENVINO_DEVICE=GPU GGML_OPENVINO_STATEFUL_EXECUTION=1 ./llama.cpp/openvino/bin/llama-bench \
  -hf unsloth/Qwen3.8-27B-GGUF:Q4_0 \
  -fa on -ngl 99
</syntaxhighlight>


=== Benchmark for community ===
| model                          |      size |    params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B Q5_K - Medium      |  19.43 GiB |    27.32 B | SYCL      |  -1 |  0 |          pp512 |        948.86 ± 4.32 |
| qwen35 27B Q5_K - Medium      |  19.43 GiB |    27.32 B | SYCL      |  -1 |  0 |          tg128 |        22.31 ± 0.03 |
| qwen35 27B Q5_K - Medium      |  19.43 GiB |    27.32 B | SYCL      |  -1 |  1 |          pp512 |        791.62 ± 1.74 |
| qwen35 27B Q5_K - Medium      |  19.43 GiB |    27.32 B | SYCL      |  -1 |  1 |          tg128 |        22.17 ± 0.02 |


<syntaxhighlight lang="bash">
build: 9723942ad (10711)
./llama.cpp/sycl/bin/llama-bench -hf bartowski/Qwen3.8-27B-GGUF:IQ3_XXS -fa 0,1


| model                          |      size |    params | backend    | threads |  fa |            test |                  t/s |
## F16 without DNN unsloth/Qwen3.8-27B-GGUF:Q4_0
| ------------------------------ | ---------: | ---------: | ---------- | ------: | --: | --------------: | -------------------: |
| qwen35 27B IQ3_XXS - 3.0625 bpw |  11.75 GiB |    27.32 B | SYCL,BLAS  |      6 |  0 |          pp512 |        445.32 ± 0.53 |
| qwen35 27B IQ3_XXS - 3.0625 bpw |  11.75 GiB |    27.32 B | SYCL,BLAS  |      6 |  0 |          tg128 |        10.28 ± 0.01 |
| qwen35 27B IQ3_XXS - 3.0625 bpw |  11.75 GiB |    27.32 B | SYCL,BLAS  |      6 |  1 |          pp512 |        436.31 ± 0.21 |
| qwen35 27B IQ3_XXS - 3.0625 bpw |  11.75 GiB |    27.32 B | SYCL,BLAS  |      6 |  1 |          tg128 |        10.23 ± 0.03 |


build: d7a207411 (10644)
| model                          |      size |    params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL      |  -1 |  0 |          pp512 |        792.89 ± 2.42 |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL      |  -1 |  0 |          tg128 |        27.53 ± 0.02 |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL      |  -1 |  1 |          pp512 |        353.01 ± 1.91 |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL      |  -1 |  1 |          tg128 |        27.36 ± 0.01 |


./llama.cpp/sycl/bin/llama-bench -hf bartowski/Qwen3.8-27B-GGUF:Q4_0 -fa 0,1
build: 9723942ad (10711)


| model                          |      size |    params | backend    | threads |  fa |            test |                  t/s |
## F16 without DNN unsloth/Qwen3.8-27B-GGUF:UD-IQ4_XS
| ------------------------------ | ---------: | ---------: | ---------- | ------: | --: | --------------: | -------------------: |
| qwen35 27B Q4_0                |  15.22 GiB |    27.32 B | SYCL,BLAS  |      6 |  0 |          pp512 |        812.57 ± 2.08 |
| qwen35 27B Q4_0                |  15.22 GiB |    27.32 B | SYCL,BLAS  |      6 |  0 |          tg128 |        26.89 ± 0.03 |
| qwen35 27B Q4_0                |  15.22 GiB |    27.32 B | SYCL,BLAS  |      6 |  1 |          pp512 |        354.67 ± 1.02 |
| qwen35 27B Q4_0                |  15.22 GiB |    27.32 B | SYCL,BLAS  |      6 |  1 |          tg128 |        26.77 ± 0.02 |


build: d7a207411 (10644)
| model                          |      size |    params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B IQ4_XS - 4.25 bpw  |  13.26 GiB |    27.32 B | SYCL      |  -1 |  0 |          pp512 |        571.95 ± 0.63 |
| qwen35 27B IQ4_XS - 4.25 bpw  |  13.26 GiB |    27.32 B | SYCL      |  -1 |  0 |          tg128 |        16.43 ± 0.04 |
| qwen35 27B IQ4_XS - 4.25 bpw  |  13.26 GiB |    27.32 B | SYCL      |  -1 |  1 |          pp512 |        560.78 ± 0.38 |
| qwen35 27B IQ4_XS - 4.25 bpw  |  13.26 GiB |    27.32 B | SYCL      |  -1 |  1 |          tg128 |        16.40 ± 0.01 |


./llama.cpp/sycl/bin/llama-bench -hf bartowski/Qwen3.8-27B-GGUF:Q4_K_L -fa 0,1
build: 9723942ad (10711)


| model                          |      size |    params | backend    | threads |  fa |            test |                  t/s |
## F32 unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL
| ------------------------------ | ---------: | ---------: | ---------- | ------: | --: | --------------: | -------------------: |
| qwen35 27B Q4_K - Medium      |  17.42 GiB |    27.32 B | SYCL,BLAS  |      6 |  0 |          pp512 |        867.21 ± 1.71 |
| qwen35 27B Q4_K - Medium      |  17.42 GiB |    27.32 B | SYCL,BLAS  |      6 |  0 |          tg128 |        24.97 ± 0.09 |
| qwen35 27B Q4_K - Medium      |  17.42 GiB |    27.32 B | SYCL,BLAS  |      6 |  1 |          pp512 |      756.78 ± 38.06 |
| qwen35 27B Q4_K - Medium      |  17.42 GiB |    27.32 B | SYCL,BLAS  |      6 |  1 |          tg128 |        24.86 ± 0.09 |


build: d7a207411 (10644)
| model                          |      size |    params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B Q5_K - Medium      |  19.43 GiB |    27.32 B | SYCL      |  -1 |  0 |          pp512 |        311.00 ± 0.43 |
| qwen35 27B Q5_K - Medium      |  19.43 GiB |    27.32 B | SYCL      |  -1 |  0 |          tg128 |        22.26 ± 0.03 |
| qwen35 27B Q5_K - Medium      |  19.43 GiB |    27.32 B | SYCL      |  -1 |  1 |          pp512 |        304.89 ± 0.13 |
| qwen35 27B Q5_K - Medium      |  19.43 GiB |    27.32 B | SYCL      |  -1 |  1 |          tg128 |        22.17 ± 0.02 |


./llama.cpp/sycl/bin/llama-bench -hf bartowski/Qwen3.8-27B-GGUF:Q5_K_L -fa 0,1
build: 9723942ad (10711)


| model                          |      size |    params | backend    | threads |  fa |            test |                  t/s |
## F32 unsloth/Qwen3.8-27B-GGUF:Q4_0
| ------------------------------ | ---------: | ---------: | ---------- | ------: | --: | --------------: | -------------------: |
| qwen35 27B Q5_K - Medium      |  20.05 GiB |    27.32 B | SYCL,BLAS  |      6 |  0 |          pp512 |      1031.14 ± 4.23 |
| qwen35 27B Q5_K - Medium      |  20.05 GiB |    27.32 B | SYCL,BLAS  |      6 |  0 |          tg128 |        22.24 ± 0.03 |
| qwen35 27B Q5_K - Medium      |  20.05 GiB |    27.32 B | SYCL,BLAS  |      6 |  1 |          pp512 |        833.60 ± 0.72 |
| qwen35 27B Q5_K - Medium      |  20.05 GiB |    27.32 B | SYCL,BLAS  |      6 |  1 |          tg128 |        22.11 ± 0.03 |


build: d7a207411 (10644)
| model                          |      size |    params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL      |  -1 |  0 |          pp512 |        239.50 ± 2.02 |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL      |  -1 |  0 |          tg128 |        27.07 ± 0.04 |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL      |  -1 |  1 |          pp512 |        270.79 ± 0.47 |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL      |  -1 |  1 |          tg128 |        27.05 ± 0.05 |


./llama.cpp/sycl/bin/llama-bench -hf bartowski/Qwen3.8-27B-GGUF:Q6_K_L -fa 0,1
build: 9723942ad (10711)


## F32 unsloth/Qwen3.8-27B-GGUF:UD-IQ4_XS


| model                          |      size |    params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B IQ4_XS - 4.25 bpw  |  13.26 GiB |    27.32 B | SYCL      |  -1 |  0 |          pp512 |        274.41 ± 0.40 |
| qwen35 27B IQ4_XS - 4.25 bpw  |  13.26 GiB |    27.32 B | SYCL      |  -1 |  0 |          tg128 |        16.51 ± 0.06 |
| qwen35 27B IQ4_XS - 4.25 bpw  |  13.26 GiB |    27.32 B | SYCL      |  -1 |  1 |          pp512 |        273.20 ± 0.13 |
| qwen35 27B IQ4_XS - 4.25 bpw  |  13.26 GiB |    27.32 B | SYCL      |  -1 |  1 |          tg128 |        16.42 ± 0.01 |


build: d7a207411 (10644)
build: 9723942ad (10711)
</syntaxhighlight>
</pre>


== Experiment ==
== Experiment ==
Line 239: Line 218:
<syntaxhighlight lang="bash">
<syntaxhighlight lang="bash">
# search
# search
hf models ls --search "Qwen3.8-27B" --apps llama.cpp --expand "downloads,likes,lastModified" --sort downloads --no-truncate --limit 10
hf models ls --search "Qwen3.8-27B" --apps llama.cpp --expand "downloads,likes,lastModified" --sort downloads --no-truncate --limit 10


# unsloth
# unsloth
hf models ls --tree -R -h unsloth/Qwen3.8-27B-GGUF
hf models ls --tree -R -h unsloth/Qwen3.8-27B-GGUF


Line 264: Line 241:
tree -h ~/.cache/huggingface/hub/models--unsloth--Qwen3.8-27B-GGUF
tree -h ~/.cache/huggingface/hub/models--unsloth--Qwen3.8-27B-GGUF


# bartowski
# SergiioB
 
hf models ls --tree -R -h SergiioB/Qwen3.8-27B-GPTQ-Int4-sym-G128-MTP-BF16
hf models ls --tree -R -h bartowski/Qwen3.8-27B-GGUF
hf dpwnload SergiioB/Qwen3.8-27B-GPTQ-Int4-sym-G128-MTP-BF16
 
tree -h ~/.cache/huggingface/hub/models--SergiioB--Qwen3.8-27B-GPTQ-Int4-sym-G128-MTP-BF16
hf download bartowski/Qwen3.8-27B-GGUF --include "*IQ3_XXS*"
hf download bartowski/Qwen3.8-27B-GGUF --include "*IQ4_XS*"
hf download bartowski/Qwen3.8-27B-GGUF --include "*Q4_0*"
hf download bartowski/Qwen3.8-27B-GGUF --include "*Q4_1*"
hf download bartowski/Qwen3.8-27B-GGUF --include "*Q4_K_L*"
hf download bartowski/Qwen3.8-27B-GGUF --include "*Q5_K_L*"
hf download bartowski/Qwen3.8-27B-GGUF --include "*Q6_K_L*"
hf download bartowski/Qwen3.8-27B-GGUF --include "*Q8_0*"
hf download bartowski/Qwen3.8-27B-GGUF --include "*mmproj-Qwen3.8-27B-bf16.gguf*"
 
tree -h ~/.cache/huggingface/hub/models--bartowski--Qwen3.8-27B-GGUF
</syntaxhighlight>
</syntaxhighlight>


Latest revision as of 10:09, 7 September 2026

llama.cpp

Running

The five options are important, especially --chat-template-kwargs '{"reasoning_effort":"..."}'.

The option reasoning_effort can be set to xhigh, medium, and low, but xhigh causes significant performance degradation.

  • --temp 1.0
  • --top-p 0.95
  • --top-k 20
  • --min-p 0.0
  • --chat-template-kwargs '{"reasoning_effort":"low"}'
# works
llama-server -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL
  --spec-type draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0.7 -ngld 99
  -fa 1 -c 128000 -ctk f16 -ctv f16
  --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0
  --chat-template-kwargs '{"reasoning_effort":"low"}'
  -b 2048 -ub 1024
  -ngl 99 -np 1 -t 6
  --load-mode mlock --jinja --reasoning-preserve

Benchmark for me

# control group
./llama.cpp/sycl/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL -fa 1 -ctk q8_0 -ctv q8_0

| model                          |       size |     params | backend    | ngl | type_k | type_v |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | -----: | -----: | --: | --------------: | -------------------: |
| qwen35 27B Q5_K - Medium       |  19.43 GiB |    27.32 B | SYCL       |  99 |   q8_0 |   q8_0 |   1 |           pp512 |        951.05 ± 7.72 |
| qwen35 27B Q5_K - Medium       |  19.43 GiB |    27.32 B | SYCL       |  99 |   q8_0 |   q8_0 |   1 |           tg128 |         22.17 ± 0.06 |

# Test -ctv q4_0
./llama.cpp/sycl/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL -fa 1 -ctk q8_0 -ctv q4_0

# Test -ub 2048
./llama.cpp/sycl/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL -fa 1 -ctk q8_0 -ctv q8_0 -ub 2048

# Test OpenVINO
GGML_OPENVINO_DEVICE=GPU GGML_OPENVINO_STATEFUL_EXECUTION=1 ./llama.cpp/openvino/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL -fa 0

Benchmark for community

./llama.cpp/sycl/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q6_K -fa 0,1
./llama.cpp/sycl/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL -fa 0,1
./llama.cpp/sycl/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_M -fa 0,1
./llama.cpp/sycl/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_S -fa 0,1
./llama.cpp/sycl/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL -fa 0,1
./llama.cpp/sycl/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:Q4_0 -fa 0,1
./llama.cpp/sycl/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-IQ4_XS -fa 0,1

./llama.cpp/sycl-nodnn/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL -fa 0,1
./llama.cpp/sycl-nodnn/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:Q4_0 -fa 0,1
./llama.cpp/sycl-nodnn/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-IQ4_XS -fa 0,1

./llama.cpp/sycl-f32/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL -fa 0,1
./llama.cpp/sycl-f32/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:Q4_0 -fa 0,1
./llama.cpp/sycl-f32/bin/llama-bench -hf unsloth/Qwen3.8-27B-GGUF:UD-IQ4_XS -fa 0,1

## unsloth/Qwen3.8-27B-GGUF:UD-Q6_K

| model                          |       size |     params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B Q6_K                |  20.46 GiB |    27.32 B | SYCL       |  -1 |   0 |           pp512 |        979.33 ± 4.64 |
| qwen35 27B Q6_K                |  20.46 GiB |    27.32 B | SYCL       |  -1 |   0 |           tg128 |         21.25 ± 0.05 |
| qwen35 27B Q6_K                |  20.46 GiB |    27.32 B | SYCL       |  -1 |   1 |           pp512 |        793.28 ± 1.67 |
| qwen35 27B Q6_K                |  20.46 GiB |    27.32 B | SYCL       |  -1 |   1 |           tg128 |         21.15 ± 0.02 |

build: 9723942ad (10711)

## F16 unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL

| model                          |       size |     params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B Q5_K - Medium       |  19.43 GiB |    27.32 B | SYCL       |  -1 |   0 |           pp512 |        970.49 ± 3.90 |
| qwen35 27B Q5_K - Medium       |  19.43 GiB |    27.32 B | SYCL       |  -1 |   0 |           tg128 |         22.30 ± 0.01 |
| qwen35 27B Q5_K - Medium       |  19.43 GiB |    27.32 B | SYCL       |  -1 |   1 |           pp512 |        840.86 ± 4.11 |
| qwen35 27B Q5_K - Medium       |  19.43 GiB |    27.32 B | SYCL       |  -1 |   1 |           tg128 |         22.22 ± 0.01 |

build: 9723942ad (10711)

## F16 unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_M

| model                          |       size |     params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B Q5_K - Medium       |  18.40 GiB |    27.32 B | SYCL       |  -1 |   0 |           pp512 |       858.88 ± 22.25 |
| qwen35 27B Q5_K - Medium       |  18.40 GiB |    27.32 B | SYCL       |  -1 |   0 |           tg128 |         22.22 ± 0.03 |
| qwen35 27B Q5_K - Medium       |  18.40 GiB |    27.32 B | SYCL       |  -1 |   1 |           pp512 |        815.38 ± 6.21 |
| qwen35 27B Q5_K - Medium       |  18.40 GiB |    27.32 B | SYCL       |  -1 |   1 |           tg128 |         22.25 ± 0.05 |

build: 9723942ad (10711)

## F16 unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_S

| model                          |       size |     params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B Q5_K - Small        |  17.37 GiB |    27.32 B | SYCL       |  -1 |   0 |           pp512 |        914.77 ± 2.72 |
| qwen35 27B Q5_K - Small        |  17.37 GiB |    27.32 B | SYCL       |  -1 |   0 |           tg128 |         22.40 ± 0.02 |
| qwen35 27B Q5_K - Small        |  17.37 GiB |    27.32 B | SYCL       |  -1 |   1 |           pp512 |        845.78 ± 1.73 |
| qwen35 27B Q5_K - Small        |  17.37 GiB |    27.32 B | SYCL       |  -1 |   1 |           tg128 |         22.33 ± 0.02 |

build: 9723942ad (10711)

## F16 unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL

| model                          |       size |     params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B Q4_K - Medium       |  16.34 GiB |    27.32 B | SYCL       |  -1 |   0 |           pp512 |        811.78 ± 1.40 |
| qwen35 27B Q4_K - Medium       |  16.34 GiB |    27.32 B | SYCL       |  -1 |   0 |           tg128 |         21.39 ± 0.02 |
| qwen35 27B Q4_K - Medium       |  16.34 GiB |    27.32 B | SYCL       |  -1 |   1 |           pp512 |        784.04 ± 1.72 |
| qwen35 27B Q4_K - Medium       |  16.34 GiB |    27.32 B | SYCL       |  -1 |   1 |           tg128 |         21.33 ± 0.02 |

build: 9723942ad (10711)

## F16 unsloth/Qwen3.8-27B-GGUF:Q4_0

| model                          |       size |     params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL       |  -1 |   0 |           pp512 |        813.56 ± 1.92 |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL       |  -1 |   0 |           tg128 |         27.48 ± 0.02 |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL       |  -1 |   1 |           pp512 |        355.72 ± 0.43 |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL       |  -1 |   1 |           tg128 |         27.37 ± 0.03 |

build: 9723942ad (10711)

## F16 unsloth/Qwen3.8-27B-GGUF:UD-IQ4_XS

| model                          |       size |     params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B IQ4_XS - 4.25 bpw   |  13.26 GiB |    27.32 B | SYCL       |  -1 |   0 |           pp512 |        583.02 ± 0.61 |
| qwen35 27B IQ4_XS - 4.25 bpw   |  13.26 GiB |    27.32 B | SYCL       |  -1 |   0 |           tg128 |         16.40 ± 0.03 |
| qwen35 27B IQ4_XS - 4.25 bpw   |  13.26 GiB |    27.32 B | SYCL       |  -1 |   1 |           pp512 |        586.82 ± 0.83 |
| qwen35 27B IQ4_XS - 4.25 bpw   |  13.26 GiB |    27.32 B | SYCL       |  -1 |   1 |           tg128 |         16.34 ± 0.03 |

build: 9723942ad (10711)

## F16 without DNN unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL

| model                          |       size |     params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B Q5_K - Medium       |  19.43 GiB |    27.32 B | SYCL       |  -1 |   0 |           pp512 |        948.86 ± 4.32 |
| qwen35 27B Q5_K - Medium       |  19.43 GiB |    27.32 B | SYCL       |  -1 |   0 |           tg128 |         22.31 ± 0.03 |
| qwen35 27B Q5_K - Medium       |  19.43 GiB |    27.32 B | SYCL       |  -1 |   1 |           pp512 |        791.62 ± 1.74 |
| qwen35 27B Q5_K - Medium       |  19.43 GiB |    27.32 B | SYCL       |  -1 |   1 |           tg128 |         22.17 ± 0.02 |

build: 9723942ad (10711)

## F16 without DNN unsloth/Qwen3.8-27B-GGUF:Q4_0

| model                          |       size |     params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL       |  -1 |   0 |           pp512 |        792.89 ± 2.42 |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL       |  -1 |   0 |           tg128 |         27.53 ± 0.02 |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL       |  -1 |   1 |           pp512 |        353.01 ± 1.91 |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL       |  -1 |   1 |           tg128 |         27.36 ± 0.01 |

build: 9723942ad (10711)

## F16 without DNN unsloth/Qwen3.8-27B-GGUF:UD-IQ4_XS

| model                          |       size |     params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B IQ4_XS - 4.25 bpw   |  13.26 GiB |    27.32 B | SYCL       |  -1 |   0 |           pp512 |        571.95 ± 0.63 |
| qwen35 27B IQ4_XS - 4.25 bpw   |  13.26 GiB |    27.32 B | SYCL       |  -1 |   0 |           tg128 |         16.43 ± 0.04 |
| qwen35 27B IQ4_XS - 4.25 bpw   |  13.26 GiB |    27.32 B | SYCL       |  -1 |   1 |           pp512 |        560.78 ± 0.38 |
| qwen35 27B IQ4_XS - 4.25 bpw   |  13.26 GiB |    27.32 B | SYCL       |  -1 |   1 |           tg128 |         16.40 ± 0.01 |

build: 9723942ad (10711)

## F32 unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL

| model                          |       size |     params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B Q5_K - Medium       |  19.43 GiB |    27.32 B | SYCL       |  -1 |   0 |           pp512 |        311.00 ± 0.43 |
| qwen35 27B Q5_K - Medium       |  19.43 GiB |    27.32 B | SYCL       |  -1 |   0 |           tg128 |         22.26 ± 0.03 |
| qwen35 27B Q5_K - Medium       |  19.43 GiB |    27.32 B | SYCL       |  -1 |   1 |           pp512 |        304.89 ± 0.13 |
| qwen35 27B Q5_K - Medium       |  19.43 GiB |    27.32 B | SYCL       |  -1 |   1 |           tg128 |         22.17 ± 0.02 |

build: 9723942ad (10711)

## F32 unsloth/Qwen3.8-27B-GGUF:Q4_0

| model                          |       size |     params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL       |  -1 |   0 |           pp512 |        239.50 ± 2.02 |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL       |  -1 |   0 |           tg128 |         27.07 ± 0.04 |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL       |  -1 |   1 |           pp512 |        270.79 ± 0.47 |
| qwen35 27B Q4_0                |  14.94 GiB |    27.32 B | SYCL       |  -1 |   1 |           tg128 |         27.05 ± 0.05 |

build: 9723942ad (10711)

## F32 unsloth/Qwen3.8-27B-GGUF:UD-IQ4_XS

| model                          |       size |     params | backend    | ngl |  fa |            test |                  t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --: | --------------: | -------------------: |
| qwen35 27B IQ4_XS - 4.25 bpw   |  13.26 GiB |    27.32 B | SYCL       |  -1 |   0 |           pp512 |        274.41 ± 0.40 |
| qwen35 27B IQ4_XS - 4.25 bpw   |  13.26 GiB |    27.32 B | SYCL       |  -1 |   0 |           tg128 |         16.51 ± 0.06 |
| qwen35 27B IQ4_XS - 4.25 bpw   |  13.26 GiB |    27.32 B | SYCL       |  -1 |   1 |           pp512 |        273.20 ± 0.13 |
| qwen35 27B IQ4_XS - 4.25 bpw   |  13.26 GiB |    27.32 B | SYCL       |  -1 |   1 |           tg128 |         16.42 ± 0.01 |

build: 9723942ad (10711)

Experiment

# search
hf models ls --search "Qwen3.8-27B" --apps llama.cpp --expand "downloads,likes,lastModified" --sort downloads --no-truncate --limit 10

# unsloth
hf models ls --tree -R -h unsloth/Qwen3.8-27B-GGUF

hf download unsloth/Qwen3.8-27B-GGUF --include "*UD-IQ4_XS*"
hf download unsloth/Qwen3.8-27B-GGUF --include "*UD-Q4_K_XL*"
hf download unsloth/Qwen3.8-27B-GGUF --include "*UD-Q5_K_XL*"
hf download unsloth/Qwen3.8-27B-GGUF --include "*UD-Q6_K.gguf"
hf download unsloth/Qwen3.8-27B-GGUF --include "*UD-Q6_K_M*"
hf download unsloth/Qwen3.8-27B-GGUF --include "*UD-Q6_K_L*"
hf download unsloth/Qwen3.8-27B-GGUF --include "*UD-Q6_K_XL*"
hf download unsloth/Qwen3.8-27B-GGUF --include "*UD-Q8_K_L*"
hf download unsloth/Qwen3.8-27B-GGUF --include "*Q4_0*"
hf download unsloth/Qwen3.8-27B-GGUF --include "*Q8_0*"
hf download unsloth/Qwen3.8-27B-GGUF --include "mmproj-BF16*"
hf download unsloth/Qwen3.8-27B-GGUF --include "*mtp-Qwen3.8-27B-Q4_0.gguf"

find ~/.cache/huggingface/hub -name "*Qwen3.8-27B-UD-Q8_K_L.gguf"
find ~/.cache/huggingface/hub -name "*Qwen3.8-27B-UD-Q8_K_L.gguf" -exec sh -c 'rm -f "$1" "$(readlink -f "$1")"' _ {} \;

tree -h ~/.cache/huggingface/hub/models--unsloth--Qwen3.8-27B-GGUF

# SergiioB
hf models ls --tree -R -h SergiioB/Qwen3.8-27B-GPTQ-Int4-sym-G128-MTP-BF16
hf dpwnload SergiioB/Qwen3.8-27B-GPTQ-Int4-sym-G128-MTP-BF16
tree -h ~/.cache/huggingface/hub/models--SergiioB--Qwen3.8-27B-GPTQ-Int4-sym-G128-MTP-BF16

Accuracy

https://unsloth.ai/docs/~gitbook/image?url=https%3A%2F%2F3215535692-files.gitbook.io%2F%7E%2Ffiles%2Fv0%2Fb%2Fgitbook-x-prod.appspot.com%2Fo%2Fspaces%252FxhOjnexMCB3dmuQFQ2Zq%252Fuploads%252Fl9piThTmmUsePst5w3F2%252Fimage.png%3Falt%3Dmedia%26token%3D821e88e2-ad4e-40bf-adf2-e13837228e82&width=768&dpr=3&quality=100&sign=dd5f7cb5&sv=2

Retrieved from "https://wiki.fundamental-ramen.com/index.php?title=LM/Qwen_3.8_27B&oldid=3252"