LM: Difference between revisions

From Fundamental Ramen
Jump to navigation Jump to search
Line 55: Line 55:
flowchart LR
flowchart LR
   subgraph hardware
   subgraph hardware
     A(Got B70)
     A(Got B70):::node-okay
   end
   end


Line 63: Line 63:
   end
   end


   subgraph drvier
   subgraph driver
     C1(Install<br>PPA driver):::node-okay
     C1(Install<br>PPA driver):::node-okay
     C2(Install<br>oneAPI):::node-okay
     C2(Install<br>oneAPI):::node-okay
Line 73: Line 73:
   subgraph runtime
   subgraph runtime
     D1[Build llama.cpp for<br>SYCL]:::node-okay
     D1[Build llama.cpp for<br>SYCL]:::node-okay
     D2[Build llama.cpp for<br>OpenVINO]:::node-okay
     D2[Build llama.cpp for<br>OpenVINO<br>not stable yet]:::node-warn
     %% D3[Build SGLang for<br>SYCL]:::node-todo
     %% D3[Build SGLang for<br>SYCL]:::node-todo
     %% D4[Build SGLang for<br>OpenVINO]:::node-todo
     %% D4[Build SGLang for<br>OpenVINO]:::node-todo
Line 104: Line 104:
   subgraph env
   subgraph env
     V1(Optimize<br>.bashrc)
     V1(Optimize<br>.bashrc)
     V2(Optimize<br>llama-swap.yaml)
     V2(Optimize<br>lmsw.yaml)
     C2 --> V1
     C2 --> V1
     C3 --> V1
     C3 --> V1
Line 113: Line 113:


   subgraph service
   subgraph service
     Z(service)
     Z(service<br>llama-swap \<br>  -config lmsw.yaml \<br>  -listen 0.0.0.0:9876)
     M1 --> Z
     M1 --> Z
     D1 --> Z
     D1 --> Z

Revision as of 07:43, 27 August 2026