vLLM-Moet

(★ 526)

A vLLM patch + hand‑written SM120 SASS kernels: 2‑bit MoE experts + an FP4 "delta" cache that recovers precision — matching the official (NV)FP4 checkpoint's quality on consumer Blackwell cards

오너의 다른 레포

qwentin ★ 16

27B at 256k context on one RTX 5090 — FP6 + 4-bit KV + MTP spec-decode, hand-written SM120 tensor-core kernels, OpenAI API.

Cuda
rtx-p2p ★ 9

PCIe P2P on consumer RTX 5090 via one GSP firmware registry key — no driver patches.

Shell
cubit ★ 9

Open-source SM120 (Blackwell) SASS assembler — encode, schedule & assemble GPU machine code, including all tensor-core instructions.

Rust

파일 탐색기

ZIP 다운로드
  • .dockerignore
  • .gitignore
  • AGENTS.md
  • Dockerfile.recipes
  • Dockerfile.sm120-v024
  • LICENSE
  • NOTICE
  • README.md

# CDN으로 사용하기

jsDelivr

jsDelivr는 공개 GitHub 리포지토리를 별도 설정 없이 CDN으로 즉시 서빙합니다. 버전과 파일을 고르면 웹페이지에 바로 붙일 수 있는 링크와 예시 코드가 만들어집니다.

링크
예시

명령어 용어집

이 문서에서 사용된 명령어를 모아봤습니다. 낯선 명령어가 있다면 펼쳐서 확인해보세요.

🔍

docker run

설명 보기 ▼

This command is an alias of `docker container run`.

tldr docker container run

View documentation for the original command:

🔍

git clone

설명 보기 ▼

Clone an existing repository.

git clone {{remote_repository_location}} {{path/to/directory}}

Clone an existing repository into a new directory (the default directory is the repository name):

git clone --recursive {{remote_repository_location}}

Clone an existing repository and its submodules:

git clone {{[-n|--no-checkout]}} {{remote_repository_location}}

Clone only the `.git` directory of an existing repository:

🔍

sass

설명 보기 ▼

SCSS 또는 Sass 파일을 CSS로 변환.
더 많은 정보: <https://sass-lang.com/documentation/cli/dart-sass/>.

sass {{inputfile.scss|inputfile.sass}}

SCSS 또는 Sass 파일을 CSS로 변환하고 결과를 출력:

sass {{inputfile.scss|inputfile.sass}} {{outputfile.css}}

SCSS 또는 Sass 파일을 CSS로 변환하고 결과를 파일에 저장:

sass --watch {{inputfile.scss|inputfile.sass}}

SCSS 또는 Sass 파일의 변경사항을 감시하고 동일한 파일명으로 CSS 파일 출력 또는 업데이트:

// repository documentation