deepseek-v4-cmp170hx

(★ 89)

DeepSeek-V4-Flash-0731 on 4x CMP 170HX (sm_80): 98 tok/s decode, ~5300 tok/s prefill. DSpark speculative decoding under pipeline parallelism, which vLLM does not support upstream.

파일 탐색기

최종 버전 다운로드 (.zip)

- analyze_accum.py
- analyze_content_vs_degen.py
- analyze_thinking_ab.py
- bench_ceiling.py
- bench_chat_accumulate.py
- bench_chunk_truth.py
- bench_conc_needle.py
- bench_concurrency.py
- bench_decode3.py
- bench_decode_ctx.py
- bench_decode_stream.py
- bench_longctx.py
- bench_needle.py
- bench_prefill.py
- bench_probe.py
- README.md
- Dockerfile.devel
- Dockerfile.fullbuild
- dockerignore.txt
- run-a100.sh
- run-pp-dspark.sh
- 0001-sparse_attn_indexer.patch
- 0002-speculative.patch
- 0003-pp_utils.patch
- 0004-model_runner.patch
- 0005-dspark-utils.patch
- 0005a-prefill-topk-torch-fallback.patch
- 0006-logits-row-chunk.patch
- README.md
.gitattributes
.gitignore
LICENSE
README.md
RESULTS.md
SETTINGS.md

# 설치 가이드

1. 코드 내려받기

git clone https://github.com/allover326/deepseek-v4-cmp170hx

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd deepseek-v4-cmp170hx

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. Docker

쉬움 추천

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.

cp ../deepseek-v4-cmp170hx/docker/Dockerfile.devel .

이 명령어를 터미널에 그대로 입력해 실행하세요.

cp ../deepseek-v4-cmp170hx/docker/dockerignore.txt .dockerignore

이 명령어를 터미널에 그대로 입력해 실행하세요.

docker build -f Dockerfile.devel -t dsv4-a100:devel . # ~10 min, mostly download

Dockerfile을 기반으로 실행 가능한 이미지를 빌드합니다.

docker/ container build (CUDA-devel base + venv, precompiled vLLM wheel)

이 명령어를 터미널에 그대로 입력해 실행하세요.

✅ 터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.