xKV
xKV: Cross-Layer SVD for KV-Cache Compression [ICML 2026]
파일 탐색기
최종 버전 다운로드 (.zip)- 0001-Change-KIVI-kernel-to-Triton-version.patch
- cutlass
- fast-hadamard-transform
- MInference
- example.yaml
- grouped_layers.yaml
- array_math.h
- batch_gather_gemm.cu
- batch_gather_gemm_epilogue.h
- batch_gemm_softmax.cu
- batch_gemm_softmax.h
- batch_gemm_with_epilogue_visitor.h
- copy.cuh
- functions.h
- gather_copy.cu
- gemm_universal_batch_gather_indices.h
- main.cu
- map.cuh
- rope.cu
- rope_new.cu
- special_batch_gather_predicated_tile_iterator.h
- __init__.py
- kv_cache.py
- merge_configs.py
- __init__.py
- v1.py
- __init__.py
- __init__.py
- tensor_op.py
- __init__.py
- __init__.py
- random_cholesky_v6.py
- svd_api.py
- svd_baselines.py
- __init__.py
- test_batch_gather_gemm_correctness.py
- test_decode_dispatch_correctness.py
- test_decoder_layer_composition.py
- test_full_pipeline_real_svd.py
- test_shadowkv_micro_ops_correctness.py
- test_shadowkv_pipeline_composition.py
- test_shadowkv_retrieval_correctness.py
- test_svd_reconstruction_accuracy.py
- test_xkv_kernel_correctness.py
- bench_decode_attn.py
- bench_decode_layer.py
- bench_e2e_throughput.py
- bench_svd_overhead.py
- setup.py
- README.md
- download_paulgraham_essay.py
- download_qa_dataset.sh
- hotpotqa.json
- PaulGrahamEssays.json
- PaulGrahamEssays_URLs.txt
- squad.json
- common_words_extraction.py
- constants.py
- freq_words_extraction.py
- niah.py
- niah_multiturn.py
- qa.py
- variable_tracking.py
- create_dataset.sh
- prepare.py
- synthetic.yaml
- tokenizer.py
- __init__.py
- dataset.py
- metrics.py
- utils.py
- __init__.py
- eval_acc.py
- evaluator.py
- build_kernel.sh
- run_benchmarks.sh
- eval_ablation_window.sh
- eval_longbench_llama.sh
- eval_quant.sh
- eval_ruler_llama.sh
- eval_ruler_qwen.sh
- eval_longbench_llama.sh
- eval_longbench_qwen.sh
- eval_ruler_llama.sh
- eval_ruler_qwen.sh
- build_datasets.sh
- calc_kv_comp_rate.py
- cka_similarity_analysis.ipynb
- extract_longbench_results.py
- extract_results.py
- extract_ruler_results.py
- get_multiturn_scores.py
- bulma-carousel.min.css
- bulma-slider.min.css
- bulma.css.map.txt
- bulma.min.css
- fontawesome.all.min.css
- index.css
- deepseek-coder.jpg
- favicon.ico
- MLA.jpg
- overview.jpg
- overview.png
- overview_small.jpg
- ruler.jpg
- startup.png
- target.png
- teaser.png
- throughput.png
- xKV.ico
- xKV_logo.png
- xKV_logo_cute.ico
- xKV_logo_cute.png
- xKV_logo_new.ico
- xKV_logo_new.png
- bulma-carousel.js
- bulma-carousel.min.js
- bulma-slider.js
- bulma-slider.min.js
- fontawesome.all.min.js
- index.js
- sample.pdf
- banner_video.mp4
- carousel1.mp4
- carousel2.mp4
- carousel3.mp4
- conftest.py
- README.md
- test_cache_integration.py
- test_cache_integration_pytest.py
- test_fake_quantization.py
- test_fake_svd.py
- test_fake_svd_clean.py
- test_fake_svd_with_hadamard.py
- test_hadamard_transform.py
- __init__.py
- deepseek_v2.py
- llama.py
- mistral.py
- qwen.py
- __init__.py
- fake_layer_merge_dynamic_cache.py
- hadamard_utils.py
- merge_utils.py
- quant.py
- data_utils.py
- duo_attn_utils.py
- __init__.py
- configurations.py
- patch.py
- __init__.py
- __init__.py
- base.py
- glm.py
- kv_cache.py
- kv_cache_xkv.py
- llama.py
- merge_configs.py
- phi3.py
- prompt_template.py
- qwen.py
- tensor_op.py
- __init__.py
- .gitignore
- .gitmodules
- group_layers.py
- index.html
- LICENSE
- README.md
- requirements.txt
- utils.py
# 설치 가이드
1. 코드 내려받기
git clone https://github.com/abdelfattah-lab/xKV
깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.
cd xKV
방금 내려받은 프로젝트 폴더 안으로 이동합니다.
2. Python
쉬움 추천사전 준비물
uv venv --python 3.11 && source .venv/bin/activate && uv pip install --upgrade pip
requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.
uv pip install -r requirements.txt
requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.
uv pip install flash-attn==2.7.4.post1 --no-build-isolation
requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.
uv pip install -e 3rdparty/MInference --no-build-isolation
requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.
uv pip install -e 3rdparty/fast-hadamard-transform --no-build-isolation # Optional
requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.
에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
// repository documentation
Was this content helpful?
(0 ratings)
