cold-compress

(★ 152)

Cold Compress is a hackable, lightweight, and open-source toolkit for creating and benchmarking cache compression methods built on top of GPT-Fast, a simple, PyTorch-native generation codebase.

파일 탐색기

최종 버전 다운로드 (.zip)
  • .gitignore
  • attention_utils.py
  • BENCHMARK.md
  • cache.py
  • DISCLAIMER.md
  • eval.py
  • eval_multi.py
  • generate.py
  • generation_utils.py
  • GPTQ.py
  • LICENSE
  • metric.py
  • model.py
  • parallelize_evals.py
  • prompt_compression.py
  • quantization_utils.py
  • quantize.py
  • README.md
  • requirements.txt
  • setup.py
  • task.py
  • tokenizer.py
  • tp.py

# 설치 가이드

1. 코드 내려받기
git clone https://github.com/AnswerDotAI/cold-compress

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd cold-compress

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. Python

쉬움 추천
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).
pip install -r requirements.txt --extra-index-url https://download.pytorch.org/whl/nightly/

requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

오늘의 추천 프로젝트

OpenHands ★ 84,703

🙌 OpenHands: AI 기반 개발

TypeScript
vue-element-admin ★ 90,207

:tada: A magical vue admin

Vue
gemini-cli ★ 106,598

Gemini의 강력한 성능을 터미널로 직접 가져오는 오픈 소스 AI 에이전트입니다.

TypeScript
uptime-kuma ★ 90,435

자신의 서버에서 호스팅하는 감시 도구

JavaScript
awesome-claude-skills ★ 72,958

Claude AI 워크플로우를 맞춤화하기 위한 유용한 Claude Skills, 리소스, 그리고 도구들의 선별된 목록

Python
union ★ 73,856

검열 저항성, 극도로 높은 보안성, 그리고 탈중앙화 금융(DeFi)에서의 활용을 위해 설계된 신뢰 최소화 영지식 브리징 프로토콜입니다.

Rust
// repository documentation