lit-llama
nanoGPT 기반의 LLaMA 언어 모델 구현체입니다. Flash attention, Int8 및 GPTQ 4비트 양자화, LoRA 및 LLaMA-Adapter 파인튜닝, 사전 학습을 지원합니다. Apache 2.0 라이선스가 적용됩니다.
파일 탐색기
- cpu-tests.yml
- azure-gpu-tests.yml
- CODEOWNERS
- adapter.py
- adapter_v2.py
- full.py
- lora.py
- adapter.py
- adapter_v2.py
- full.py
- length_grouped_sampler.py
- lora.py
- adapter.py
- adapter_v2.py
- full.py
- lora.py
- convert_lora_weights.md
- customize_paths.md
- download_weights.md
- finetune_adapter.md
- finetune_adapter_v2.md
- finetune_full.md
- finetune_lora.md
- inference.md
- tpus.md
- train_redpajama.md
- unstructured_dataset.md
- __init__.py
- adapter.py
- adapter_v2.py
- lora.py
- model.py
- packed_dataset.py
- quantization.py
- tokenizer.py
- utils.py
- redpajama.py
- shakespeare.py
- gptq.py
- convert_checkpoint.py
- convert_hf_checkpoint.py
- convert_lora_weights.py
- download.py
- prepare_alpaca.py
- prepare_any_text.py
- prepare_dolly.py
- prepare_redpajama.py
- prepare_shakespeare.py
- conftest.py
- test_adapter.py
- test_adapter_v2.py
- test_generate.py
- test_lora.py
- test_model.py
- test_packed_dataset.py
- test_prepare_redpajama.py
- test_prepare_shakespeare.py
- test_rmsnorm.py
- test_rope.py
- test_utils.py
- .gitignore
- generate.py
- LICENSE
- pyproject.toml
- README.md
- setup.py
# 설치 가이드
python설치 및 실행 절차
git clone https://github.com/Lightning-AI/lit-llama && cd lit-llama
저장소를 클론하고 프로젝트 폴더로 이동합니다.
pip install -e ".[all]"
모든 필수 및 부가 의존성을 포함하여 패키지를 설치합니다.
python scripts/download.py
사전 훈련된 모델 가중치를 다운로드합니다.
python generate.py --prompt "Hello, my name is"
모델을 실행하여 텍스트 생성을 테스트합니다.
핵심 명령어
pip install -e ".[all]"
패키지와 모든 관련 의존성을 편집 가능한 모드로 설치합니다.
python generate.py --prompt "Hello, my name is"
다운로드된 모델 가중치를 사용하여 텍스트 생성을 수행합니다.
python quantize/gptq.py --output_path checkpoints/lit-llama/7B/llama-gptq.4bit.pth --dtype bfloat16 --quantize gptq.int4
GPTQ 스타일의 int4 양자화를 적용하여 모델 가중치를 변환합니다.
python scripts/prepare_alpaca.py
파인튜닝을 위한 Alpaca 데이터셋을 다운로드하고 준비합니다.
python finetune/lora.py
LoRA 기법을 사용하여 모델을 파인튜닝합니다.
# CDN으로 사용하기
jsDelivrjsDelivr는 공개 GitHub 리포지토리를 별도 설정 없이 CDN으로 즉시 서빙합니다. 버전과 파일을 고르면 웹페이지에 바로 붙일 수 있는 링크와 예시 코드가 만들어집니다.
명령어 용어집
이 문서에서 사용된 명령어를 모아봤습니다. 낯선 명령어가 있다면 펼쳐서 확인해보세요.
git clone
설명 보기 ▼
git clone
Clone an existing repository.
git clone {{remote_repository_location}} {{path/to/directory}}
Clone an existing repository into a new directory (the default directory is the repository name):
git clone --recursive {{remote_repository_location}}
Clone an existing repository and its submodules:
git clone {{[-n|--no-checkout]}} {{remote_repository_location}}
Clone only the `.git` directory of an existing repository:
pip install
설명 보기 ▼
pip install
Install Python packages.
pip install {{package1 package2 ...}}
Install one or more packages:
pip install {{package1 package2 ...}} {{[-U|--upgrade]}}
Upgrade all specified packages to the latest version, installing any that are not already present:
pip install {{package}}=={{version}}
Install a specific version of a package:
python
설명 보기 ▼
python
Python 언어 인터프리터.
더 많은 정보: <https://docs.python.org/using/cmdline.html>.
python
REPL(대화형 셸) 시작:
python {{path/to/file.py}}
특정 Python 파일 실행:
python -i {{path/to/file.py}}
특정 Python 파일 실행 후 REPL 시작:
