gemma-tuner-multimodal

(★ 1,496)

Fine-tune Gemma 4 and 3n with audio, images and text on Apple Silicon, using PyTorch and Metal Performance Shaders.

파일 탐색기

최종 버전 다운로드 (.zip)

- - ci-macos.yml.disabled
  - ci.yml.disabled
  - extended-tests.yml.disabled
  - gated-multimodal-smoke.yml.disabled
  - publish-pypi.yml.disabled
  - release.yml.disabled
- FUNDING.yml
- pull_request_template.md
- config.ini.example
- CHANGELOG.md
- CONTRIBUTING.md
- MIGRATION.md
- TROUBLESHOOTING.md
- cli_typer.py
- main.py
- visualizer.py
- wizard.py
- - __init__.py
  - bigquery.py
  - bootstrap.py
  - config.py
  - finalization.py
  - inference.py
  - logging.py
  - ops.py
  - profile_config.py
  - run_queries.py
  - runs.py
- - __init__.py
- - __init__.py
  - blacklist.py
  - evaluate.py
  - export.py
  - export_gemma_lora.py
  - finetune.py
  - gather.py
  - gemma_generate.py
  - gemma_preflight.py
  - gemma_profiler.py
  - gemma_tiny_overfit.py
  - inference_common.py
  - prepare_data.py
  - prepare_granary.py
  - system_check.py
- - __init__.py
  - dataset_prep.py
  - dataset_sources.py
  - dataset_utils.py
  - device.py
  - gemma_dataset_prep.py
  - integrity.py
  - safe_io.py
- - __init__.py
  - assets.py
  - events.py
  - payload.py
- - __init__.py
  - base.py
  - config.py
  - config_store.py
  - estimator.py
  - granary.py
  - runner.py
  - ui.py
- __init__.py
- cli_typer.py
- constants.py
- main.py
- visualizer.py
- - training-visualizer.png
  - wizard-cli.png
- - README.md
- - debug-notes.md
  - README.md
  - visualizer-debug-notes.md
- - gemma4-upgrade.md
  - image-finetuning.md
- - phase-audit-rubric.md
  - plan-workflow-skills-guide.md
- - Gemma3n.md
- - guide-template.md
  - Notes-template.md
  - Plans-template.md
- Datasets.md
- DEVELOPMENT_NOTES.md
- KNOWN_ISSUES.md
- requirements-gemma4.txt
- requirements.txt
- - gemma-viz-app.js
  - gemma-viz-charts.js
  - gemma-viz-panels.js
  - gemma-viz-recording.js
  - gemma-viz-scene.js
  - gemma-viz-state.js
  - status.js
- visualizer.js
- index.html
- - text_completion_tiny.csv
  - text_instruction_tiny.csv
- _fakes.py
- conftest.py
- manual_quick_viz.py
- test_bootstrap.py
- test_cli_help.py
- test_config.py
- test_config_defaults.py
- test_dataset_prep_audio_clip.py
- test_dataset_utils.py
- test_device.py
- test_family.py
- test_finalization.py
- test_finetune_model_load.py
- test_finetune_peft_targets.py
- test_gemma4_ci_guard.py
- test_gemma4_patches.py
- test_gemma_collator.py
- test_gemma_dataset_prep.py
- test_gemma_image_collator.py
- test_gemma_text_collator.py
- test_generation_prompts.py
- test_granary.py
- test_inference.py
- test_integrity.py
- test_language_mode.py
- test_mps.py
- test_resolve_processor_sampling_rate.py
- test_resolve_training_torch_compile.py
- test_revision_pinning.py
- test_run_queries.py
- test_runs.py
- test_safe_io.py
- test_smoke.py
- test_smoke_gemma3n.py
- test_smoke_gemma4.py
- test_smoke_image.py
- test_smoke_image_multimodal.py
- test_system_check.py
- test_visualizer.py
- test_visualizer_contract.py
- test_wizard_config_store.py
- test_wizard_sample_bootstrap.py
- check_blacklist.py
- eval_gemma_asr.py
- setup_mps.sh
.gitattributes
.gitignore
.pre-commit-config.yaml
CODEOWNERS
LICENSE
pyproject.toml
README.md
uv.lock

# 설치 가이드

1. 코드 내려받기

git clone https://github.com/mattmireles/gemma-tuner-multimodal

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd gemma-tuner-multimodal

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. 공식 설치 스크립트

쉬움 추천

사전 준비물

Homebrew macOS/Linux용 패키지 매니저입니다.
Python 3 pip 명령어를 쓰려면 Python이 필요합니다.

brew install python@3.12

Homebrew로 이미 빌드된 패키지를 바로 설치합니다. 소스 빌드가 필요 없습니다.

pip install torch torchaudio

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

✅ 설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

3. Python

쉬움

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).

pip install torch torchaudio

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

pip install -e .

requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.

pip install -r requirements/requirements-gemma4.txt

requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.

python -m gemma_tuner.scripts.gemma_preflight

파이썬 스크립트(또는 모듈)를 실행합니다.

python -m gemma_tuner.scripts.gemma_profiler --model google/gemma-3n-E2B-it

파이썬 스크립트(또는 모듈)를 실행합니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.