aikit
Razer AIKit is an AI development toolkit with fast LLM inferencing, fine-tuning, and multi-GPU scaling.
파일 탐색기
최종 버전 다운로드 (.zip)- integration-tester-multigpu.agent.md
- integration-tester-single-gpu.agent.md
- backend_request_func.py
- benchmark_dataset.py
- benchmark_serving
- benchmark_utils.py
- ShareGPT_300_conversations.json
- add_benchmarks_to_path.sh
- add_scripts_to_path.sh
- discover_local_gpus.sh
- fix_huggingface_owner.sh
- remove_ray_leftover.sh
- set_cuda_toolkit_path.sh
- .vllmenv
- start_ray_head
- start_ray_worker
- start_vllm
- Dockerfile_aikit
- make.sh
- aikit.json
- grafana.ini
- dashboard.yml
- prometheus.yml
- .gitignore
- docker-compose-node.yaml
- docker-compose.yaml
- prometheus.yml
- AIKit_github.png
- Image_Gen.gif
- Local_First.gif
- Multi_GPU.gif
- Text_Gen.gif
- build-container.md
- cli-reference.md
- fine-tuning.md
- gpu-compatibility.md
- inferencing.md
- known-issues.md
- setup.md
- math.hpp
- common.cpp
- common.hpp
- fp4_sm120a_gemm_verifier.cu
- fp4_sm120a_gemm_verifier.h
- nvfp4_scaled_mm_sm120_kernels.cu
- fp8_gemm_verifier.cu
- fp8_gemm_verifier.h
- __init__.py
- cache.py
- cli.py
- discover.py
- discover_cluster_gpus.py
- discover_local_gpus.py
- cutlass
- gpu_timer.h
- pyproject.toml
- pytorch_binding.cu
- setup.py
- build.yml
- check-release.yml
- enforce-label.yml
- prep-release.yml
- publish-release.yml
- __init__.py
- plugin.json
- global.d.ts
- Home.tsx
- index.tsx
- Jupyter_AIKit_logo.svg
- base.css
- index.css
- index.js
- .copier-answers.yml
- .gitignore
- .prettierignore
- .yarnrc.yml
- install.json
- package.json
- pyproject.toml
- setup.py
- tsconfig.json
- yarn.lock
- Jupyter_AIKit_logo.svg
- Roboto-SemiBold.ttf
- .gitignore
- 10_Voice_Agent.ipynb
- 1_On_Device_Inferencing.ipynb
- 2a_(Head)_Distributed_Inferencing.ipynb
- 2b_(Node)_Distributed_Inferencing.ipynb
- 3_On_Device_Image_Generation.ipynb
- 4_On_Device_Audio_Generation.ipynb
- 5_On_Device_Video_Generation.ipynb
- 6_On_Device_Fine_Tuning_LoRA.ipynb
- 7a_(Head)_Distributed_Fine_Tuning_LoRA.ipynb
- 7b_(Node)_Distributed_Fine_Tuning_LoRA.ipynb
- 8_Integrating_Razer_AIKit_with_OpenAI_API.ipynb
- 9_Semantic_Search.ipynb
- __init__.py
- join.py
- run.py
- status.py
- stop.py
- __init__.py
- metrics.py
- __init__.py
- download.py
- generate.py
- info.py
- list.py
- remove.py
- run.py
- stop.py
- __init__.py
- run.py
- stop.py
- voice_bridge.py
- __init__.py
- _diffusion_model_names.py
- connectivity.py
- DiffusionModelInfoFetcher.py
- gpu_discover.py
- gpu_filter.py
- gpu_select.py
- HuggingfaceHubToken.py
- mlib.py
- model_classifier.py
- ModelInfoFetcher.py
- run_vllm.py
- SmartVLLMServe.py
- spinner.py
- __init__.py
- cli.py
- test_download.py
- test_info.py
- test_list.py
- test_model_info_fetcher.py
- test_remove.py
- conftest.py
- __init__.py
- razer_CoreEngineProcManager.py
- razer_gpu_worker.py
- __init__.py
- razer_multiproc_executor.py
- razer_ray_distributed_executor.py
- razer_ray_worker_wrapper.py
- __init__.py
- gpu_info.py
- PatchedSorted.py
- setup.py
- openai_client.py
- test_interruption.py
- test_pipeline.py
- test_protocol.py
- test_vad.py
- __init__.py
- pipeline.py
- protocol.py
- realtime_server.py
- requirements.txt
- session.py
- vad.py
- voice_agent_config.json
- .gitignore
- .gitlab-ci.yml
- .gitmodules
- CODE_OF_CONDUCT.md
- CONTRIBUTING.md
- LICENSE
- NOTICE
- OPEN_SOURCE_NOTICES.md
- pyproject.toml
- README.md
- SECURITY.md
- uv.lock
# 설치 가이드
1. 코드 내려받기
git clone https://github.com/razerofficial/aikit
깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.
cd aikit
방금 내려받은 프로젝트 폴더 안으로 이동합니다.
2. Docker
쉬움 추천사전 준비물
- Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
- Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.
docker run -it \
빌드된 이미지를 실제 컨테이너로 실행합니다.
docker compose -f docker_compose/docker-compose.yaml up -d --pull always
compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.
터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
3. Node.js
쉬움사전 준비물
cd jupyter_extension
이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.
npm install
package.json에 명시된 라이브러리들을 내려받아 설치합니다.
npm start
개발/실행 서버를 켭니다.
명령어 실행 후 터미널에 나타나는 주소(보통 http://localhost:3000 형태)를 브라우저에서 열어보세요.
// repository documentation
Was this content helpful?
(0 ratings)