mosec
A high-performance ML model serving framework, offers dynamic batching and CPU/GPU pipelines to fully exploit your compute machine
파일 탐색기
최종 버전 다운로드 (.zip)- devcontainer.json
- Dockerfile
- bug_report.yaml
- config.yml
- feature_request.yaml
- check.yml
- codeql.yml
- deny.yml
- label.yml
- links.yml
- nightly.yml
- package.yml
- page.yml
- CODEOWNERS
- dependabot.yml
- release.yml
- .gitkeep
- contributing.md
- index.md
- compression.md
- echo.md
- embedding.md
- env.md
- index.md
- ipc.md
- jax.md
- metric.md
- multi_route.md
- pytorch.md
- rerank.md
- stable_diffusion.md
- validate.md
- arguments.md
- concept.md
- index.md
- interface.md
- migration.md
- conf.py
- index.md
- license.md
- robots.txt
- make.bat
- Makefile
- client.py
- server.py
- client.py
- server.py
- docker-compose.yml
- dockerfile
- mosec_dashboard.json
- mosec_dashboard.yml
- mosec_datasource.yml
- prometheus.yml
- python_side_metrics.py
- README.md
- client.py
- server.py
- client.py
- server.py
- client.py
- server.py
- client.py
- server.py
- client.py
- server.py
- plasma_legacy.py
- redis.py
- build.envd
- client.py
- server.py
- client.py
- server.py
- __init__.py
- custom_env.py
- distil_bert_server_pytorch.py
- echo.py
- README.md
- __init__.py
- msgpack_worker.py
- numbin_worker.py
- plasma_worker.py
- redis_worker.py
- typed_worker.py
- __init__.py
- args.py
- coordinator.py
- dry_run.py
- env.py
- errors.py
- log.py
- protocol.py
- py.typed
- runtime.py
- server.py
- utils.py
- worker.py
- apidoc.rs
- config.rs
- errors.rs
- layouts.rs
- main.rs
- metrics.rs
- protocol.rs
- routes.rs
- tasks.rs
- __init__.py
- bad_service.py
- mixin_ipc_shm_service.py
- mixin_numbin_service.py
- mixin_typed_service.py
- multi_route_service.py
- openapi_service.py
- square_service.py
- sse_service.py
- timeout_service.py
- __init__.py
- bad_req.py
- mock_socket.py
- test_coordinator.py
- test_log.py
- test_protocol.py
- test_service.py
- test_utils.py
- utils.py
- .gitignore
- .pre-commit-config.yaml
- .readthedocs.yaml
- build.envd
- Cargo.lock
- Cargo.toml
- CITATION.cff
- CONTRIBUTING.md
- deny.toml
- Dockerfile
- LICENSE
- lychee.toml
- Makefile
- pyproject.toml
- README.md
- rust-toolchain.toml
- rustfmt.toml
- uv.lock
# 설치 가이드
1. 코드 내려받기
git clone https://github.com/mosecorg/mosec
깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.
cd mosec
방금 내려받은 프로젝트 폴더 안으로 이동합니다.
2. 공식 설치 스크립트
쉬움 추천사전 준비물
- Python 3 pip 명령어를 쓰려면 Python이 필요합니다.
pip install -U mosec
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
pip install --upgrade diffusers[torch] transformers
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
3. Docker
쉬움사전 준비물
- Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
- Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.
docker build -t mosec .
Dockerfile을 기반으로 실행 가능한 이미지를 빌드합니다.
docker run -p 8080:80 mosec
빌드된 이미지를 실제 컨테이너로 실행합니다.
터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.
4. Python
쉬움사전 준비물
pip install -U mosec
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
pip install --upgrade diffusers[torch] transformers
PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.
에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
5. Rust
보통사전 준비물
- Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
- Rust (rustup) rustup으로 설치하면 cargo도 함께 설치됩니다.
cargo build --release
Rust 프로젝트를 컴파일합니다.
cargo run
빌드 후 바로 실행까지 진행합니다.
cargo build가 에러 없이 끝나면 성공입니다. target/ 폴더에 실행 파일이 생성됩니다.
6. Make
보통사전 준비물
- Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
- Make Linux/macOS는 보통 기본 설치되어 있습니다. Windows는 별도 설치(예: MSYS2, WSL)가 필요합니다.
make package
생성된 빌드 설정을 바탕으로 실제 컴파일을 진행해 실행 파일을 만듭니다.
에러 없이 끝나면 성공입니다. 생성된 실행 파일을 직접 실행해보세요.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
// repository documentation
Was this content helpful?
(0 ratings)