LitServe
로직, 배치 처리, 그리고 스케일링을 완전히 제어할 수 있는 커스텀 AI 추론 서버를 구축하기 위한 미니멀한 Python 프레임워크입니다.
파일 탐색기
- bug_report.md
- config.yml
- documentation.md
- feature_request.md
- ci-checks.yml
- ci-minimal-dependency-check.yml
- ci-parity.yml
- ci-testing.yml
- release-pypi.yml
- CODEOWNERS
- dependabot.yml
- PULL_REQUEST_TEMPLATE.md
- stale.yml
- tests.yml
- perf.txt
- __init__.py
- metric_callback.py
- __init__.py
- base.py
- __init__.py
- base.py
- continuous_batching_loop.py
- loops.py
- simple_loops.py
- streaming_loops.py
- __init__.py
- image.py
- __init__.py
- base.py
- openai.py
- openai_embedding.py
- __init__.py
- openai_embedding_spec_example.py
- openai_spec_example.py
- simple_example.py
- __init__.py
- base.py
- factory.py
- process_transport.py
- zmq_queue.py
- zmq_transport.py
- __about__.py
- __init__.py
- __main__.py
- api.py
- cli.py
- connector.py
- constants.py
- docker_builder.py
- loggers.py
- mcp.py
- middlewares.py
- python_client.py
- server.py
- utils.py
- default_api.py
- default_async_streaming.py
- default_batched_streaming.py
- default_batching.py
- default_mcp.py
- default_openai_embedding_spec.py
- default_openai_with_batching.py
- default_openaispec.py
- default_openaispec_response_format.py
- default_openaispec_tools.py
- default_single_streaming.py
- default_spec.py
- openai_embedding_with_batching.py
- test_e2e.py
- test_async.py
- benchmark.py
- fastapi-server.py
- ls-server.py
- main.py
- benchmark.py
- data.py
- run_test.sh
- server.py
- utils.py
- benchmark.py
- server.py
- run_test.sh
- test_auth.py
- test_batch.py
- test_callbacks.py
- test_cli.py
- test_compression.py
- test_connector.py
- test_docker_builder.py
- test_examples.py
- test_failed_workers.py
- test_form.py
- test_lit_server.py
- test_litapi.py
- test_logger.py
- test_logging.py
- test_loops.py
- test_mcp.py
- test_middlewares.py
- test_multiple_endpoints.py
- test_openai_embedding.py
- test_pydantic.py
- test_readme.py
- test_request_handlers.py
- test_schema.py
- test_simple.py
- test_specs.py
- test_torch.py
- test_transport.py
- test_utils.py
- test_zmq_queue.py
- __init__.py
- conftest.py
- minimal_run.py
- simple_server.py
- simple_server_diff_port.py
- .codecov.yml
- .gitignore
- .pre-commit-config.yaml
- CODE_OF_CONDUCT.md
- CONTRIBUTING.md
- GOVERNANCE.md
- LICENSE
- MANIFEST.in
- pyproject.toml
- pytest.ini
- README.md
# 설치 가이드
python설치 및 실행 절차
pip install litserve
LitServe 라이브러리를 설치합니다.
python server.py
정의된 LitServe 서버 스크립트를 실행합니다.
curl -X POST http://127.0.0.1:8000/predict -H "Content-Type: application/json" -d '{"input": 4.0}'
서버 예측 엔드포인트로 테스트 요청을 보냅니다.
핵심 명령어
pip install litserve
Python 패키지 관리자를 통해 LitServe를 설치합니다.
lightning deploy server.py
Lightning CLI를 사용하여 서버를 실행하거나 배포합니다.
python server.py
Python 인터프리터로 서버 스크립트를 직접 실행합니다.
일부 에이전트 예제의 경우 OPENAI_API_KEY 환경 변수 설정이 필요할 수 있습니다.
# CDN으로 사용하기
jsDelivrjsDelivr는 공개 GitHub 리포지토리를 별도 설정 없이 CDN으로 즉시 서빙합니다. 버전과 파일을 고르면 웹페이지에 바로 붙일 수 있는 링크와 예시 코드가 만들어집니다.
링크
예시
명령어 용어집
이 문서에서 사용된 명령어를 모아봤습니다. 낯선 명령어가 있다면 펼쳐서 확인해보세요.
pip install
설명 보기 ▼
pip install
Install Python packages.
pip install {{package1 package2 ...}}
Install one or more packages:
pip install {{package1 package2 ...}} {{[-U|--upgrade]}}
Upgrade all specified packages to the latest version, installing any that are not already present:
pip install {{package}}=={{version}}
Install a specific version of a package:
// repository documentation
Was this content helpful?
(0 ratings)