llm-deployment-demo
Self-hosted LLM chat app using vLLM + Streamlit + Docker — deploy locally or on AWS EC2
파일 탐색기
- vllm-deployment-docker.pdf
- README.md
- app.py
- Dockerfile
- entrypoint.sh
- g4-instance-setup.md
- README.md
- requirements.txt
# CDN으로 사용하기
jsDelivrjsDelivr는 공개 GitHub 리포지토리를 별도 설정 없이 CDN으로 즉시 서빙합니다. 버전과 파일을 고르면 웹페이지에 바로 붙일 수 있는 링크와 예시 코드가 만들어집니다.
명령어 용어집
이 문서에서 사용된 명령어를 모아봤습니다. 낯선 명령어가 있다면 펼쳐서 확인해보세요.
docker build
설명 보기 ▼
docker build
Build an image from a Dockerfile.
docker build .
Build a Docker image using the Dockerfile in the current directory:
docker build {{github.com/creack/docker-firefox}}
Build a Docker image from a Dockerfile at a specified URL:
docker build {{[-t|--tag]}} {{name:tag}} .
Build a Docker image and tag it:
docker logs
설명 보기 ▼
docker logs
This command is an alias of `docker container logs`.
tldr docker container logs
View documentation for the original command:
docker run
설명 보기 ▼
docker run
This command is an alias of `docker container run`.
tldr docker container run
View documentation for the original command:
docker stop
설명 보기 ▼
docker stop
This command is an alias of `docker container stop`.
tldr docker container stop
View documentation for the original command:
git clone
설명 보기 ▼
git clone
Clone an existing repository.
git clone {{remote_repository_location}} {{path/to/directory}}
Clone an existing repository into a new directory (the default directory is the repository name):
git clone --recursive {{remote_repository_location}}
Clone an existing repository and its submodules:
git clone {{[-n|--no-checkout]}} {{remote_repository_location}}
Clone only the `.git` directory of an existing repository:
ssh
설명 보기 ▼
ssh
Secure Shell은 원격 시스템에 안전하게 로그인하기 위한 프로토콜입니다.
원격 서버에 로그인하거나 명령을 실행하는 데 사용할 수 있습니다.
더 많은 정보: <https://man.openbsd.org/ssh>.
ssh {{username}}@{{remote_host}}
원격 서버에 연결:
ssh {{username}}@{{remote_host}} -i {{path/to/key_file}}
특정 신원(개인 키)으로 원격 서버에 연결:
ssh {{username}}@10.0.0.1 -p {{2222}}
특정 [p]포트를 사용하여 원격 서버에 연결: