OmniInteract
OmniInteract: Benchmarking Real-World Streaming Interaction for Real-Time Omnimodal Assistants
파일 탐색기
- FileWriterUtil.java
- MultiModalDialogConcurrentTest.java
- MultiModalDialogTestCases.java
- jpeg-bridge.jpg
- logback.xml
- what_color.wav
- what_in_picture.wav
- pom.xml
- README.md
- README_EN.md
- run.bat
- run.sh
- README.md
- README_EN.md
- requirements.txt
- run.py
- run_live_ai.py
- run_vqa.py
- .gitignore
- README.md
- README_EN.md
- index.html
- OmniServerVad.java
- RealtimePcmPlayer.java
- logback.xml
- pom.xml
- run.bat
- run.sh
- OmniWithCamera.java
- RealtimePcmPlayer.java
- logback.xml
- pom.xml
- run.bat
- run.sh
- OmniWithoutServerVad.java
- RealtimePcmPlayer.java
- logback.xml
- pom.xml
- run.bat
- run.sh
- README.md
- README_EN.md
- index.html
- B64PCMPlayer.py
- README.md
- README_EN.md
- requirements.txt
- run_server_vad.py
- run_with_camera.py
- run_with_video_file.py
- run_without_server_vad.py
- README.md
- README_EN.md
- .gitignore
- LICENSE
- PREREQUISITES.md
- PREREQUISITES_EN.md
- README.md
- README_EN.md
- align_wav_transcript.py
- ASR.py
- convert_ego_to_video3_format.py
- data_prep_batch.py
- data_prep_batch.sh
- get_precise_truncation.py
- analyze_interrupt_gpt4o_eval2.py
- build_slots.py
- common.py
- compute_1q1a_exclusive_f1.py
- compute_unified_eval.py
- evaluate_interrupted_outputs.py
- llm_judge.py
- match_slots.py
- run_batch_unified_eval.py
- summarize_unified_eval.py
- README.md
- run_eval.py
- gemini-client.js
- index.html
- main.js
- media-handler.js
- pcm-processor.js
- style.css
- gemini_live.py
- main.py
- requirements.txt
- run_with_video_file.py
- demo_preview.png
- feishu-group.png
- chinese_call.yaml
- english_call.yaml
- chinese_call.yaml
- english_call.yaml
- chinese_call.yaml
- english_call.yaml
- chinese_call.yaml
- english_call.yaml
- video_analyst_en.yaml
- video_analyst_zh.yaml
- ref_en_dlc_1.wav
- ref_minicpm_signature.wav
- compile.mp4
- silero_vad.onnx
- __init__.py
- __init__.py
- __init__.py
- base.py
- unified.py
- __init__.py
- chat.py
- common.py
- duplex.py
- streaming.py
- __init__.py
- capabilities.py
- factory.py
- minicpm-o-45-framework.png
- step1.png
- step2.png
- chat.md
- duplex.md
- half-duplex.md
- chat.md
- duplex.md
- half-duplex.md
- index.md
- internals.md
- audio.md
- components.md
- duplex-session.md
- index.md
- pages.md
- api.md
- attention_backend.md
- compile.md
- deployment.md
- index.md
- model.md
- chat.html
- duplex.html
- half-duplex.html
- chat.html
- duplex.html
- half-duplex.html
- index.html
- internals.html
- audio.html
- components.html
- duplex-session.html
- index.html
- pages.html
- api.html
- compile.html
- deployment.html
- index.html
- model.html
- chat.html
- duplex.html
- half-duplex.html
- chat.html
- duplex.html
- half-duplex.html
- index.html
- internals.html
- audio.html
- components.html
- duplex-session.html
- index.html
- pages.html
- api.html
- compile.html
- deployment.html
- index.html
- model.html
- index.html
- ios-scroll-fix.md
- chat.md
- duplex.md
- half-duplex.md
- chat.md
- duplex.md
- half-duplex.md
- index.md
- internals.md
- audio.md
- components.md
- duplex-session.md
- index.md
- pages.md
- api.md
- attention_backend.md
- compile.md
- deployment.md
- index.md
- model.md
- audio-duplex-protocol.md
- build_docs.py
- index.html
- realtime-protocol-overview.md
- realtime-protocol-schema.json
- video-duplex-protocol.md
- __init__.py
- app_registry.py
- models.py
- ref_audio_registry.py
- worker_pool.py
- .gitignore
- added_tokens.json
- configuration_minicpmo.py
- generation_config.json
- merges.txt
- modeling_minicpmo.py
- modeling_minicpmo_unified.py
- modeling_navit_siglip.py
- preprocessor_config.json
- processing_minicpmo.py
- README.md
- README_UNIFIED.md
- special_tokens_map.json
- tokenization_minicpmo_fast.py
- tokenizer.json
- tokenizer_config.json
- utils.py
- vocab.json
- audio-duplex-app.js
- audio-duplex.css
- audio_duplex.html
- audio-player.js
- capture-processor.js
- duplex-session.js
- duplex-utils.js
- lufs.js
- mixer-controller.js
- queue-chimes.js
- realtime-session.js
- recording-settings.js
- session-recorder.js
- session-video-recorder.js
- stereo-recorder-processor.js
- duplex-ui.js
- ref-audio-init.js
- tts-ref-controller.js
- duplex-shared.css
- audio-duplex.md
- half-duplex.md
- omni.md
- turnbased.md
- audio-duplex.md
- half-duplex.md
- omni.md
- turnbased.md
- half-duplex-app.js
- half-duplex.css
- half_duplex.html
- audio-device-selector.js
- chat-eta-estimator.js
- countdown-timer.js
- msgpack.mjs
- omni-app.js
- omni.css
- omni.html
- realtime-app.js
- realtime.css
- realtime.html
- app-nav.js
- faq-sidebar.css
- faq-sidebar.js
- preset-selector.js
- save-share.js
- chime-synth.html
- admin.html
- index.html
- prototype-content-editor.html
- ref-audio-player.js
- session-viewer.html
- system-content-editor.js
- test_demo.mp4
- turnbased.html
- user-content-editor.js
- _skip_multi_turn_remember_name.json
- audio_understanding.json
- error_invalid_image.json
- greedy_decoding.json
- image_understanding.json
- long_response.json
- multi_turn.json
- simple_chat.json
- tts_output.json
- image.png
- BH-Ref-HT-F224-Ref06_82_U001_话题_3_348s-355s.wav
- 000_user_audio0.wav
- 当出现植物大战僵尸的时候提醒我.wav
- basic.json
- image_transition.json
- with_image.json
- audio_only.json
- audio_understanding.json
- audio_with_tts.json
- text_only.json
- with_tts.json
- backend-simulator.js
- countdown-timer.test.js
- queue-scenario.test.js
- __init__.py
- bench_duplex_ws.py
- conftest.py
- mock_worker.py
- run_all_tests.sh
- test_api.py
- test_chat.py
- test_compile_bench.py
- test_compile_switch.py
- test_duplex.py
- test_e2e.py
- test_integration.py
- test_queue.py
- test_queue_stress.py
- test_schemas.py
- test_streaming.py
- __init__.py
- test.py
- vad.py
- .dockerignore
- .gitignore
- benchmark.py
- config.example.json
- config.py
- docker-compose.yml
- docker-entrypoint.sh
- Dockerfile
- gateway.py
- install.sh
- package.json
- precompile.py
- README.md
- README_zh.md
- requirements.txt
- run_with_video_file.py
- session_cleanup.py
- session_recorder.py
- start_all.sh
- TODO.md
- vitest.config.js
- worker.py
- launch.sh
- merge_results.py
- prepare_clips.py
- run.sh
- run_offline_inference.py
- score_offline_results.py
- .gitignore
- batch_inference_gemini.py
- batch_inference_minicpmo.py
- batch_inference_qwen.py
- launch_batch_gemini.sh
- launch_batch_minicpmo.sh
- launch_batch_qwen.sh
- merge_video_response.py
- README.md
- run_full_eval.sh
# CDN으로 사용하기
jsDelivrjsDelivr는 공개 GitHub 리포지토리를 별도 설정 없이 CDN으로 즉시 서빙합니다. 버전과 파일을 고르면 웹페이지에 바로 붙일 수 있는 링크와 예시 코드가 만들어집니다.
명령어 용어집
이 문서에서 사용된 명령어를 모아봤습니다. 낯선 명령어가 있다면 펼쳐서 확인해보세요.
eval
설명 보기 ▼
eval
현재 쉘에서 인수를 단일 명령으로 실행하고 그 결과를 반환.
더 많은 정보: <https://www.gnu.org/software/bash/manual/bash.html#index-eval>.
eval "{{echo foo}}"
"foo" 인수를 사용하여 `echo`를 호출:
eval "{{foo=bar}}"
현재 쉘에서 변수를 설정:
ffmpeg
설명 보기 ▼
ffmpeg
비디오 변환 도구.
관련 항목: `gst-launch-1.0`.
더 많은 정보: <https://ffmpeg.org/ffmpeg.html#Options>.
ffmpeg -i {{path/to/video.mp4}} -vn {{path/to/sound.mp3}}
비디오에서 사운드를 추출하여 MP3로 저장:
ffmpeg -i {{path/to/input_audio.flac}} -ar 44100 -sample_fmt s16 {{path/to/output_audio.wav}}
FLAC 파일을 Red Book CD 형식 (44100kHz, 16bit)으로 트랜스코딩:
ffmpeg -i {{path/to/video.mp4}} {{[-vf|-filter:v]}} 'scale=-1:1000' -r 15 {{path/to/output.gif}}
비디오를 GIF로 저장하고, 높이를 1000px로 조정하고 프레임 속도를 15로 설정:
ffprobe
설명 보기 ▼
ffprobe
멀티미디어 스트림 분석기.
더 많은 정보: <https://ffmpeg.org/ffprobe.html>.
ffprobe {{[-v|-loglevel]}} error -show_streams {{input.mp4}}
미디어 파일에 대해 사용 가능한 모든 스트림 정보를 표시:
ffprobe {{[-v|-loglevel]}} error -show_entries format=duration {{[-of|-output_format]}} default=noprint_wrappers=1:nokey=1 {{input.mp4}}
미디어 지속시간 표시:
ffprobe {{[-v|-loglevel]}} error -select_streams v:0 -show_entries stream=avg_frame_rate {{[-of|-output_format]}} default=noprint_wrappers=1:nokey=1 {{input.mp4}}
비디오의 프레임 속도 표시:
git checkout
설명 보기 ▼
git checkout
Checkout a branch or paths to the working tree.
git checkout -b {{branch_name}}
Create and switch to a new branch:
git checkout -b {{branch_name}} {{reference}}
Create and switch to a new branch based on a specific reference (branch, remote/branch, tag are examples of valid references):
git checkout {{branch_name}}
Switch to an existing local branch:
git clone
설명 보기 ▼
git clone
Clone an existing repository.
git clone {{remote_repository_location}} {{path/to/directory}}
Clone an existing repository into a new directory (the default directory is the repository name):
git clone --recursive {{remote_repository_location}}
Clone an existing repository and its submodules:
git clone {{[-n|--no-checkout]}} {{remote_repository_location}}
Clone only the `.git` directory of an existing repository:
git lfs
설명 보기 ▼
git lfs
Work with large files in Git repositories.
git lfs install
Initialize Git LFS:
git lfs track '{{*.bin}}'
Track files that match a glob:
git config {{[-f|--file]}} .lfsconfig lfs.url {{lfs_endpoint_url}}
Change the Git LFS endpoint URL (useful if the LFS server is separate from the Git server):
huggingface-cli
설명 보기 ▼
huggingface-cli
이 명령은 `hf`의 별칭입니다.
tldr hf
자세한 내용은 원본 명령을 참고하세요:
pip install
설명 보기 ▼
pip install
Install Python packages.
pip install {{package1 package2 ...}}
Install one or more packages:
pip install {{package1 package2 ...}} {{[-U|--upgrade]}}
Upgrade all specified packages to the latest version, installing any that are not already present:
pip install {{package}}=={{version}}
Install a specific version of a package:
python
설명 보기 ▼
python
Python 언어 인터프리터.
더 많은 정보: <https://docs.python.org/using/cmdline.html>.
python
REPL(대화형 셸) 시작:
python {{path/to/file.py}}
특정 Python 파일 실행:
python -i {{path/to/file.py}}
특정 Python 파일 실행 후 REPL 시작:
tar
설명 보기 ▼
tar
아카이브 유틸리티.
종종 `gzip` 또는 `bzip2`와 같은 압축 방법과 결합하여 사용됩니다.
더 많은 정보: <https://www.gnu.org/software/tar/manual/tar.html>.
tar cf {{path/to/target.tar}} {{path/to/file1 path/to/file2 ...}}
아카이브 생성 후 파일로 저장:
tar czf {{path/to/target.tar.gz}} {{path/to/file1 path/to/file2 ...}}
g[z]ipped 아카이브 생성 후 파일로 저장:
tar czf {{path/to/target.tar.gz}} {{[-C|--directory]}} {{path/to/directory}} .
디렉토리에서 상대 경로를 사용하여 g[z]ipped (압축된) 아카이브 생성:
aura
설명 보기 ▼
aura
Aura 패키지 매니저(Aura Package Manager): Arch Linux 및 AUR를 위한 안전하고 다국어를 지원하는 패키지 관리자.
더 많은 정보: <https://github.com/fosskers/aura>.
aura -As {{keyword|regex}}
AUR에서 패키지 검색:
aura -A {{package}}
AUR에서 패키지 설치:
aura -Akua
모든 AUR 패키지를 상세 모드로 업데이트하고 make 의존성을 제거:
