NatureBench

(★ 101)

NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?

파일 탐색기

- no-web.toml
- - __init__.py
  - base_backend.py
  - openai_backend.py
- __init__.py
- adapter.py
- base.py
- check_llm_backend.py
- claude.py
- cli_adapters.py
- cli_commands.py
- codex.py
- dummy.py
- gemini.py
- lumen_adapter.py
- lumen_adapter_test.py
- main_results.png
- overview.png
- Dockerfile.base
- Dockerfile.lumen
- agent-lumen.md
- configuration.md
- custom-agents.md
- task-packages.md
- usage.md
- __init__.py
- base.py
- __init__.py
- attempts.py
- clients.py
- policy.py
- runner.py
- sources.py
- trace.py
- - batch_data_check.py
  - batch_data_verify.py
  - batch_data_verify_correction.py
  - batch_dockerfile_fix.py
  - batch_dockerfile_verify.sh
  - batch_filter_verify.py
  - batch_filter_verify_correction.py
  - batch_paper_filter.py
  - batch_paper_preprocess.py
  - batch_paper_preprocess_direct.py
  - batch_target_utils.py
  - batch_task_build.py
  - batch_task_fix.py
  - batch_task_verify.py
  - docker_env_verify.py
- environment.yml
- README.md
- ensure_naturebench_base.sh
- start_eval_services.sh
- - results.csv
  - submission.yaml
- case_metadata.csv
- compute_scores.py
- README.md
- SUBMISSION_SPEC.md
- validate_submission.py
- all.txt
- cpu.txt
- gpu_high.txt
- gpu_low.txt
.gitignore
_evaluator_runner.py
conda_env.yml
conda_env_eval.yml
config.example.yaml
config_loader.py
eval_env_mapping.json
eval_service.py
judge.py
judge_source_papers.jsonl
LICENSE
NOTICE
README.md
run_naturebench.py
solve.py

1. 코드 내려받기

git clone https://github.com/FrontisAI/NatureBench

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd NatureBench

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

쉬움 추천

사전 준비물

docker build -f docker/Dockerfile.base -t naturebench .

Dockerfile을 기반으로 실행 가능한 이미지를 빌드합니다.

docker run -p 8080:80 naturebench

빌드된 이미지를 실제 컨테이너로 실행합니다.

✅ 터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.