HaluMem
HaluMem is the first operation level hallucination evaluation benchmark tailored to agent memory systems.
파일 탐색기
- Framework.png
- HaluMem_EvalF.png
- HaluMem_vs_ExistHaluMem.png
- radar_questions.png
- eli5_messages.jsonl
- native_math_messages_sample.jsonl
- self_gene_unrelated_qa.jsonl
- stage0_persona.jsonl
- stage1_1_fixed.jsonl
- stage1_2_dynamic.jsonl
- stage1_3_preferences.jsonl
- stage2_1_extend_dynamic.jsonl
- stage2_2_extend_preference.jsonl
- stage2_3_profile2skeleton.jsonl
- stage3_1_narrative_arc.jsonl
- stage3_2_preference_events.jsonl
- stage3_3_init_events.jsonl
- stage3_4_merged_events.jsonl
- stage4_1_events2memories.jsonl
- stage5_1_dialogue_generation.jsonl
- stage5_2_token_calculation.jsonl
- .env-example
- eval_memobase.py
- eval_memos.py
- eval_memzero.py
- eval_memzero_graph.py
- eval_supermemory.py
- eval_tools.py
- eval_zep.py
- evaluation.py
- llms.py
- prompts.py
- README.md
- stage1_1_fixed_validation_prompt.txt
- stage1_2_dynamic_validation_prompt.txt
- stage1_3_preferences_validation_prompt.txt
- stage2_3_profile2skeleton_prompt.txt
- stage3_1_skeleton2core.txt
- stage3_2_skeleton2routine.txt
- stage4_1_events2memories.txt
- stage4_1_interference_memory_generation.txt
- stage5_1_dialogue_generation.txt
- stage5_1_dialogue_generation_with_interference.txt
- stage5_1_interference_memory_generation.txt
- stage5_1_memory_validation.txt
- stage6_1_question_generation.txt
- utils_dynamic_conversation_template.txt
- utils_fixed_conversation_template.txt
- utils_preferences_conversation_template.txt
- eli5_parquet_to_jsonl.py
- native_math_jsonl_to_messages_sample.py
- unrelated_dialogue_generate.py
- fix_token_cost.py
- llm_request.py
- parallel_utils.py
- run_all_stages.py
- stage1_1_fixed.py
- stage1_2_dynamic.py
- stage1_3_preferences.py
- stage2_1_extend_dynamic.py
- stage2_2_extend_preference.py
- stage2_3_profile2skeleton.py
- stage3_1_skeleton2core.py
- stage3_2_skeleton2routine.py
- stage3_3_init2events.py
- stage3_4_merge_all.py
- stage4_1_events2memories.py
- stage5_1_dialogue_generation.py
- stage5_2_token_calculation.py
- stage6_1_question_generation.py
- stage6_2_final_result_medium.py
- stage6_3_final_result_long.py
- utils.py
- .env copy
- .gitignore
- config.json
- poetry.lock
- pyproject.toml
- README.md
# CDN으로 사용하기
jsDelivrjsDelivr는 공개 GitHub 리포지토리를 별도 설정 없이 CDN으로 즉시 서빙합니다. 버전과 파일을 고르면 웹페이지에 바로 붙일 수 있는 링크와 예시 코드가 만들어집니다.
명령어 용어집
이 문서에서 사용된 명령어를 모아봤습니다. 낯선 명령어가 있다면 펼쳐서 확인해보세요.
eval
설명 보기 ▼
eval
현재 쉘에서 인수를 단일 명령으로 실행하고 그 결과를 반환.
더 많은 정보: <https://www.gnu.org/software/bash/manual/bash.html#index-eval>.
eval "{{echo foo}}"
"foo" 인수를 사용하여 `echo`를 호출:
eval "{{foo=bar}}"
현재 쉘에서 변수를 설정:
poetry install
설명 보기 ▼
poetry install
Install all dependencies for a Python project as defined in the pyproject.toml file.
poetry install
Install dependencies:
poetry install --no-root
Skip installing the project itself as a dependency:
poetry install --without dev
Install only production dependencies:
python
설명 보기 ▼
python
Python 언어 인터프리터.
더 많은 정보: <https://docs.python.org/using/cmdline.html>.
python
REPL(대화형 셸) 시작:
python {{path/to/file.py}}
특정 Python 파일 실행:
python -i {{path/to/file.py}}
특정 Python 파일 실행 후 REPL 시작:
uuid
설명 보기 ▼
uuid
범용 고유 식별자(UUID) 생성 및 디코드.
관련 항목: `uuidgen`.
더 많은 정보: <https://manned.org/uuid>.
uuid
UUIDv1 생성 (시간 및 시스템의 하드웨어 주소 기반, 사용 가능한 경우):
uuid -v 4
UUIDv4 생성 (무작위 데이터 기반):
uuid -v 4 -n {{number_of_uuids}}
여러 개의 UUIDv4를 한 번에 생성:
