text-to-text-transfer-transformer
"Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer" 논문 코드
파일 탐색기
- bug_report.md
- config.yaml
- question--use-discussion-tab-instead-.md
- build.yml
- t5-trivia.ipynb
- __init__.py
- dataset_providers.py
- dataset_providers_test.py
- glue_utils.py
- mixtures.py
- postprocessors.py
- postprocessors_test.py
- preprocessors.py
- preprocessors_test.py
- tasks.py
- utils.py
- expected_bootstrap_results.json
- prediction_large.txt
- target_large.txt
- __init__.py
- eval_utils.py
- eval_utils_test.py
- metrics.py
- metrics_test.py
- qa_utils.py
- qa_utils_test.py
- scoring_test.py
- test_utils.py
- __init__.py
- constant_0_001.gin
- rsqrt_no_ramp_down.gin
- __init__.py
- bi_bert_base.gin
- bi_bert_large.gin
- bi_v1.gin
- bi_v1_11B.gin
- bi_v1_2x.gin
- bi_v1_3B.gin
- bi_v1_4x.gin
- bi_v1_l6.gin
- bi_v1_large.gin
- bi_v1_shared.gin
- bi_v1_small.gin
- lm_v1.gin
- lm_v1_ifa.gin
- t5.1.0.11B.gin
- t5.1.0.3B.gin
- t5.1.0.base.gin
- t5.1.0.large.gin
- t5.1.0.small.gin
- t5.1.1.base.gin
- t5.1.1.large.gin
- t5.1.1.small.gin
- t5.1.1.tiny.gin
- t5.1.1.xl.gin
- t5.1.1.xxl.gin
- t5.1.n4w10.base.gin
- t5.1.n4w10.large.gin
- t5.1.n4w10.xl.gin
- t5.1.th.base.gin
- t5.1.th.large.gin
- __init__.py
- all_permute.gin
- denoise.gin
- iid_10_u_u.gin
- iid_15_d_d.gin
- iid_15_m_f.gin
- iid_15_r10s90_f.gin
- iid_15_u_u.gin
- iid_25_u_u.gin
- iid_50_u_u.gin
- lm.gin
- prefix_lm.gin
- README
- span.gin
- span_10_15_u_u.gin
- span_2_15_u_u.gin
- span_3_15_u_u.gin
- span_5_15_u_u.gin
- __init__.py
- cnn_dailymail_v002.gin
- default.gin
- en_mix.gin
- glue_v002_proportional.gin
- squad_v010_allanswers.gin
- super_glue_v102_proportional.gin
- wmt15_enfr_v003.gin
- wmt16_enro_v003.gin
- wmt_t2t_ende_v003.gin
- wsc_dpr_simple_proportional.gin
- __init__.py
- beam_search.gin
- dataset.gin
- eval.gin
- greedy_decode.gin
- infer.gin
- infer_from_task.gin
- infer_multi_file.gin
- perplexity_eval.gin
- sample_decode.gin
- score_eval.gin
- score_from_file.gin
- score_from_task.gin
- task_adapter.gin
- checkpoint
- graph.pbtxt
- model-info.txt
- model.ckpt-0.data-00000-of-00002
- model.ckpt-0.data-00001-of-00002
- model.ckpt-0.index
- model.ckpt-0.meta
- operative_config.gin
- __init__.py
- hf_model.py
- mesh_transformer.py
- mesh_transformer_main.py
- mesh_transformer_test.py
- mtf_model.py
- t5_model.py
- utils.py
- __init__.py
- dump_task.py
- dump_task_test.py
- parse_tb.py
- prepare_glue_submission.py
- transform_checkpoints.py
- __init__.py
- __init__.py
- version.py
- CONTRIBUTING.md
- LICENSE
- pytest.ini
- README.md
- released_checkpoints.md
- setup.py
# 설치 가이드
python설치 및 실행 절차
pip install t5[gcp]
T5 패키지와 GCP 의존성을 설치합니다.
pip install tfds-nightly[c4]
C4 데이터셋 처리를 위한 tfds-nightly를 설치합니다.
핵심 명령어
pip install t5[gcp]
T5 라이브러리와 관련 GCP 기능을 설치합니다.
python -m tensorflow_datasets.scripts.download_and_prepare --datasets=c4/en --data_dir=gs://$MY_BUCKET/tensorflow_datasets
TensorFlow Datasets를 통해 데이터셋을 다운로드하고 준비합니다.
# CDN으로 사용하기
jsDelivrjsDelivr는 공개 GitHub 리포지토리를 별도 설정 없이 CDN으로 즉시 서빙합니다. 버전과 파일을 고르면 웹페이지에 바로 붙일 수 있는 링크와 예시 코드가 만들어집니다.
명령어 용어집
이 문서에서 사용된 명령어를 모아봤습니다. 낯선 명령어가 있다면 펼쳐서 확인해보세요.
pip install
설명 보기 ▼
pip install
Install Python packages.
pip install {{package1 package2 ...}}
Install one or more packages:
pip install {{package1 package2 ...}} {{[-U|--upgrade]}}
Upgrade all specified packages to the latest version, installing any that are not already present:
pip install {{package}}=={{version}}
Install a specific version of a package:
python
설명 보기 ▼
python
Python 언어 인터프리터.
더 많은 정보: <https://docs.python.org/using/cmdline.html>.
python
REPL(대화형 셸) 시작:
python {{path/to/file.py}}
특정 Python 파일 실행:
python -i {{path/to/file.py}}
특정 Python 파일 실행 후 REPL 시작: