dataflow-cookbook

(★ 147)

No description available.

파일 탐색기

최종 버전 다운로드 (.zip)

- - java.yml
  - python.yml
- .gitignore
- pom.xml
- - stateful_dofn.py
  - timer_dofn.py
- - builtin_combiners.py
  - co_group_by_key.py
  - co_group_by_key_with_dict.py
  - combine_globally.py
  - combine_interface.py
  - combine_per_key.py
  - expand_ptransform.py
  - group_by_key.py
  - map.py
  - pardo.py
  - pardo_interface.py
  - pardo_with_output.py
  - side_input_dictionary.py
  - side_input_iterator.py
  - side_input_singleton.py
- - failed_rows_bigquery.py
  - gcloud_logs_filter_with_dlq.py
  - nested_bigquery.py
  - read_all_bigquery.py
  - read_query_bigquery.py
  - read_table_bigquery.py
  - read_table_ref_bigquery.py
  - repeated_bigquery.py
  - streaming_inserts_bigquery.py
  - streaming_load_jobs_bigquery.py
  - write_bigquery.py
  - write_bigquery_dynamic.py
  - write_bigquery_dynamic_side_input.py
  - write_partitioned_cluster_table_bigquery.py
- - bigtable_to_gcs_with_filter.py
  - read_bigtable.py
  - write_bigtable.py
- - read_csv.py
  - write_csv.py
- - custom_metrics.py
  - file_system_dynamics.py
  - template.py
- - match_files.py
  - match_files_continuously.py
  - write_files.py
- - match_continuously.py
  - read_all_textio.py
  - read_all_textio_streaming.py
  - read_avro.py
  - read_parquet.py
  - read_textio.py
  - write_avro.py
  - write_parquet.py
  - write_textio.py
- - read_jdbc.py
  - write_jdbc.py
- - read_json.py
  - write_json.py
- - gcloud_logs_filter_with_dlq.py
  - read_kafka.py
  - write_kafka.py
- - create.py
  - create_parameters.py
  - streaming.py
- - read_mongodb.py
  - write_mongodb.py
- - gcloud_logs_filter_with_dlq.py
  - read_pubsub_multiple.py
  - read_pubsub_subscription.py
  - read_pubsub_topic.py
  - read_pubsub_topic_attributes.py
  - write_pubsub.py
  - write_pubsub_attributes.py
- - delete_spanner.py
  - gcloud_logs_filter_with_dlq.py
  - insert_or_update_spanner.py
  - insert_spanner.py
  - read_spanner.py
  - replace_spanner.py
  - update_spanner.py
- - accumulating_fired_panes.py
  - discarding_fired_panes.py
  - element_count_trigger.py
  - late_data.py
  - README.md
  - with_late_and_early_firings.py
- - read_tfrecord.py
  - write_tfrecord.py
- - fixed_windows.py
  - global_window.py
  - session_window.py
  - sliding_window.py
- - bigquery_to_kafka.yaml
  - kafka_to_bigquery.yaml
  - kafka_to_json.yaml
  - README.md
  - test_csv_to_json.yaml
- .flake8
- .gitignore
- .isort.cfg
- .pre-commit-config.yaml
- CONTRIBUTING.md
- Makefile
- pyproject.toml
- requirements.dev.txt
- requirements.txt
- .gitignore
- README.md
.gitignore
CONTRIBUTING.md
LICENSE
prompts.md
README.md

# 설치 가이드

1. 코드 내려받기

git clone https://github.com/GoogleCloudPlatform/dataflow-cookbook

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd dataflow-cookbook

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. Maven (Java)

보통 추천

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
JDK (Java) Java 프로젝트를 빌드/실행하려면 필요합니다.
Maven mvn 명령어를 쓰기 위한 빌드 도구입니다.

mvn compile -e exec:java -Dexec.mainClass=basics.groupByKey \

Maven으로 의존성 설치와 빌드를 진행합니다.

mvn compile -e exec:java -Dexec.mainClass=bigquery.WriteDynamicBQ \

Maven으로 의존성 설치와 빌드를 진행합니다.

✅ BUILD SUCCESS 메시지가 뜨면 성공입니다. target/ 폴더에 결과물이 생성됩니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

3. Python

쉬움

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).

pip install -r Python/requirements.txt

requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.

python <실행할 파일명>.py # README에서 정확한 실행 파일명을 확인하세요

파이썬 스크립트(또는 모듈)를 실행합니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

4. Make

보통

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Make Linux/macOS는 보통 기본 설치되어 있습니다. Windows는 별도 설치(예: MSYS2, WSL)가 필요합니다.

cd Python

이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.

make

생성된 빌드 설정을 바탕으로 실제 컴파일을 진행해 실행 파일을 만듭니다.

✅ 에러 없이 끝나면 성공입니다. 생성된 실행 파일을 직접 실행해보세요.