dataflow-sample-applications
No description available.
파일 탐색기
최종 버전 다운로드 (.zip)- gradle.yml
- collatz.pyx
- Dockerfile
- LICENSE
- pipeline.py
- README.txt
- requirements.txt
- setup.py
- main.tf
- README.MD
- retail-pipeline.json
- .gitignore
- ecommerce_events.json
- README.md
- .dockerignore
- app.js
- Dockerfile
- index.js
- package.json
- add_to_cart.json
- purchase.json
- view_item.json
- cloud-run-proxy.png
- cloud-run-ps-proxy.png
- ecommerce_events_bq_schema.json
- main.tf
- README.md
- terraform.tfvars.example
- variables.tf
- RetailPipelineAggregationOptions.java
- RetailPipelineClickStreamOptions.java
- RetailPipelineInventoryOptions.java
- RetailPipelineOptions.java
- RetailPipelineReportingOptions.java
- RetailPipelineStoresOptions.java
- RetailPipelineTransactionsOptions.java
- EventDateTimeCorrectionService.java
- EventItemCorrectionService.java
- ValidateEventDateTime.java
- ValidateEventItems.java
- ValidationUtils.java
- ClickstreamProcessing.java
- ClickStreamSessions.java
- CountViewsPerProduct.java
- ValidateAndCorrectCSEvt.java
- WriteAggregatesToBigTable.java
- WriteAggregationToBigQuery.java
- CountGlobalStockUpdatePerProduct.java
- CountIncomingStockPerProductLocation.java
- StockProcessing.java
- CountGlobalStockFromTransaction.java
- EnrichTransactionWithStoreLocation.java
- TransactionPerProductAndLocation.java
- TransactionProcessing.java
- CreateStockAggregatorMetadata.java
- DeadLetterSink.java
- ErrorMsg.java
- BigQueryUtil.java
- JSONUtils.java
- Print.java
- ReadPubSubMsgPayLoadAsString.java
- WriteRawJSONMessagesToBigQuery.java
- DeploymentAnnotations.java
- RetailCompanyServices.java
- SlowMovingStoreLocationDimension.java
- InventoryAVRO.java
- TransactionsAVRO.java
- BackFillSessionDataTest.java
- ClickStreamSessionTestUtil.java
- CountViewsPerProductTest.java
- CreateClickStreamSessionsTest.java
- ValidateAndCorrectClickStreamEventsTests.java
- WriterawJSONMessagesToBigQureyTest.java
- CountGlobalStockUpdatePerProductTest.java
- CountIncomingStockPerProductLocationTest.java
- TransactionPerProductAndLocationTest.java
- TransactionPerProductTest.java
- CreateStockAggregatorMetadataTest.java
- JSONUtilsTest.java
- build.gradle
- README.MD
- ClickStream.java
- Dimensions.java
- Ecommerce.java
- Item.java
- Purchase.java
- Stock.java
- StockAggregation.java
- Transaction.java
- build.gradle
- README.MD
- RetailDataProcessingPipeline.java
- RetailDataProcessingPipelineSimpleSmokeTest.java
- TestStreamGenerator.java
- build.gradle
- README.MD
- build.gradle
- README.MD
- gradle-wrapper.jar
- gradle-wrapper.properties
- Apache_Licence_For_Spotless
- main.tf
- terraform.tfvars
- variables.tf
- main.tf
- variables.tf
- go.mod
- go.sum
- pubsub_test.go
- README.md
- main.tf
- README.MD
- terraform.tfvars
- variables.tf
- build.gradle
- gradlew
- gradlew.bat
- README.MD
- settings.gradle
- Draft_Dataflow_streaming_time_series_sample_library_user_guide_v0.4.0.pdf
- timeseries_metrics.png
- BlendedIndex.java
- MergeSparseStreamsToSingleDenseStream.java
- CMEAdapter.java
- CMEMarketDataReader.java
- ConvertCMETOBRowToTSDataPoints.java
- ConvertCMETRDRowToTSDataPoints.java
- Data.java
- DeadLetterSink.java
- Extract.java
- GenerateErrorMessageEvents.java
- LogElements.java
- README.MD
- TopOfBook.java
- TradeInfo.java
- Util.java
- BlendedIndexTest.java
- CMEAdapterTest.java
- TSTestBlendedIndexNoGaps.json
- TSTestBlendedIndexWithGaps.json
- TSTestData.json
- build.gradle
- AllComputationsExamplePipeline.java
- ExampleForexPipelineOptions.java
- ForexBatchPipeline.java
- ForexCSVAdaptor.java
- HistoryForexReader.java
- [EMPTY]-EURUSD-2020-05-11_2020-05-11.csv
- build.gradle
- gradle-wrapper.jar
- gradle-wrapper.properties
- Print.java
- SimpleDataBootstrapGenerator.java
- SinWaveExample.java
- SinWaveExampleOptions.java
- build.gradle
- RSIGFn.java
- VWAPGFn.java
- VWAPTypeOneComp.java
- ValueInBoundsGFn.java
- Max.java
- Min.java
- Sum.java
- BBFn.java
- LogRtnFn.java
- MAFn.java
- StdDevFn.java
- SumUpDownFn.java
- TSMetricsOptions.java
- AllMetricsWithDefaults.java
- StatisticalFormulas.java
- README.MD
- TSFSITechKeys.proto
- BBFnTest.java
- IntegrationMetricTest.java
- StatisticalFormulasTests.java
- TSMetricsIntegrationTest.java
- TSMetricsTests.java
- ValueWithinBoundsGraphFnTest.java
- VWAPGraphFnTest.java
- LogRtnTSTestDataHints.json
- TSAccumVWAPTest.json
- TSTestDataHints.json
- VWAPTestGap.json
- VWAPWithinBoundTest.json
- build.gradle
- README.MD
- TSBaseCombiner.java
- TSCategoricalCombiner.java
- TSNumericCombiner.java
- BTypeOne.java
- TSCombiner.java
- CommonUtils.java
- TSDataUtils.java
- TupleTypes.java
- AccumBuilder.java
- AccumCategoricalBuilder.java
- AccumCoreMetadataBuilder.java
- AccumCoreNumericBuilder.java
- GenerateComputations.java
- GraphType1Comp.java
- GraphType2Comp.java
- TSFlowGraph.java
- CreateTFRecordMetadata.java
- FeaturesFromIterableAccumSequence.java
- OutPutTFExampleToFile.java
- OutPutTFExampleToPubSub.java
- TSAccumIterableToTFExample.java
- TSToTFExampleUtils.java
- TestMax.java
- TestMin.java
- TestSum.java
- Test1Fn.java
- Test2Fn.java
- TestComplex1GFn.java
- TestComplex2GFn.java
- CreateCompositeTSAccum.java
- TSKeyRemapping.java
- BTypeTwo.java
- BTypeTwoFn.java
- CTypeTwo.java
- GapFillOptions.java
- GenerateComputationsOptions.java
- TFXOptions.java
- TSFlowOptions.java
- TSOutputPipelineOptions.java
- AddWindowBoundaryToTSAccum.java
- ConvertAccumToSequence.java
- MajorKeyWindowSnapshot.java
- MergeAllTypeCompsInSameKeyWindow.java
- MergeTSAccum.java
- MinorKeyWindowSnapshot.java
- ParseTSDataPointFromBytes.java
- PerfectRectangles.java
- TSAccumSequenceToRow.java
- TSAccumToJson.java
- TSAccumToRow.java
- TSDataPointToRow.java
- TypeTwoComputation.java
- TSDataPointVerifier.java
- TFExampleKeys.proto
- TS.proto
- TSBaseKeys.proto
- CommonUtilsTest.java
- GenerateComputationTest.java
- GenerateComputationTestWithAccumToSeq.java
- GenerateTFExampleFromTSSequenceTest.java
- MergeAllTypeCompsInSameKeyWindowTest.java
- PerfectRectanglesScalability_5Days_5Keys_EvenGaps.java
- PerfectRectanglesScalability_86400S_AllGaps.java
- PerfectRectanglesScalability_86400S_EvenGaps.java
- PerfectRectanglesScalability_86400S_NoGaps.java
- PerfectRectanglesTests.java
- PerfectRectangleUtils.java
- Print.java
- ScaleTestingOptions.java
- SnapShotScalability_1D_100M_100K_1FW_60SW_withTFExampleSerlization.java
- SnapShotScalability_1D_100M_1K_1FW_60SW.java
- SnapShotScalability_1D_100M_1K_1FW_60SW_withTFExampleSerlization.java
- SnapShotScalabilityUtilsTest.java
- SnapshotTests.java
- SnapShotUtils.java
- TestUtils.java
- TSAccumIterableToTFExampleTest.java
- TSAccumSequenceToRowTest.java
- TSAccumToRowTest.java
- TSDataPointToRowTest.java
- TSDataTestUtils.java
- TSKeyRemappingTest.java
- TSNumericCombinerTest.java
- TSTestData.java
- TSTestDataBaseline.java
- TSTest.proto
- CreateCompositeTSAccumTest.json
- TSAccumVWAPTest.json
- build.gradle
- Apache_Licence_For_Spotless
- build.gradle
- gradlew
- gradlew.bat
- README.MD
- settings.gradle
- __init__.py
- process_encdec_inf_rtn.py
- __init__.py
- encoder_decoder_model.py
- encoder_decoder_preprocessing.py
- encoder_decoder_run_fn.py
- __init__.py
- timeseries_pipeline.py
- __init__.py
- timeseries_transform_utils.py
- timeseries_transform_utils_test.py
- __init__.py
- __init__.py
- __init__.py
- batch_inference.py
- stream_inference.py
- variables.data-00000-of-00001
- variables.index
- saved_model.pb
- schema.pbtxt
- saved_model.pb
- schema.pbtxt
- kfp_timeseries_local_sin_wave.py
- __init__.py
- timeseries_local_sin_wave.py
- __init__.py
- config.py
- __init__.py
- FILLINGBQ.png
- FILLINGPANDAS.png
- MA60.png
- STDDEV.png
- Comparing_metrics_with_Pandas.ipynb
- __init__.py
- README.MD
- setup.cfg
- setup.py
- README.MD
- .gitignore
- CONTRIBUTING.md
- LICENSE
- README.md
# 설치 가이드
1. 코드 내려받기
git clone https://github.com/GoogleCloudPlatform/dataflow-sample-applications
깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.
cd dataflow-sample-applications
방금 내려받은 프로젝트 폴더 안으로 이동합니다.
2. Docker
쉬움 추천사전 준비물
- Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
- Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.
docker build -f beam-cpp-example/Dockerfile -t dataflow-sample-applications .
Dockerfile을 기반으로 실행 가능한 이미지를 빌드합니다.
docker run -p 8080:80 dataflow-sample-applications
빌드된 이미지를 실제 컨테이너로 실행합니다.
터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.
3. Gradle (Java/Kotlin)
보통사전 준비물
- Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
- JDK (Java) Java/Kotlin 프로젝트를 빌드/실행하려면 필요합니다.
- Gradle 레포에 포함된 gradlew(Gradle Wrapper)를 쓰면 Gradle을 따로 설치할 필요가 없습니다.
⚠️ 이 프로젝트는 규모가 큰 저장소라, 이 방법이 실제 핵심 제품이 아니라 내부 하위 패키지를 가리키는 것일 수 있습니다. README 전체를 함께 확인해보세요.
cd retail/retail-java-applications
이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.
./gradlew build
Gradle로 빌드를 진행합니다.
BUILD SUCCESSFUL 메시지가 뜨면 성공입니다. build/ 폴더에 결과물이 생성됩니다.
4. Node.js
쉬움사전 준비물
⚠️ 이 프로젝트는 규모가 큰 저장소라, 이 방법이 실제 핵심 제품이 아니라 내부 하위 패키지를 가리키는 것일 수 있습니다. README 전체를 함께 확인해보세요.
cd retail/retail-clickstream-application/cloud-run-pubsub-proxy
이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.
npm install
package.json에 명시된 라이브러리들을 내려받아 설치합니다.
npm start
개발/실행 서버를 켭니다.
명령어 실행 후 터미널에 나타나는 주소(보통 http://localhost:3000 형태)를 브라우저에서 열어보세요.
5. Python
쉬움사전 준비물
pip install -r beam-cpp-example/requirements.txt
requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.
jupyter notebook
브라우저에서 노트북(.ipynb) 파일들을 열람하고 실행할 수 있는 Jupyter 화면을 켭니다.
에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.
// repository documentation
Was this content helpful?
(0 ratings)
