숭이

🌿 Git Upstream 이란? 협업을 위해 팀 레포를 fork하고 개인 레포와 로컬 개발환경을 연결해 개발하던 중, 팀 레포에 새로운 브랜치가 생성되었지만 개인 레포에는 자동으로 반영되지 않는 것을 확인했습니다. 이를 해결하기 위해 팀 레포의 브랜치를 개인 레포로 가져오고, 로컬 개발 환경에서도 연결하는 과정을 거치면서 Upstream과 Origin의 개념을 이해하게 되었습니다. 이에 대한 내용을 정리하여 포스팅으로 공유하고자 합니다.   🫛 Git Upstream과 Git Origin 개념로컬 개발환경에서 원격 저장소와 연결해 개발을 할 때, Origin과 Upstream 이라는 개념이 등장합니다.둘 다 원격 저장소(remote repository)를 가리키는 이름입니다.어떤 원격 저장소를 가리..

머신러닝 파이프라인의 데이터 흐름과 처리 과정Uber ML Platform 다이어그램을 통해 실시간 데이터와 배치 데이터가 각각 어떻게 처리되고, 모델 학습 및 배포 과정에서 어떻게 사용되는지 알아보자. 1. 데이터 획득(Get Data):- Kafka: 실시간 데이터 스트리밍 소스로부터 데이터를 수집한다.- Data Lake: 대규모 배치 데이터(비실시간 데이터)를 저장하는 저장소이다.  2. 데이터 처리(Data Processing):- Flink Streaming: Kafka에서 데이터가 수집된 후 처리되는 곳이다. 실시간 데이터 스트리밍 처리를 담당하며, 처리된 데이터는 Realtime Feature Store에 저장된다.- Spark ETL: 배치 데이터를 처리하여 Batch Feature St..