Data Engineering 과 Data Science
결론
데이터 엔지니어링은 데이터 과학자가 사용할 수 있는 데이터를 만들어 주는 것이다.
Data Engineering, Data Science
Where does data engineering fit in with data science? There’s some debate, with some arguing data engineering is a subdiscipline of data science. We believe data engineering is separate from data science and analytics. They complement each other, but they are distinctly different. Data engineering sits upstream from data science (Figure 1-4), meaning data engineers provide the inputs used by data scientists (downstream from data engineering), who convert these inputs into something useful.
데이터 엔지니어링은 데이터 과학과 무슨 관련이 있나요? 데이터 엔지니어링이 데이터 과학 분야의 하위 분야라고 주장하는 논쟁도 있습니다. 우리는 데이터 엔지니어링과 데이터 과학과 분석은 별개라고 생각합니다. 그것들은 서로 보완하지만 분명히 다릅니다. 데이터 엔지니어링은 데이터 과학의 upstream 에 위치합니다. 즉 데이터 엔지니어는 이러한 인풋을 유용하게 변환하여 데이터 과학자(데이터 엔지니어링의 downstream) 가 사용할 입력을 제공합니다.
Joe Reis, Matt Housley. 『Fundamentals of Data Engineering』
upstream 이란 석유 시추로 예를 들면 자원 탐사, 시추, 생산까지 의미합니다.
이에 반하여 downstream 은 가공하고 상품화하는 것을 의미합니다.
