什么是ETL，ETL工程师的主要工作职责是什么？
什么是ETL，ETL工程师的主要工作职责是什么？
－－－－－
网友解答：
－－－－－
ETL是什么
ETL一共有三个阶段，分别是Extraction 抽取，Transformation 转换，Loading 加载。从不同数据源抽取数据 EXTRACTION ，按照一定的数据处理规则对数据进行加工和格式转换 TRASFORMATION，最后处理完成的输出到目标数据表中也有可能是文件等等，这个就是 LOADING。
ETL - 派可数据商业智能BI可视化分析平台
再通俗一点讲，ETL 的过程就跟大家日常做菜一样，需要到菜市场的各个摊位买好菜，把菜买回来要摘一下，洗一洗，切一切最后下锅把菜炒好端到饭桌上。菜市场的各个摊位就是数据源，做好的菜就是最终的输出结果，中间的所有过程像摘菜、洗菜、切菜、做菜就是转换。
－－－－－
网友解答：
－－－－－
我个人平时工作有40%的工作是ETL,主要是从各种系统里面用不同的语言和方法抓数据，以满足各种商业场景需求。
简单来说，如果把数据分析类比成做菜，
ETL
相当于
备菜
。
备菜不是个容易的事，
首先，你要熟悉做这道菜的原料，比如，鸡丁，花生，葱，姜，辣椒等。哪里买，怎么运输过来。
其次，你要会用刀，砧板，碗等工具和器材来处理这些食材。
再次，你要知道鸡丁切多大，葱花多碎等。
最后，把所有准备好的材料递给主厨即可。
上面的比喻有点烂，不过意思比较接近。真实的商业场景要复杂许多，但是基本的东西无外乎：
1，理解用户对数据的需求，比如你要知道那些数据是可以抓出来的，哪些不可以。哪些数据需要很久，哪些很快。
2，会用数据库和编程语言进行数据抓取，比如Redshift，SQL, JS, Python
3，好的商业和技术直觉，这个比较难。就是不被用户牵着鼻子走，或者建立一些automation的东西来增加效率。
个人觉得，ETL是一个非常重要，非常基础的过程。是一个事半功倍的步骤。很多公司都在招ETL工程师。而且目前大数据，AI, Data Science这些概念特别火，其实万变不离其宗，ETL是其中的一宗。
------------------
推荐阅读：
下一篇： 担任过国家副总理的开国将帅有哪些？
