2017/4/6StackEdit–Editorhttps://stackedit.io/editor1/15大数据浪潮下的前端工程师马云曾经说过『人类正从IT时代走向DT时代』。正如他说言，今天几乎所有的互联网公司背后都有一支规模庞大的数据团队和一整套数据解决方案作决策，这个时代已经不是只有硅谷巨头才玩数据的时代，是人人都在依赖着数据生存，可以说如今社会数据价值已经被推到前所未有的高度。我作为一名前端工程师，在阿里巴巴数据团队工作多年，深入了解数据生产加工链路与产品化。我们这群前端是与界面最近的工程师们，似乎与数据离得很远，对于我们来说与数据有些怎样连接呢。完整数据链路首先，我用直观的一张图绘制出数据采集到产出的流程，中间省略技术细节。业界常提到的Hadoop、Spark、Druid都在用户侧的下方，也就是数据研发与数据挖掘职能的工作。相对于前端职能而言，一定是与输出终端相关，包括本职工作数据类产品的GitChat2017/4/6StackEdit–Editorhttps://stackedit.io/editor2/15研发，如阿里指数或百度指数这样的数据展示型产品，还有较为复杂的BI工具等，细分起来，最特别的工作应该是数据采集和数据可视化的工作。但到今天而言，数据研发工程师已经很难说只精通其中一种技术。任何一环深入下去都涉及到整条链路的打通，我就从数据采集、数据可视化、数据产品研发到人工智能几个板块来写写我的体会与经验。数据采集过去还是流量为王的年代，流量就意味着钱，互联网都用着简单粗爆的方式导流。在过去做过站长的对数据采集已然不陌生，包括著名的第三方平台CNZZ（现友盟+）和googleanalytics两个平台几乎都使用过。基本原理Web端的数据采集的链路从客户端或后端开始一直到存储结束。因此，数据采集这个动作涉及到了前端、客户端、数据研发、产品经理等职位的参与。在这个过程中，前端工程师的工作集中在不同客户端上（PC、iOS、Android）的信息收集及埋点上。再说到采集应用信息这件事，系统可以采集到的信息越丰富，那么数据可分析的内容就越多。数据采集在Web端可以分为几个步骤，包括前端JS加载，触发事件时收集各种浏览器端的信息，根据用户行为上报日志服务器。Web端的数据采集可以收集哪些信息呢？这是一件同时带有『用户体验』和『业务反馈』的工作。为什么这么说呢？UX设计师和前端工程师都非常关注用户体验反馈，而用户体验反应在界面上可以表现为习惯性的浏览轨迹，点击热区等。一般可以采样一部分用户的行为来分析，比如发起一次纯交互改版后，我们需...
