首先是数据系统的建设,数据系统是基础。从确定要进行哪些方面的数据收集开始,需要把收集到的数据进行清洗、筛选、格式转换、存入系统中,并且按照技术平台的要求,投入人力、设备等进行大数据系统的搭建。其次是数据业务建模。有了系统,就可以基于这个系统来观察数据,可以由建模人员利用其专业知识进行基于机器学习方法理论的建模,在得到一个合适的模型之后,需要把此模型放置到大数据系统中进行运行。一般来说,这个大数据系统需要有大数据工程师一起参与,将模型转换成适合在平台上运行的代码,当然逐渐地会出现很多高效率的工具来帮助这种代码化的转换。
大数据平台承载所有数据的管理,为上层应用提供数据支撑。传统的开发模式中,各个应用开发独立进行,各自沉淀自己的数据。各个应
用的数据缺乏整合,形成数据孤岛,后续无法沉淀数据资产。同时,因为没有一个统一的大数据平台,各个应用都会有自己的数据存储和计算体系,存在大量的重复建设。 以数据中台为核心的上层智能应用的开发,离不开大数据平台的支持。大数据平台提供统一的数据数据存储,计算能力。上层应用不需要再重复开发,只需要使用数据中台提供的能力。