阿里云NoSQL X-Pack如何做到在线存储及计算一体？，阿里巴巴X阿拉丁本子
大数据处理的挑战
随着企业数据的逐渐积累增多，数据架构从单节点的关系型数据库，演进到分库分表，再演进到NoSQL及hadoop生态。hadoop生态百花齐放，没有统一的架构标准，目前用的比较多的是Lambda架构，该架构主要特点为流计算、批处理、在线存储独立的，通过pipline来连接。
大数据Lambda架构比较复杂，流、批、在线存储需要独立建设，同时需要构建数据pipline来做数据交换流动。
- 数据写入：批处理、流处理、在线存储需要分别写入数据。一方面流及批两层需要独立写入数据，同时很多大数据业务数据也会直接写入mongoDB、Cassandra、HBase、Redis等NoSQL系统这样的在线存储系统。
- 数据交换：批处理、在线存储之间交换需要构建大量ETL批作业
- 数据质量：批处理、流处理、在线存储需要分别写入数据，会导致数据维护繁琐，
本站文章为和通数据库网友分享或者投稿，欢迎任何形式的转载，但请务必注明出处.
同时文章内容如有侵犯了您的权益，请联系QQ：970679559，我们会在尽快处理。