Hadoop 怎么了，大数据路在何方，
和通数据库号资讯：【点击查看更多行业资讯】
在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！
近期 Hadoop 消息不断，众说纷纭。本文以 Hadoop 的盛衰变化为楔子聊下大数据分析的发展现状和未来趋势。
15 秒钟简缩版：
(1).Hadoop
- 巅峰已过，正在成为遗留系统
- Hadoop 和分布式数据库在同一个赛道上，Hadoop 在这个赛道上目前并无优势
(2).大数据 - 大数据市场是 SQL 市场，是分布式数据库市场
- 基础分析如 BI、交互查询等技术已经成熟
- 高级分析（机器学习）下沉，向数据库内嵌分析方向发展
- 高级分析（机器学习）主要问题不在分析而在数据本身
1. Hadoop 巅峰已过几多年，正在成为遗留系统
自 2015 年开始 Hadoop 暴露出诸多问题引起注意。随后 Gartner、IDG 等公司分析师、Hadoop 用户和 Hadoop 和大数据圈内人士越来越多的反映出各种问题。
究其原因，主要如下：
- Hadoop 栈过于复杂，组件众多，集成困难，玩转代价过高
- Hadoop 创新速度不够（或者说起点过低），且缺乏统一的理念和管控，使得其众多组件之间的集成非常复杂
- 受到 Cloud 技术的冲击，特别是类 S3 对象存储提供了比 HDFS 更廉价、更易用、更可伸缩的存储，撬动了 Hadoop 的根基 HDFS
- 对 Hadoop 期望过高，Hadoop 发迹于廉价存储和批处理，而人们期望 Hadoop 搞定大数据所有问题，期望不匹配造成满意度很低
- 人才昂贵，且人才匮乏
Hadoop 巅峰已过成为行业事实，本文不打算在这个问题上继续论证。有兴趣的读者可以参考网上的诸多评论，甄选了一些笔者觉得有参考价值或沾边的文章罗列如下（从标题可以感觉到浓厚的萧瑟之气）：
- Hadoop 还有没有前途？Hadoop 发展历史和未来方向解读
- Hadoop 气数已尽：逃离复杂性，拥抱云计算
- 超越云计算：对数据库管理系统未来的思考
- Big Data Is Still Hard. Here’s Why
- Big Data Will Get By (but only with a little help from its friends)
- Cloudera and Hortonworks merger means Hadoop’s influence is declining
- From data ingestion to insight prediction: Google Cloud smart analytics accelerates your business transformation
- Hadoop is Dead. Long live Hadoop (中文翻译：Hadoop 已死，Hadoop 万岁)
- Hadoop Has Failed Us, Tech Experts Say
- Hadoop Past, Present, and Future
- Hadoop: Past, present and future（又一个）
- Hadoop runs out of gas
- Hadoop Struggles and BI Deals: What’s Going On?
- Hitting the Reset Button on Hadoop
- Is Hadoop officially dead
- Mike Olson on Zoo Animals, Object Stores, and the Future of Cloudera
- More turbulence is coming to the big-data analytics market in 2019
- Object and Scale-Out File Systems Fill Hadoop Storage Void
- The Decline of HADOOP and Ushering An Era of Cloud
- The elephant’s dilemma: What does the future of databases really look like?
- The Future of Database Management Systems is Cloud!
- The history of Hadoop
- Why is Hadoop dying?
Ok，如果你和我一样，把上面所有文章都读了一个遍，说明你确实对这个问题很感兴趣。发邮件
给我（yyao AT pivotal DOT io），请你喝酒细聊 ;)
Hadoop 是否还能重振雄风？Hadoop 若要重回大数据的中心，需要的是信心和时间，然而现在 Hadoop 最缺的恰恰是信心和时间。业界已经给了 Hadoop 十多年的时间，不管什么原因，Hadoop 没有很好的解决大数据的问题，甚至没有很好的解决大数据的基本问题。人们很难相信再给它十年时间就可以搞定。随着问题暴露面越来越广，业界对 Hadoop 的信心逐渐大幅下滑。同样紧要的是，和十多年前没有选择不同，现在业界有多种大数据方案（特别是开源方案）可供选择。
然而这并不意味着 Hadoop 会消失，经过十多年的发展，现在全球部署有很多 Hadoop 集群，这些遗留资产及其衍生需求会持续相当一段时间。Hadoop 的根基 HDFS 受到对象存储挑战，在公有云上已经败下阵来，在企业内部暂时会保住守势，然而随着云厂商进入企业级市场，很快也会面临极大挑战。Hadoop 也在向对象存储发展，将来或许有望成为多种对象存储解决方案中的一个候选项，然而可以肯定的是 Hadoop 不再是讨论的中心。
HortonWorks 联合创始人、CPO，现任 Cloudera CPO Arun C Murthy 于 2019 年 9 月 10 日发文表示： The old way of thinking about Hadoop is dead — done, and dusted. Hadoop as a philosophy to drive an ever-evolving ecosystem of open source technologies and open data standards that empower people to turn data into insights is alive and enduring. （来自微信