大数据随记

后续可能有大数据项目，先随便看了点东西，不一定准确，先记录下来，有的可能过时了，不过问题不大。

介绍了几个大数据的框架，很多都听说过，不过没有实际用过。

比上面的稍微详细一点

Kylin，Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。

BI，一般指商业智能。商业智能（Business Intelligence，简称：BI），又称商业智慧或商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。

亚秒的意思应该就是不到一秒。

Spark作为计算引擎，是和MapReduce做比较的，不会直接和hadoop做比较。

Spark减少落盘，提交效率，Spark计算模型多，模糊了mapper和reducer的界限，更容易使用。

spark中的streaming和flink是一类技术。