OLAP计算引擎原理和实现

目录

• 1. 数据分析的重要性及OLAP引擎的角色

  • 数据分析的重要性及OLAP引擎的角色
  • 数据分析的链路
  • 大数据的历史
  • 软件系统的发展
  • SQL on Hadoop时代
  • MPP时代
  • 向量化时代
  • 未来的发展方向

• 2. SQL语法

  • 数据分析的语言接口
  • 数据模型
  • SQL
  • SQL语法
  • 本章小结

• 3. 语法分析

  • 语法分析
  • 从SQL到抽象语法树的转换过程
  • 本章小结

• 4. 逻辑执行计划

  • 抽象语法树和逻辑执行计划的区别
  • 逻辑操作算子
  • 本章小结

• 5. 基于规则的优化器RBO

  • 理论基础：代数变换定律
  • 基于规则的查询优化器
  • 优化器案例
  • 本章小结

• 6. CBO基于代价的优化器

  • CBO简介
  • CBO通用流程
  • CBO的主要使用场景
  • CBO 在join重排和join类型选择中的应用
  • CBO 的技术挑战
  • 估算错误和应对策略
  • 本章小结

• 7. 运行时优化

  • 7.1 启发式优化器
  • 7.2 可变执行计划
  • 7.3 改变并行度
  • 7.4 任务负载迁移
  • 7.5 算法动态切换
  • 7.6 其他运行时优化
  • 7.7 小结

• 8.任务调度和并行执行:

  • 8.1执行框架
  • 8.2任务调度
  • 8.3分布式算法
  • 8.4 Shared-Nothing vs Shared-Disk vs Shared-Memory
  • 8.5 指令集并行SIMD

  •  [8.6任务调度和并行计算章节小结](http://mp.weixin.qq.com/s?__biz=MzI0MDI2Mzk5Mw==&mid=2247483965&idx=1&sn=0c38c9b19b5e05a7879826dc6bdd6eca&chksm=e91c346bde6bbd7de42979033deffc8da9f722a2da6e36f351f7762694394b614bc13206f19f&scene=21#wechat_redirect)
    

• 9.LLVM与代码生:

  • 9.1物理执行计划的转化与优化
  • 9.2 LLVM的历史与普及原因
  • 9.3 LLVM与协同开发的协同性
  • 9.4 LLVM项目组成
  • 9.5 LLVM工具介绍
  • 9.6 LLVM IR 介绍
  • 9.7 IR代码数据结构
  • 9.8 LLVM-JIT
  • 9.9 向量化执行
  • 9.10 Reduction指令
  • 9.11 IR优化器
  • 9.12 LLVM在Clickhouse中的应用
  • 9.13 JIT代码缓存
  • 9.14 章节小结

• 10 SIMD指令

  • 10.1 计算加速的技术
  • 10.2 SIMD扩展指令集
  • 10.3 SIMD指令
  • 10.4 非并行指令，却能做到加速效果
  • 10.5 显式使用SIMD指令的缺点
  • 10.6 基于编译器的自动向量化
  • 10.7 小结

• 11 计算机体系结构

  • 11.1 计算机层次结构
  • 11.2 优化数据局部性
  • 11.3 避免CPU缓存失效
  • 11.4 减少内存访问
  • 11.5 减少磁盘I/O
  • 11.6 减少网络通信：
  • 11.7 加速系统性能：使用固态硬盘
  • 11.8 批量处理
  • 11.9 使用非阻塞算法
  • 11.10 避免流水线中断
  • 11.11并行计算和向量化：
  • 11.12 NUMA架构
  • 11.13 CPU绑定
  • 11.14 小结

• 12 基于存储的性能优化

  • 12.1 存储硬件
  • 12.2 存储格式
  • 12.3 编码格式
  • 1.2.4 压缩算法
  • 12.5 列存、编码和压缩算法
  • 12.6 索引技术
  • 12.7 缓存技术
  • 12.8 章节小结

• 13 模板元编程

  • 13.1 运行时代价和编译时代价
  • 模板元编程基础概念
    • 13.2模板参数
    • 13.3不定长模板参数
    • 13.4 类型推导
    • 13.5类型萃取
    • 13.6类型工具
    • 13.7基于模板的多态
  • 基于模板元编程加速计算
    • 13.8逻辑开关
    • 13.9批量生成代码
    • 13.10基于模板的计算
    • 13.11 基于模板去除虚函数调用
    • 13.12基于模板去除虚函数总结
    • 13.13 Clickhouse中模板的应用
  • 13.4 小结和参考文献

• 14 并行架构

  • 14.1 分布式OLAP架构的驱动因素
  • 14.2 并行、并发、分布式的区别
  • 14.3 并行系统的评估指标
  • 14.4 影响并行性能的核心因素
  • 14.5 网络结构
  • 14.5 网络通信设备
  • 14.7 并行架构
  • 14.8 分布式存储，分区和并行化
  • 14.9 数据本地性 vs 计算存储分离
  • 14.10 读写分离的架构
  • 14.11 多租户架构
  • 14.12 分布式调度和运行时监控
  • 14.13 调度执行
  • Presto-分布式计算架构
    • 14.14 Presto架构
    • 14.15 Presto并行化执行计划
  • 14.14 ClickHouse存储架构
  • 14.14 章节小结

• 15 OLAP现状和未来展望