概述 debug 包的对象包含了很多 debugging 查询执行计划的工具方法,例如针对 Datasets 的详细查询计划分析。可以查看表一,本文主要讲述 debug 和 debugCodegen 两个方法。 debug 包对象在 org.apache.spark.sql.execution.debug 里,如
概述 国际惯例,学习一个新的框架,应该先找找官方文档有没有 QucikStart 之类的文档,尤其像砖厂这种公司,文档应该不会少的。大家可以打开 Delta Lake 官网查看 Quic
概述 学习开源项目,另外一个重点就是看看测试用例,优秀的项目,一般会提供一些本地能跑,方便学习者深入 Debug 的测试方法。 由于 Delta Lake 刚刚开源,代码也在快
概述 在了解 Delta Lake 之前,我觉得有必要解释一下经常出现的一些名词,这里收集记录一下。如果跟我一样是菜鸡,可能你也需要看一下… 名词解释
概述 本文记录了搞清楚 Delta Lake 的读写流程的笔记,主要希望帮助老铁们高清粗 Delta Lake 是如何实现 ACID 事务的这些特性的。 事务日志的实现 探索 首先,通读 README
概述 笔者认为,在研究一个开源项目的之前,看看起依赖管理的文件,比如说 Maven 的 pom.xml 文件,或者是 Sbt 的 build.sbt 文件。 Delta Lake依赖了什么jar包 查看 build.sbt 文件,可