1 驱动日志——问题原因

如任务因为超过最大试错次数spark.task.maxFailures导致失败等。

理解：通常可作为问题诊断的出发点。

此案例的原因为执行器失联。

1 系统环境

1 统计聚合函数除以零问题

统计聚合函数：std, stddev, stddev_samp, variance, var_samp, skewness, kurtosis, covar_samp, corr

版本<3.1, 返回nan；版本="">=3.1，返回NULL。

返回NaN设置spark.sql.legacy.statisticalAggregate为true。

适用于版本日期20210711。

1 使用非根用户管理

Docker Daemon与Unix Socket绑定，默认以root用户运行。

适用于版本20.10.7

1 概览

用于定义和运行多容器应用的工具。

适用于版本日期20210710

适用于版本日期20210710。

OverlayFS是一个现代的union filesystem，相较AUFS更加简单高效。Docker提供了两个版本：overlay和overlay2（推荐）。

适用于版本日期20210710。

1 前提

(1) 系统要求

• CentOS版本>=7

• 启用centos-extras仓库。

  1 2	# 查看启用repo yum repolist

• 推荐使用overlay2存储驱动。

适用于版本1.21.2

1 环境推荐

• K8s cluster
• kubectl

推荐使用具有两个节点的集群。或者使用minikube等测试环境。

适用于版本1.21.2

1 安装

注意：kubectl应该与cluster保持在正负1个小版本的差距内。