Hopeful Nick


  • 首页

  • 标签

  • 归档

  • 关于

使用kubeconfig

发表于 2021-07-08 | 分类于 Kubernetes |

适用于版本1.21.2

1 文件路径

kubectl查找在$HOME/.kube路径下的名为config的文件。还可以通过设置环境变量KUBECONFIG和参数 --kubeconfig 。

阅读全文 »

Spark Datasource V2

发表于 2021-06-16 | 分类于 Spark |

1 职责

读写外部数据

阅读全文 »

Spark Datasource V2

发表于 2021-05-26 | 分类于 Spark |

V1局限

  • 依赖上层API,如SQLContext和DataFrame
  • 内部的数据列表达没有直接应用,增加连接器中的数据转换工作
  • 外部数据源无法像内部数据源一样传递分区信息给引擎
  • 数据写接口不支持事务
  • 仅支持过滤和列裁剪下推
阅读全文 »

Docker Swarm

发表于 2021-05-04 | 分类于 Docker |

适用于版本1.12

1 总览

原生管理Docker集群。

阅读全文 »

Spark on k8s

发表于 2021-05-04 | 分类于 Spark |

适用于版本3.1.2

1 安全

默认关闭。详见Spark Security

阅读全文 »

Hadoop on Docker

发表于 2021-05-03 | 分类于 Hadoop |

适用于版本3.3.0

1 总览

The Linux Container Executor (LCE)允许在物理机或Docker镜像中运行YARN节点。

阅读全文 »

Spark SQL源码小记

发表于 2021-04-29 | 分类于 Spark SQL |

预测模式

阅读全文 »

构建ANTLR 4

发表于 2021-04-04 | 分类于 ANTLR 4 |

1 构建

通常只需要使用运行时jar包即可。

阅读全文 »

ANTLR 4翻译器

发表于 2021-04-04 | 分类于 ANTLR 4 |

1 翻译器

Since 4.2。

对于较小的解析任务,使用翻译器更加简便。

阅读全文 »

ANTLR 4大小写不敏感词法

发表于 2021-04-04 | 分类于 ANTLR 4 |

1 解决方案

  • 构建词法规则支持大小写不敏感

    易读,但是难写且效率低

  • 词法解析前全部转换为大写

    高效,但需要注意不要转换字符串和注释

阅读全文 »
1…345…17
Hopeful Nick

Hopeful Nick

To Explore

161 日志
35 分类
42 标签
GitHub E-Mail
© 2022 Hopeful Nick
由 Hexo 强力驱动
|
主题 — NexT.Mist v5.1.4