一、总体设计初来公司时，公司还没有大数据，我是作为大数据架构师招入的，结合公司的线上和线下业务，制定了如下的大数据架构路线图。二、大数据任务开发和调度平台架构设计在设计完总体 ... [详细]

Spark使用小结（一）spark来源历史Spark是一种基于内存计算的大数据并行计算框架。Spark最初是2009年加州大学伯克利分校开发，2010年开源、2013年成为Apache ... [详细]

Spark内存管理再探之前写过一篇Sparkonyarn的内存管理分配,初探,这次再来深入了解它更加底层的一些东西,之前博客的连接Sparkonyarn内存管理分配初探1.静态 ... [详细]

Umi，中文可发音为乌米，是可扩展的企业级前端应用框架。Umi以路由为基础的，同时支持配置式路由和约定式路由，保证路由的功能完备，并以此进行功能扩展。然后配以生命周期完善的插件体系 ... [详细]

自从进入信息社会以来，IT技术影响着人们生活的每一个角落。在经过了数次技术革新后，大数据技术已经潜移 ... [详细]

本文由编程笔记#小编为大家整理，主要介绍了YARN环境搭建相关的知识，希望对你有一定的参考价值。mapred-site.xml<property> ... [详细]

SparkEnv是Spark的执行环境对象，其中包括众多与Executor执行相关的对象。由于local模式下Driver会创建Executor，而cl ... [详细]

2019独角兽企业重金招聘Python工程师标准Hadoop和Spark方面要记住的最重要一点就是，它们并不是非此即彼的关系，因为它们不是相互排斥 ... [详细]

桔妹导读：在滴滴SQL任务从Hive迁移到Spark后，SparkSQL任务占比提升至85%，任务运行时间节省40%，运行任 ... [详细]

在Element Plus里，Icon图标的用法和以前不一样了，本文主要介绍了Element Plus的el-icon怎么用，具有一定的参考价值， ... [详细]

自定义简单的脚手架工具-引子在前端项目中，脚手架可以理解为自动为我们创建项目基础文件的一种工具。除了创建文件外，更重要的是提供给开发者一些约定和规范。通常在去开发相同类型的项目时 ... [详细]

ES2017+，你不再须要纠结于庞杂的构建东西手艺选型。也不再须要gulp,grunt,yeoman,metalsmith,fis3。以上的这些构建东西，能够脑海中永久划掉。100 ... [详细]