IDEA 无法创建 scala IDEA 无法创建Scala class 找到根目录下的 spark.iml在里面添加 1<orderEntry type="library" name="scala-sdk-2.12.6" level="application" /> 2019-03-21 其他 #问题总结
ClouderaManager操作指南 作者 : 张帅 1 前言构建企业级别的大数据平台不是一件简单的事情,要从多个方面进行考虑,如硬件环境、软件环境。Hadoop生态圈的产品众多,部署、安装、运维、监控等工作异常琐碎,尤其当某个组件出现问题,由于机器的数量、组件的分布情况,往往会使得运维人员无从下手。 目前市面上Hadoop的发型版本主要有三种: 1. Apache Hadoop 2. CDH(Cloudera Distributio 2019-03-19 大数据 #CDH
用户行为指分析 1. 概述构件企业级别的大数据平台并不是一件容易的事情,起步阶段要想的全面一些,从多个方面进行考虑。例如关于硬件环境?Hadoop生态圈的产品众多,到底要选择那些组件?另外部署、安装、运维、监控等工作异常繁琐,怎么解决后期管理问题?针对这些问题,下面从软硬件、后期运维和业务的角度来阐述详细规划。 2. 软件支持1) 首先我们说说关于Hadoop的发行版,目前Hadoop的发行版主要有三种,我们怎么 2019-03-15 大数据
二叉数(三) 下面使用Java实现中序非递归遍历二叉树,开始之前我们先梳理一下它的执行逻辑。 申请一个桟记为stack.初始化一个指针cur指向头节点。 以头节点为起始,将树的整个左边界压入到桟中。及不断的另cur=cur.left,重复步骤2 如果cur.left为空,弹出stack桟顶元素,并打印桟顶元素的值,桟顶元素记为node,另cur=node.right重复步骤2 直到cur指 2019-03-11 算法与数据结构
二叉树(二) 下面使用Java实现先序非递归遍历二叉树,开始之前我们先梳理一下它的执行逻辑。 首先申请一个新的桟,记为stack。 每次将头节点head压入stack中 每次从stack中弹出桟顶节点,记为cur,然后打印cur节点的值。如果cur右孩子不为空的话,将cur的右孩子先压入stack中。最后如果cur的左孩子不为空的话,将cur的左孩子压入stack中。 不断重复步骤3,直到stack为空,全部 2019-03-10 算法与数据结构
二叉树(一) 树是在实际编程中经常遇到的数据结构,它的逻辑很简单:除了根节点以外,每个节点只有一个父节点,根节点没有父节点;除了叶节点之外所有节点都有一个或多个子节点,叶节点没有子节点。 树的前、中、后序遍历是比较基础,同时也是必须要掌握的几个点,它们分别有递归、和非递归的解法。递归相对简单一点,非递归相对复杂一些。 下面用Java语言分别实现树的前、中、后序递归遍历,另外这边拓展(递归创建二叉树、求树的深度) 2019-03-09 算法与数据结构
搭建日志收集服务器 业务目标:前台报表需要按项目ID、按同IP下的不同用户进行统计,所以这里就不能再使用nginx日志了。为了解决这一问题,搭建日志收集服务器。 1.安装依赖 1yum -y install gcc perl pcre-devel openssl openssl-devel 2.上传LuaJIT-2.0.4.tar.gz并安装LuaJIT 123tar -zxvf LuaJIT-2.0.4.tar. 2019-01-24 大数据 #Flume
实时告警系统(二) 下面记录环境搭建过程,以及其中遇到的困难,方便后续查询。 概述准备3台centos6.7 :storm1(192.168.1.19)、storm2(192.168.1.20)、storm3(192.168.1.21) 所需要的组件:jdk8、zookeeper、kafka、redis、storm 1.创建虚拟机这一步创建三台虚拟机,我这边使用的是virtualbox,你也可以使用VM虚拟机。 安装 2018-12-06 大数据 #Storm
实时告警系统(一)  今天经理告诉小明(程序员),你做的功能为啥不能用了?于是小明,联系小红童鞋(运维)说你帮我看看线上日志呗,小红童鞋用SSH链接到生产环境,打开后台日志,一看发现确实抛了一个异常,原因是数据库字段太短,数据存不进去,之后事情就这么愉快的解决了!一次两次还好,如果时间久了,你就得一直麻烦小红童鞋帮这看看日志。而且经理他们只看结果,根本不管你是什么问题导致的,长期下来就会对你的能力有 2018-12-03 大数据 #Storm
VirtualBox安装CentOS6.7 1.安装新建虚拟机环境,由于VBox环境没有CentOS的选项,所以可以选择Red Hat Linux(64Bit) 动态分配硬盘大小所以你可以选择大一点的硬盘空间(不用的话不会占用的,但是C盘性能上没固定的好) 在VBOX主界面,选择刚刚新建的CentOS64,点击启动。 选择第二项,安装操作系统 选择Skip 选择服务器类型为Basic Server 2018-12-02 大数据