Hoey
  • 主页
  • 归档
  • 分类
  • 标签
  • 关于
  •   
  •   

IDEA 无法创建 scala

IDEA 无法创建Scala class 找到根目录下的 spark.iml在里面添加 1<orderEntry type="library" name="scala-sdk-2.12.6" level="application" />
2019-03-21
其他
#问题总结

ClouderaManager操作指南

作者 : 张帅 1 前言构建企业级别的大数据平台不是一件简单的事情,要从多个方面进行考虑,如硬件环境、软件环境。Hadoop生态圈的产品众多,部署、安装、运维、监控等工作异常琐碎,尤其当某个组件出现问题,由于机器的数量、组件的分布情况,往往会使得运维人员无从下手。 目前市面上Hadoop的发型版本主要有三种: 1. Apache Hadoop 2. CDH(Cloudera Distributio
2019-03-19
大数据
#CDH

用户行为指分析

1. 概述构件企业级别的大数据平台并不是一件容易的事情,起步阶段要想的全面一些,从多个方面进行考虑。例如关于硬件环境?Hadoop生态圈的产品众多,到底要选择那些组件?另外部署、安装、运维、监控等工作异常繁琐,怎么解决后期管理问题?针对这些问题,下面从软硬件、后期运维和业务的角度来阐述详细规划。 2. 软件支持1) 首先我们说说关于Hadoop的发行版,目前Hadoop的发行版主要有三种,我们怎么
2019-03-15
大数据

二叉数(三)

下面使用Java实现中序非递归遍历二叉树,开始之前我们先梳理一下它的执行逻辑。 申请一个桟记为stack.初始化一个指针cur指向头节点。 以头节点为起始,将树的整个左边界压入到桟中。及不断的另cur=cur.left,重复步骤2 如果cur.left为空,弹出stack桟顶元素,并打印桟顶元素的值,桟顶元素记为node,另cur=node.right重复步骤2 直到cur指
2019-03-11
算法与数据结构

二叉树(二)

下面使用Java实现先序非递归遍历二叉树,开始之前我们先梳理一下它的执行逻辑。 首先申请一个新的桟,记为stack。 每次将头节点head压入stack中 每次从stack中弹出桟顶节点,记为cur,然后打印cur节点的值。如果cur右孩子不为空的话,将cur的右孩子先压入stack中。最后如果cur的左孩子不为空的话,将cur的左孩子压入stack中。 不断重复步骤3,直到stack为空,全部
2019-03-10
算法与数据结构

二叉树(一)

树是在实际编程中经常遇到的数据结构,它的逻辑很简单:除了根节点以外,每个节点只有一个父节点,根节点没有父节点;除了叶节点之外所有节点都有一个或多个子节点,叶节点没有子节点。 树的前、中、后序遍历是比较基础,同时也是必须要掌握的几个点,它们分别有递归、和非递归的解法。递归相对简单一点,非递归相对复杂一些。 下面用Java语言分别实现树的前、中、后序递归遍历,另外这边拓展(递归创建二叉树、求树的深度)
2019-03-09
算法与数据结构

搭建日志收集服务器

业务目标:前台报表需要按项目ID、按同IP下的不同用户进行统计,所以这里就不能再使用nginx日志了。为了解决这一问题,搭建日志收集服务器。 1.安装依赖 1yum -y install gcc perl pcre-devel openssl openssl-devel 2.上传LuaJIT-2.0.4.tar.gz并安装LuaJIT 123tar -zxvf LuaJIT-2.0.4.tar.
2019-01-24
大数据
#Flume

实时告警系统(二)

下面记录环境搭建过程,以及其中遇到的困难,方便后续查询。 概述准备3台centos6.7 :storm1(192.168.1.19)、storm2(192.168.1.20)、storm3(192.168.1.21) 所需要的组件:jdk8、zookeeper、kafka、redis、storm 1.创建虚拟机这一步创建三台虚拟机,我这边使用的是virtualbox,你也可以使用VM虚拟机。 安装
2018-12-06
大数据
#Storm

实时告警系统(一)

&emsp;今天经理告诉小明(程序员),你做的功能为啥不能用了?于是小明,联系小红童鞋(运维)说你帮我看看线上日志呗,小红童鞋用SSH链接到生产环境,打开后台日志,一看发现确实抛了一个异常,原因是数据库字段太短,数据存不进去,之后事情就这么愉快的解决了!一次两次还好,如果时间久了,你就得一直麻烦小红童鞋帮这看看日志。而且经理他们只看结果,根本不管你是什么问题导致的,长期下来就会对你的能力有
2018-12-03
大数据
#Storm

VirtualBox安装CentOS6.7

1.安装新建虚拟机环境,由于VBox环境没有CentOS的选项,所以可以选择Red Hat Linux(64Bit) 动态分配硬盘大小所以你可以选择大一点的硬盘空间(不用的话不会占用的,但是C盘性能上没固定的好) 在VBOX主界面,选择刚刚新建的CentOS64,点击启动。 选择第二项,安装操作系统 选择Skip 选择服务器类型为Basic Server
2018-12-02
大数据
1…678910…19

Search

Hexo Fluid