基于Spark的网站浏览数据统计与分析
使用spark对网站的浏览情况进行统计分析，生成数据会输出到HDFS上。这边使用的数据源文件是nginx日志。tmp.log ngnix的access.log的格式,摘抄部分日志 12345678910111213141516127.0.0.1 - - [05/Sep/2018:23:18:22 +0800] "GET /4DAnalog/clashreport/delete HTTP/
spark集群搭建
这边使用VM创建3台cor1、cor2、cor4虚拟机，配置好网络、关闭防火墙之类的就不多详述、到spark官网下载程序包spark-1.6.1-bin-hadoop2.6 需要注意的是虚拟机内存不能分配的太小，不然会导致启动失败。(这边也在考虑再拓展个8G内存条了，可惜现在的内存条真的是很贵。。) 我打算在cor1上启动Master，在cor2和cor4上启动Worker。分配的内存分别为(1G
scala隐式转换应用
隐式转换是scala的一个难点，下面几个案例用来帮助理解它。 案例一：想要增强某一个系统类的方法,比如为scala.reflect.io.File 添加一个read方法,实现类似下面的写法, 12val file = File(filePath)print(file.read()) 具体实现 123456789101112class RichFile(file : File) { de
virtualenv搭建
python 虚拟环境 创建虚拟环境 mkvirtualenv test 进入虚拟环境 workon test 列出所有虚拟环境 workon 离开虚拟环境 deactivate 删除虚拟环境 rmvirtualenc test
minecraft游戏插件开发
本机环境：linux下的java开发minecraft游戏插件，用maven编译打jar包。 概述正式开发之前需要准备上面提到的以外，还需要准备服务端下载链接和客户端 游戏插件开发好以后，会使用maven打成jar包，放在 服务端的 plugins 目录下即可生效。 环境搭建大致步骤: 1.创建maven项目 2.修改pom.xml文件 3.下载mincecraft服务器 4.配置mincecr
maven exclusion
怎么使用dependency exclusions我们可以在pom.xml中的<dependency> 下添加<exclusions>,像这样 1234567891011121314151617<project> ... <dependencies> <dependency> <groupId>sample
Git命令汇总
为了方便查阅，在这边做一个小结 版本回退HEAD指向的版本就是当前版本，因此，Git允许我们在版本的历史之间穿梭，使用命令git reset --hard commit_id。 穿梭前，用git log可以查看提交历史，以便确定要回退到哪个版本，类似的还有git log --pretty=online、git log --graph 要重返未来，用git reflog查看命令历史，以便确定要回到未
常用的maven插件
maven-compiler-plugin编译Java源码，一般只需设置编译的jdk版本 123456789<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <ver