用户行为指分析
1. 概述
构件企业级别的大数据平台并不是一件容易的事情，起步阶段要想的全面一些，从多个方面进行考虑。例如关于硬件环境？Hadoop生态圈的产品众多，到底要选择那些组件？另外部署、安装、运维、监控等工作异常繁琐，怎么解决后期管理问题？针对这些问题，下面从软硬件、后期运维和业务的角度来阐述详细规划。
2. 软件支持
1） 首先我们说说关于Hadoop的发行版，目前Hadoop的发行版主要有三种，我们怎么选?
1 | |
Hadoop属于Apache基金会的顶级项目，Apahce版本迭代速度很快，新特性很多，相对的bug就会很多，组件与组件之间的兼容性也会很差。在实际中大部分它的使用者多为进行学术研究，喜欢爱折腾的那号人，所以这个版本不首选。
Cloudera 针对Apahce Hadoop在每个大版本变化后进行一次打包，很好的解决了系统不稳定的问题。与此同时，Cloudera公司推出的Cloudera Manager版本集群管理工具，它可以完成一键部署集群，一键拓展，监控，自动诊断等操作。最重要的是CDH的文档很丰富，解决问题的速度也会很高。目前知晓的使用此发行版的公司有：360、东方航空等，这个版本是目前首选。
HDP版本是Hortonworks公司针对Hadoop的发行版本，目前也是比较小众的一个，现阶段还处于探索发展阶段，所以不首选。
有了自动化部署Cloudera Manager ,后期运维就能轻松的多，而且里面的自动诊断功能也是相当nice！
2） 关于具体应用组件Flume、Hadoop、Kafka、Hive、Spark、Redis、Mysql、Sqlserver、Sqoop、Hue、Oozie
3. 硬件支持
配置Hadoop集群至少要求有三台Server，一台为主服务器，三台为从服务器。主服务器上会跑大量后台进程，所以主服务器的配置要远远优于从服务器。
**主服务器 ** 最少1台
| 硬件类型 | 要求 |
|---|---|
| OS | linux |
| 硬盘 | 1~4TB |
| CPU | 2个频率为2~2.5GHz的四核或六核 |
| 内存 | 16~32GB |
**从服务器 **最少两台
| 硬件类型 | 要求 |
|---|---|
| OS | linux |
| 硬盘 | 1~2TB |
| CPU | 2个频率为2~2.5GHz的四核或六核 |
| 内存 | 4~16GB |
4. 如何进行网站流量分析
下面对平台初期统计指标做一个梳理，另外会介绍一下统计指标的方向。
4.1 指标举例
需求：今日，昨天，前天 所有来访者，平均请求的页面数
需求：按照来源及时间维度统计PVS，并按照PV大小倒序排序
需求：按照时间维度，比如，统计一天内各小时产生最多pvs的来源topN
需求：统计每日最热门的功能top10
需求：按照时间维度比如小时来统计独立访客及其产生的pv
需求：将每天的新访客统计出来
需求：查询今日所有回头访客及其访问次数
需求：统计出每天所有用户访问网站的平均次数
需求：回头/单次访客的访问比重，比如当日回头客占比
需求：人均访问频度
需求：漏斗模型统计，以模型上传业务来评估模型转化设计的合理性。
1 | |
除了上面一些指标以外，可以从下面方向入手，发掘一些有价值的数据报表。部分参考《网站分析实战——如何以数据驱动决策，提升网站价值》 王彦平，吴盛锋编著
4.2 关于统计统计方向
1） 基础分析（PV,IP,UV）
趋势分析：根据选定的时段，提供网站流量数据，通过流量趋势变化形态，为您分析网站访客的访问规律、网站发展状况提供参考。
对比分析：根据选定的两个对比时段，提供网站流量在时间上的纵向对比报表，帮您发现网站发展状况、发展规律、流量变化率等。
当前在线：提供当前时刻站点上的访客量，以及最近15分钟流量、来源、受访、访客变化情况等，方便用户及时了解当前网站流量状况。
访问明细：提供最近7日的访客访问记录，可按每个PV或每次访问行为（访客的每次会话）显示，并可按照来源、搜索词等条件进行筛选。 通过访问明细，用户可以详细了解网站流量的累计过程，从而为用户快速找出流量变动原因提供最原始、最准确的依据。
2)来源分析
来源分类：提供不同来源形式（直接输入、搜索引擎、其他外部链接、站内来源）、不同来源项引入流量的比例情况。通过精确的量化数据，帮助用户分析什么类型的来路产生的流量多、效果好，进而合理优化推广方案。
搜索引擎：提供各搜索引擎以及搜索引擎子产品引入流量的比例情况。从搜索引擎引入流量的的角度，帮助用户了解网站的SEO、SEM效果，从而为制定下一步SEO、SEM计划提供依据。
搜索词：提供访客通过搜索引擎进入网站所使用的搜索词，以及各搜索词引入流量的特征和分布。帮助用户了解各搜索词引入流量的质量，进而了解访客的兴趣关注点、网站与访客兴趣点的匹配度，为优化SEO方案及SEM提词方案提供详细依据。
最近7日的访客搜索记录，可按每个PV或每次访问行为（访客的每次会话）显示，并可按照访客类型、地区等条件进行筛选。为您搜索引擎优化提供最详细的原始数据。
来路域名：提供具体来路域名引入流量的分布情况，并可按“社会化媒体”、“搜索引擎”、“邮箱”等网站类型对来源域名进行分类。 帮助用户了解哪类推广渠道产生的流量多、效果好，进而合理优化网站推广方案。
来路页面：提供具体来路页面引入流量的分布情况。 尤其对于通过流量置换、包广告位等方式从其他网站引入流量的用户，该功能可以方便、清晰地展现广告引入的流量及效果，为优化推广方案提供依据。
来源升降榜：提供开通统计后任意两日的TOP10000搜索词、来路域名引入流量的对比情况，并按照变化的剧烈程度提供排行榜。 用户可通过此功能快速找到哪些来路对网站流量的影响比较大，从而及时排查相应来路问题。
3) 受访分析
受访域名：提供访客对网站中各个域名的访问情况。 一般情况下，网站不同域名提供的产品、内容各有差异，通过此功能用户可以了解不同内容的受欢迎程度以及网站运营成效。
受访页面：提供访客对网站中各个页面的访问情况。 站内入口页面为访客进入网站时浏览的第一个页面，如果入口页面的跳出率较高则需要关注并优化；站内出口页面为访客访问网站的最后一个页面，对于离开率较高的页面需要关注并优化。
受访升降榜：提供开通统计后任意两日的TOP10000受访页面的浏览情况对比，并按照变化的剧烈程度提供排行榜。 可通过此功能验证经过改版的页面是否有流量提升或哪些页面有巨大流量波动，从而及时排查相应问题。
热点图：记录访客在页面上的鼠标点击行为，通过颜色区分不同区域的点击热度；支持将一组页面设置为”关注范围”，并可按来路细分点击热度。 通过访客在页面上的点击量统计，可以了解页面设计是否合理、广告位的安排能否获取更多佣金等。
用户视点：提供受访页面对页面上链接的其他站内页面的输出流量，并通过输出流量的高低绘制热度图，与热点图不同的是，所有记录都是实际打开了下一页面产生了浏览次数（PV）的数据，而不仅仅是拥有鼠标点击行为。
访问轨迹：提供观察焦点页面的上下游页面，了解访客从哪些途径进入页面，又流向了哪里。 通过上游页面列表比较出不同流量引入渠道的效果；通过下游页面列表了解用户的浏览习惯，哪些页面元素、内容更吸引访客点击。
4) 访客分析
地区运营商：提供各地区访客、各网络运营商访客的访问情况分布。 地方网站、下载站等与地域性、网络链路等结合较为紧密的网站，可以参考此功能数据，合理优化推广运营方案。
终端详情：提供网站访客所使用的浏览终端的配置情况。 参考此数据进行网页设计、开发，可更好地提高网站兼容性，以达到良好的用户交互体验。
新老访客：当日访客中，历史上第一次访问该网站的访客记为当日新访客；历史上已经访问过该网站的访客记为老访客。 新访客与老访客进入网站的途径和浏览行为往往存在差异。该功能可以辅助分析不同访客的行为习惯，针对不同访客优化网站，例如为制作新手导航提供数据支持等。
忠诚度：从访客一天内回访网站的次数（日访问频度）与访客上次访问网站的时间两个角度，分析访客对网站的访问粘性、忠诚度、吸引程度。 由于提升网站内容的更新频率、增强用户体验与用户价值可以有更高的忠诚度，因此该功能在网站内容更新及用户体验方面提供了重要参考。
活跃度：从访客单次访问浏览网站的时间与网页数两个角度，分析访客在网站上的活跃程度。 由于提升网站内容的质量与数量可以获得更高的活跃度，因此该功能是网站内容分析的关键指标之一。
5) 转化路径分析
转化定义:访客在您的网站完成了某项您期望的活动，记为一次转化，如注册或下载。
目标示例
获得用户目标：在线注册、创建账号等。
咨询目标：咨询、留言、电话等。
互动目标：模型转化、模型分享等。
收入目标：购买简约版、付款等。
转化数据的应用
在报告的自定义指标中勾选转化指标，实时掌握网站的推广及运营情况。
结合“全部来源”、“转化路径”、“页面上下游”等报告分析访问漏斗，提高转化率。
对“转化目标”设置价值，预估转化收益，衡量ROI。
路径分析：根据设置的特定路线，监测某一流程的完成转化情况，算出每步的转换率和流失率数据，如注册流程，购买流程等。