KM

用户访问session分析项目总结

手头数据 用户访问行为数据，字段包括了：date,user_id,session_id,page_id,action_time,search_keyword,click_category_id,click_product_id, order_category_ids,order_product_ids,pay_category_ids,pay_product_ids,city_id 用户...

Posted by BY KiloMeter on April 7, 2019

《数据仓库工具箱 维度权威建模指南 第三版》读书笔记

第一章 数据仓库和商业智能(DW和BI)的目标 1、DW/BI系统首先要能方便地存取数据 2、DW/BI必须以一致的形式展示信息。具体体现在，对于不同性能度量参数，具有不同的名称。 3、DW/BI系统必须能够适应变化。当业务发生变化时，已存在的数据和应用不能被破坏。 4、DW/BI系统必须能够及时展示信息。 5、DW/BI中的数据必须有安全保障措施。 6、DW/BI必须成为提高...

Posted by BY KiloMeter on March 24, 2019

计算机网络之运输层

运输层为不同主机上的应用进程之间提供了逻辑通信 运输层将从应用层传过来的报文转换层运输层报文段，实现方法是将应用报文划分成较小的块，并为每块加上一个运输层首部生成运输层报文段。 运输层协议有TCP和UDP，协议能够提供的服务受制于底层网络层协议的服务模型，假设如果网络层协议之间无法为主机提供时延或带宽保证的话，运输层协议也就无法为进程之间报文的传输提供保证。 网络层协议叫做IP，即网际...

Posted by BY KiloMeter on March 23, 2019

Java动态代理

Java的代理在很多方面都有所应用，比较有名的就是Spring AOP，底层的实现就是使用的动态代理，Java中动态代理的实现由两种，分别是JDK动态代理和CGlib动态代理，下面就介绍下这两种代理的区别和优缺点。 介绍动态代理之前，先介绍下无代理和静态代理。 无代理 //定义接口 public interface person { void eat(String food);...

Posted by BY KiloMeter on March 22, 2019

《计算机网络 自顶向下方法》第二章课后习题答案

复习题 2.1节 R1、列出5中非专用的因特网应用及它们所使用的应用层协议。 Web应用和HTTP协议 电子邮件应用和SMTP 因特网目录服务DNS和DNS协议 P2P应用和P2P协议 远程终端访问和Telnet 文件传输和FTP R2、网络体系结构与应用程序体系结构之间有什么区别 网络体系结构指的是通信系统的整体设计，即指五层结构 应用程序体系结构由程序开发者设计和规...

Posted by BY KiloMeter on March 18, 2019

SparkSQL应用

Hive是将HQL语句转换成MR程序，简化了程序的编写，SparkSQL能转换成RDD，同样是简化程序的开发。 SparkSQL提供了两个新的数据抽象，分别是DataFrame(Spark1.3)和DataSet(Spark1.6) DataFrame DataFrame与RDD相比，DataFrame更想是一张数据库表，除了知道表中数据以外，还能知道数据的结构信息 从上图可以明...

Posted by BY KiloMeter on March 15, 2019

《kafka权威指南》读书笔记2

第五章 深入kafka kafka集群中，broker的注册都是在zookeeper上进行的，每当有broker加入集群时，都会在zookeeper上注册一个临时节点/brokers/ids,当broker发生宕机，长时间垃圾回收停顿时，会断开和zookeeper的连接，zookeeper会删除该broker的临时节点，移除集群，并通知kafka该节点已退群。 关闭broker时，也会删...

Posted by BY KiloMeter on March 14, 2019

《kafka权威指南》读书笔记1

第一章 初识kafka kafka的消息通过主题进行分类，主题就好比于数据库中的表，主题可以分为若干个分区，每次写入消息时，消息会被均衡地分布到所有的分区上，因此这样会导致在读取消息时无法保证所有消息的顺序，但是在单个分区中的消息是顺序的。 在写入数据的时候，也可以选择把消息写到指定的分区上，这个可以根据消息键和分区器实现。 消费者读取数据时，按照分区的数据写入顺序进行读取，通过检查消...

Posted by BY KiloMeter on March 13, 2019

kafka环境搭建

首先要安装zookeeper，可以看这篇 Zookeeper环境的搭建以及简单测试 zookeeper启动无异常后，先下载kafka，解压后修改配置文件 kafka安装目录/config/server.properties 首先该修改broker.id，集群中每台服务器代表一台broker，集群中的broker.id是唯一的，最好和zookeeper的myid保持一致吧，这样的话比较...

Posted by BY KiloMeter on March 13, 2019

虚拟机集群搭建

系统安装 1、新建虚拟机 下一步内存给分配1G 后面的全部使用默认设置 现在创建虚拟硬盘 VDI 动态分配 这里要改变下虚拟机的虚拟文件位置，默认是放在C盘下面的。 创建完后，选中虚拟机，点击设置，设置网卡,改成桥接网卡 启动虚拟机，选择镜像文件 选择skip 语言选择english， 选择默认的选项 选择yes，抛弃所有文件数据。 ...

Posted by BY KiloMeter on March 10, 2019

ABOUT ME

✉️ zhouyimiankm@gmail.com