ITeye博客

小程故事多

flychao88 · 共 160 篇文章

[置顶] 关于后续文章说明,请大家移足查看

大家好,关于博客的内容,后续主要在如下地址中进行发表,这里的博客只是作为同步记录使用,有可能图片会不能显示出来,请大家移足到这里查看,谢谢。 http://www.jianshu.com/users/a9b2d43bb94e/latest_articles http://blog.csdn.net/u013970991?viewmode=contents

2016-04-13 16:04 · 评论(0)

[置顶] 关注头像二维码,可以了解更多大数据技术与分享

学习大数据,数据挖掘请关注小象学院公众号二维码!!

2016-03-14 16:05 · 评论(0)

博客迁移到csdn和简书了

简书:http://www.jianshu.com/u/a9b2d43bb94e csdn博客:http://blog.csdn.net/u013970991/

2017-05-08 11:05 · 评论(0)

深入淘宝Diamond之客户端架构解析

说明:本文不介绍如何使用Diamond,只介绍Diamond的实现原理 一、什么是Diamond diamond是淘宝内部使用的一个管理持久配置的系统,它的特点是简单、可靠、易用,目前淘宝内部绝大多数系统的配置,由diamond来进行统一管理。 diamond为应用系统提供了获取配置的服务,应用不仅可以在启动时从diamond获取相关的配置,而且可以在运行中对配置数据的变化进行感知并获取变化后的配置数据。 持久配置是指配置数据会持久化到磁盘和数据库中。 二、Diamond的特点 简单:整体结构非常简单,从而减少了出错的可能性。 可靠:应用方在任何情况下都可以启动,在承载淘宝核心系统并正常运行…

2016-04-12 23:11 · 开源工具总结 · 评论(1)

玩转Flume之核心架构深入解析

玩转Flume之核心架构深入解析 字数2224 阅读29 评论0 喜欢0 前段时间我们分享过 玩转Flume+Kafka原来也就那点事儿 和 Flume-NG源码分析-整体结构及配置载入分析 这二篇文章,主要介绍了flume的简单使用和配置文件加载的全过程,那么今天我们重点分析flume核心原理,从而了解Source、Channel和Sink的全链路过程。 一、Flume架构分析 F7C59934-2C22-4F45-BE12-FCC9BB2A1708.png 这个图中核心的组件是: Source,ChannelProcessor,Channel,Sink。他们的关系结构如下: Source…

2016-04-01 15:46 · Flume · 评论(0)

Flume-NG源码分析-整体结构及配置载入分析

Flume-NG源码分析-整体结构及配置载入分析 弦外之音 很多朋友都在问我,经常看各种框架的源码会不会感到很枯燥,是什么东西在驱动着我一直看下去。其实我想说的很简单,作为一个程序员,不管你工作了多少年,能够经常学习和借鉴国内外优秀框架设计思想和程序架构,我想对我们来说是最直接的提高。 终于开始Flume源码的分析研究工作了,我也是边学边和大家分享,内容上难免有不足之处,望大家见谅。 在 http://flume.apache.org 上下载flume-1.6.0版本,将源码导入到Idea开发工具后如下图所示: Paste_Image.png 一、主要模块说明 flume-ng-channe…

2016-03-22 17:23 · Flume · 评论(0)

玩转Flume+Kafka原来也就那点事儿

好久没有写分享了,继前一个系列进行了Kafka源码分享之后,接下来进行Flume源码分析系列,望大家继续关注,今天先进行开篇文章Flume+kafka的环境配置与使用。 一、FLUME介绍 Flume是一个分布式、可靠、和 高可用 的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 设计目标: (1) 可靠性 当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障,从强到弱依次分别为:end-to-end(收到数据agent首先将event写到磁盘上,当数据传…

2016-03-20 08:16 · Flume · 评论(0)

Kafka之Consumer获取消费数据全过程图解

这篇文章是作为:[跟我学Kafka源码之Consumer分析](http://flychao88.iteye.com/blog/2268481) 的补充材料,看过我们之前源码分析的同学可能知道。 本文将从客户端程序如何调用Consumer获取到最终Kafka消息的全过程以图解的方式作一个源码级别的梳理。

2016-03-05 21:25 · kafka源码分析 · 评论(0)

Akka框架性能的简单测试分析

因为最近工作的关系,要把异步任务从应用服务器中拆分到专门的异步处理服务器中. 方案一 是采用MQ的方式将任务消息发出,在服务端进行处理,如下图所示: Sample Flowchart Template (2).png 这种方案是采用MQ作为中间的媒介,在服务端采用线程池异步处理任务,处理完成之后将结果发送到MQ中,客户端采用侦听的方式得到结果继续进行处理。 这种方案的不足是,可能在某些需求的情况下,需要将结果存放到共享的HashMap或者Threadlocal中进行存放结果,客户端会一直阻塞,直到得到结果,从多线程的角度来说,还是用了共享变量,虽然共享变量可能是线程安全的,但是从并发模型的角…

2016-02-27 18:17 · 开发框架 · 评论(0)

跟我学Kafka之Controller控制器详解(一)

我们的kafka源码分享已经进行过很多期了,主要的内容也都分享的差不多了,那么那么在今后的分享中,主要集中在kafka性能优化和使用 Kafka集群中的其中一个Broker会被选举为Controller,主要负责Partition管理和副本状态管理,也会执行类似于重分配Partition之类的管理任务。如果当前的Controller失败,会从其他正常的Broker中重新选举Controller。 进入KafkaController.scala文件看到如下代码: class KafkaController(val config : KafkaConfig, zkClient: ZkClient…

2016-02-21 20:55 · kafka源码分析 · scala基础 · 评论(0)

跟我学Kafka之zookeeper的存储结构

一、zookeeper存储结构总图 图片 当我们kafka启动运行以后,就会在zookeeper上初始化kafka相关数据,主要包括六大类: consumers admin config controller brokers controller_epoch 1、brokers节点结构说明 1.1 topic信息结构 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息: Schema: { "version": "版本编号目前固定为数字1", "partitions": { "partitionId编号": [ 同步副本组brokerId…

2016-02-18 16:04 · kafka源码分析 · scala基础 · 评论(0)

跟我学Kafka之NIO通信机制

很久没有做技术方面的分享了,今天闲来有空写一篇关于Kafka通信方面的文章与大家共同学习。 一、Kafka通信机制的整体结构 74EACA88-8B9D-45F8-B7BF-202D658205A9.png 这个图采用的就是我们之前提到的SEDA多线程模型,链接如下: http://www.jianshu.com/p/e184fdc0ade4 1、对于broker来说,客户端连接数量有限,不会频繁新建大量连接。因此一个Acceptor thread线程处理新建连接绰绰有余。 2、Kafka高吐吞量,则要求broker接收和发送数据必须快速,因此用proccssor thread线程池处理,并…

2016-02-01 18:54 · kafka源码分析 · scala基础 · 评论(0)

为什么说Kafka使用磁盘比内存快

学习过[ 跟我学Kafka源码之LogManager分析 ]的同学一定会问为什么Kafka大量使用了磁盘作为传统意义的缓存。 其实Kafka最核心的思想是使用磁盘,而不是使用内存,可能所有人都会认为,内存的速度一定比磁盘快,我也不例外。在看了Kafka的设计思想,查阅了相应资料再加上自己的测试后,发现磁盘的顺序读写速度和内存持平。 而且Linux对于磁盘的读写优化也比较多,包括read-ahead和write-behind,磁盘缓存等。如果在内存做这些操作的时候,一个是JAVA对象的内存开销很大,另一个是随着堆内存数据的增多,JAVA的GC时间会变得很长,使用磁盘操作有以下几个好处: 磁盘缓…

2016-01-25 23:00 · kafka源码分析 · 评论(0)

SEDA架构模型

一、传统并发模型的缺点 基于线程的并发 特点:每任务一线程直线式的编程使用资源昂高,context切换代价高,竞争锁昂贵太多线程可能导致吞吐量下降,响应时间暴涨。 基于事件的并发模型 特点:单线程处理事件每个并发流实现为一个有限状态机应用直接控制并发负载增加的时候,吞吐量饱和响应时间线性增长 二、SEDA架构 特点:(1)服务通过queue分解成stage: 每个stage代表FSM的一个状态集合 Queue引入了控制边界(2)使用线程池驱动stage的运行: 将事件处理同线程的创建和调度分离 Stage可以顺序或者并行执行 Stage可能在内部阻塞,给阻塞的stage分配较少的线程 1、S…

2016-01-25 18:45 · 开发框架 · kafka源码分析 · 评论(0)

【转】Java开发必会的Linux命令

作为一个Java开发人员,有些常用的Linux命令必须掌握。即时平时开发过程中不使用Linux(Unix)或者mac系统,也需要熟练掌握Linux命令。因为很多服务器上都是Linux系统。所以,要和服务器机器交互,就要通过shell命令。 本文并不会对所有命令进行详细讲解,只给出常见用法和解释。具体用法可以使用 --help 查看帮助或者直接通过google搜索学习。 1.查找文件 1 2 3 4 5 6 7 8 9 find / -name filename.txt 根据名称查找/目录下的filename.txt文件。 find . -name "*.xml" 递归查找所有的xml文件 f…

2016-01-14 18:16 · java基础 · 评论(0)