ITeye博客

bigdata

marsorp · 共 114 篇文章

[置顶] akka 介绍-Actor 基础

Actors Actors 是一个非常轻的并发实例,基于事件驱动的异步信息处理.模式匹配是Actor处理信息的手段。它是对并发、锁、分布系统的高度抽象。你只需要关注工作流。 例子: package akka.io import akka.actor.ActorLogging import akka.actor.Actor import akka.actor.ActorSystem import akka.actor.Props case class Greeting(who: String) class GreetingActor extends Actor with ActorLoggin…

2012-05-05 22:18 · akka · 评论(1)

Schannel Error 36888

I am getting this Schannel Error 36888 over and over and over again. There NOTHING listed on the help site about it. I have no idea what it is, but my computer is crashing over and over again. I don't know if this is the reason, but it seems to be the most frequent event listed in the event viewer.…

2016-10-15 19:27 · 评论(0)

chrome 30 install @CentOS6

Please ref: http://tecadmin.net/install-google-chrome-in-centos-rhel-and-fedora/

2013-11-01 13:13 · others · 评论(0)

zeromq 依赖uuid

yum install libuuid libuuid-devel

2013-09-22 14:03 · others · 评论(0)

Hadoop TestDFSIO

@VM [bigdata@bigdata hadoop]$ hadoop jar hadoop-test-1.0.4.jar TestDFSIO -write -nrFiles 10 -fileSize 20 Warning: $HADOOP_HOME is deprecated. TestDFSIO.0.0.4 13/04/21 12:54:47 INFO fs.TestDFSIO: nrFiles = 10 13/04/21 12:54:47 INFO fs.TestDFSIO: fileSize (MB) = 20 13/04/21 12:54:47 INFO fs.TestDFSIO…

2013-04-21 21:02 · hadoop · 评论(0)

Hadoop NNBENCH

@VM [bigdata@bigdata hadoop]$ cat /proc/cpuinfo processor : 0 vendor_id : GenuineIntel cpu family : 6 model : 13 model name : QEMU Virtual CPU version (cpu64-rhel6) stepping : 3 cpu MHz : 1995.223 cache size : 4096 KB fpu : yes fpu_exception : yes cpuid level : 4 wp : yes flags : fpu de pse tsc msr…

2013-04-21 20:46 · hadoop · 评论(0)

利用大数据创业

“大数据元年”,今年媒体上一直宣称,我们公司的销售也是一直把这句话挂在嘴边。 我个人觉得,是相关处理工具发展到一定阶段的产物,同时也是市场的需要。 今年的大数据项目比较多,客户总是要往云上靠,要是没有靠上,就会觉得自己Out了。 总之,数据的金矿随着时间的推移,从特殊到一般发展,从高端到低端发展,从大企业到小企业发展。 扯了这么多,要说什么呢? 首先,大数据从那里来? 1.日志,如Apache logs 2.应用生成的数据文件,如摄像头采集下来的数据 1)各种采集器 3.社交类网站的交互数据 1)可以作为舆情的数据来源 4.运营商产生 1)访问日志 => 话费详单数据、上网详单数据 2)用户…

2013-04-15 11:07 · others · 评论(0)

Hadoop 安装手册

Hadoop 安装手册 软件准备 a) CentOS6.2 b4bit ,需要安装 DEV 包,分区采用基本分区方式、关闭防 火墙、关闭 SELinux b) Oracle Javase 1.6.37 64bit(JDK) c) Hadoop1.0.4,从 http://hadoop.apache.org 下载 硬件规划 a) NameNode 采用高可靠性 X86 64 服务器,内存建议 64G 以上,CPU 4core 以上,支持 HT,采用冗余电源,磁盘做 Raid1 b) DataNode 采用终端硬件,内存建议在 32G 以上,CPU 4Core 以上,支 持 HT,使用 SATA…

2013-04-08 15:47 · hadoop · 评论(0)

vnc sever 不工作,原因是字体库缺失

Unable to launch VNCServer due to fontpath issues on CentOS 6 When trying out VNCServer on both CentOS 6.2 and CentOS 6.3 $ vncserver WARNING: The first attempt to start Xvnc failed, possibly because the font catalog is not properly configured. Attempting to determine an appropriate font path for t…

2013-04-02 10:14 · linux · 评论(0)

CAP理论

转发自:http://www.blogjava.net/hello-yun/archive/2012/04/27/376744.html 在足球比赛里,一个球员在一场比赛中进三个球,称之为帽子戏法(Hat-trick)。在分布式数据系统中,也有一个帽子原理(CAP Theorem),不过此帽子非彼帽子。CAP原理中,有三个要素: 一致性(Consistency) 可用性(Availability) 分区容忍性(Partition tolerance) CAP原理指的是,这三个要素最多只能同时实现两点,不可能三者兼顾。因此在进行分布式架构设计时,必须做出取舍。而对于分布式数据系统,分区容忍性是…

2012-11-29 14:41 · others · 评论(0)

vsftp deploy

http://www.cnblogs.com/hhuai/archive/2011/02/12/1952647.html

2012-11-16 14:28 · 评论(0)

日志从那里来

网络设备 操作系统 Web服务器 应用系统

2012-11-12 11:09 · others · 评论(0)

MapReduce Shuffle and Sort职责

1。决定Mapper的输出到那个Reducer,是由Partition决定的 2。Reducer接收到的key都是排序好的

2012-10-15 13:48 · others · 评论(0)

HDFS 设计理念

为了减少网络带宽,主要考虑的是块大小及本地优化上

2012-10-15 13:08 · others · 评论(0)

处理大数据的挑战

1.如何存储 2.如何处理大数据 3.理解数据 4.发掘数据价值

2012-10-14 21:32 · others · 评论(0)