登录社区云，与社区用户共同成长
邀请您加入社区
Kettle（传统的ETL工具）特性：纯Java编写，通过建立资源库可多端访问，直接在windows上进行作业开发，同步资源库，在linux上执行定时任务优点：可在Windows、linux、Unix上执行；数据抽取高效稳定；子组件spoon有丰富的Steps可以开发复杂业务逻辑场景，方便实现全量、增量同步；可视化界面缺点：通过定时运行，实时性较差；组成部分：Spoon：允许使用图形...
Hive具有一个可选的组件叫HiveServer或HiveThrift，其允许通过指定端口访问Hive。启动Thrift Server进入Hive安装目录 使用如下命令开启服务hive --service hiveserver &检查HiveServer是否启动成功使用如下命令 netstat -nl | grep 10000配置Groovy使用HiveSe
JobConf.setNumMapTasks(n)是有意义的，结合block size会具体影响到map任务的个数，详见FileInputFormat.getSplits源码。假设没有设置mapred.min.split.size，缺省为1的情况下，针对每个文件会按照min (totalsize[所有文件总大小]/mapnum[jobconf设置的mapnum],blocksize)为大小来
谢谢大家来看这篇文章，我想花点时间分享一下我对分布式计算的理解。分布式服务有很多，比如hbase, hadoop, spark等，我所要讲述的重点不是这些服务的原理，而是用更浅显的话讲述更深刻的设计。如何把多个的机器组合起来完成一件简单的计算任务，所以这方面的架构设计更多的关注服务器间的关系。下面我们来设计一个框架，以进行简单的分布式计算。我们假设计算目标有三类：1.分布计算能力
