博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Storm常见模式——批处理
阅读量:7240 次
发布时间:2019-06-29

本文共 2585 字,大约阅读时间需要 8 分钟。

Storm对流数据进行实时处理时,一种常见场景是批量一起处理一定数量的tuple元组,而不是每接收一个tuple就立刻处理一个tuple,这样可能是性能的考虑,或者是具体业务的需要。

例如,批量查询或者更新数据库,如果每一条tuple生成一条sql执行一次数据库操作,数据量大的时候,效率会比批量处理的低很多,影响系统吞吐量。

当然,如果要使用Storm的可靠数据处理机制的话,应该使用容器将这些tuple的引用缓存到内存中,直到批量处理的时候,ack这些tuple。

下面给出一个简单的代码示例:

现在,假设我们已经有了一个DBManager数据库操作接口类,它至少有两个接口:

(1)getConnection(): 返回一个java.sql.Connection对象;

(2)getSQL(Tuple tuple): 根据tuple元组生成数据库操作语句。

为了在Bolt中缓存一定数量的tuple,构造Bolt时传递int n参数赋给Bolt的成员变量int count,指定每个n条tuple批量处理一次。

同时,为了在内存中缓存缓存Tuple,使用java concurrent中的ConcurrentLinkedQueue来存储tuple,每当攒够count条tuple,就触发批量处理。

另外,考虑到数据量小(如很长时间内都没有攒够count条tuple)或者count条数设置过大时,因此,Bolt中加入了一个定时器,保证最多每个1秒钟进行一次批量处理tuple。

下面是Bolt的完整代码(仅供参考):

import java.util.Map;import java.util.Queue;import java.util.concurrent.ConcurrentLinkedQueue; import java.sql.Connection; import java.sql.SQLException; import java.sql.Statement; import backtype.storm.task.OutputCollector; import backtype.storm.task.TopologyContext; import backtype.storm.topology.IRichBolt; import backtype.storm.topology.OutputFieldsDeclarer; import backtype.storm.tuple.Tuple; public class BatchingBolt implements IRichBolt { private static final long serialVersionUID = 1L; private OutputCollector collector; private Queue
tupleQueue = new ConcurrentLinkedQueue
(); private int count; private long lastTime; private Connection conn; public BatchingBolt(int n) { count = n; //批量处理的Tuple记录条数 conn = DBManger.getConnection(); //通过DBManager获取数据库连接 lastTime = System.currentTimeMillis(); //上次批量处理的时间戳 } @Override public void prepare(Map stormConf, TopologyContext context, OutputCollector collector) { this.collector = collector; } @Override public void execute(Tuple tuple) { tupleQueue.add(tuple); long currentTime = System.currentTimeMillis(); // 每count条tuple批量提交一次,或者每个1秒钟提交一次 if (tupleQueue.size() >= count || currentTime >= lastTime + 1000) { Statement stmt = conn.createStatement(); conn.setAutoCommit(false); for (int i = 0; i < count; i++) { Tuple tup = (Tuple) tupleQueue.poll(); String sql = DBManager.getSQL(tup); //生成sql语句 stmt.addBatch(sql); //加入sql collector.ack(tup); //进行ack } stmt.executeBatch(); //批量提交sql conn.commit(); conn.setAutoCommit(true); System.out.println("batch insert data into database, total records: " + count); lastTime = currentTime; } } @Override public void cleanup() { } @Override public void declareOutputFields(OutputFieldsDeclarer declarer) { } @Override public Map
getComponentConfiguration() { // TODO Auto-generated method stub return null; } }

转载于:https://www.cnblogs.com/yepei/p/4801903.html

你可能感兴趣的文章
关于 android.net.conn.CONNECTIVITY_CHANGE 7.0之后取消
查看>>
自动化测试的理解
查看>>
微信小程序事件
查看>>
Unity加载第三方C# DLL时,解析不能删除的问题。
查看>>
空间直角坐标系、大地坐标系、平面坐标系、高斯平面直角坐标系(转)
查看>>
Java并发编程-可重入锁
查看>>
MySQL5.7.9压缩包安装配置
查看>>
068、Calico的网络结构是什么?(2019-04-11 周四)
查看>>
rails文件夹介绍
查看>>
c#连接mysql
查看>>
团对-爬取豆瓣电影top250-开发环境搭建过程
查看>>
apache2.2安装和配置(安装版)
查看>>
轻触开关实现自锁功能
查看>>
浏览器加载显示html页面内容的顺序
查看>>
c++实现图的单源最短路径
查看>>
(八)mybatis之映射器
查看>>
OOP design table chair bench
查看>>
Quartz学习笔记
查看>>
jQuery
查看>>
aix lvm_lv_vg
查看>>