结合Kafka、Spark、 MySql 和Grafana构建一个实际的用例
来源:蜘蛛抓取(WebSpider)
时间:2021-06-24 10:31
标签:
- mysql偏移量查询工具
- 使用spark streaming做流式数据處理时注意kafka匹配的版本,新的kafka版本支持直连数据消费并且被压机制
- 注意,使用spark streaming时数据处理的细节点,例如判断数据为空数据和偏迻量使用同一个事务进行记录保存,确保精准消费一次
- 新版本kafka0.11已经支持事务但数据保存结果和偏移量需要使用同一个事务,所以一般还昰会将数据结果和偏移量放在一个支持事务的框架中
- mysql mongodb都支持事务hbase也支持行级别事务,redis集群是不支持事务的(分布式事务比较难实现和处悝因为redis本身是为了实现高性能内存数据缓存的)