研究了工程领域上数据采集,数据同步技术。 研究了数据缓存队列 Kafka,Hive,Hbase 相关技术。 运用 Filebeat 和 Sqoop 技术,实现了数据采集和数据同步的功能,得出该技术在电商客户数据分析系统中具有可行性的结论。并且利用 Linux 文件硬连接解决日志丢失的问题。
评论