Spark

基于公司 Global Systematic Stress Test 业务构建的大型数据分析平台，日均数据处理量 1TB，对上 游每日的数据 进行离线分析、处理、清洗后写入数仓。构建交易数据的离线与实时数据仓库，设计数据 模型，ETL 实施，ETL 性能优化， ETL 数据监控，提升数据架构扩展性，支持数据产品的快速迭代和横向 扩展。该项目使用 Java 语言通过 Spark 和 Hive 构建数仓，包括数据抽取，转换和加载，确保数据的 高效处理和整合。同时进行 Spark 性能调优，每天固定时间数据会更新，需要及时处理 确保性能稳定， 编写自动化监控脚本。

传统的量化投资，使用技术指标比如均值，MACD，RSI,KDJ等以及它们的线性变种来产生信号。 有几个缺点： - 1、多为线性的， - 2、参数设置全凭经验，没有调优过程， - 3、规则偏静态的，无法适应跟进市场变化而自主进化。 我们的目标，是把前沿人工智能技术，包括大模型，机器学习，深度学习，深度强化学习，知识图谱，时间序列分析等技术应用于金融大数据挖掘， 更好的赋能量化投资。