来源 :金融界2023-12-23
金融界2023年12月23日消息，据国家知识产权局公告，杭州安恒信息技术股份有限公司申请一项名为“一种数据同步方法、装置、设备及计算机可读存储介质“，公开号CN117271668A，申请日期为2023年11月。
专利摘要显示，本发明公开了一种数据同步方法、装置、设备及计算机可读存储介质，应用于数据处理技术领域，包括：从分布式搜索引擎中获取目标数据，以及目标数据的参数信息；根据参数信息利用固定格式数据清洗方法对目标数据进行清洗，得到固定格式数据；利用Kafka消息队列对固定格式数据进行数据转换处理，得到目标格式数据，并将目标格式数据发送至分布式列式数据库。本发明中间使用Kafka作为消息队列，Kafka是一个分布式、可水平扩展的系统，能够处理大规模的数据流，故利用Kafka对数据进行处理，可以及时将数据实时同步传输到分布式列式数据库进行处理，使用户能够几乎实时地查询和分析最新数据，提高数据同步的效率。