[go: up one dir, main page]

CN103810238A - 一种基于异步处理的大数据量Excel文件导出方法 - Google Patents

一种基于异步处理的大数据量Excel文件导出方法 Download PDF

Info

Publication number
CN103810238A
CN103810238A CN201310584833.2A CN201310584833A CN103810238A CN 103810238 A CN103810238 A CN 103810238A CN 201310584833 A CN201310584833 A CN 201310584833A CN 103810238 A CN103810238 A CN 103810238A
Authority
CN
China
Prior art keywords
excel
data
application module
file
auxiliary application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310584833.2A
Other languages
English (en)
Inventor
陈顺德
王红凯
李熊
裘炜浩
王志强
洪建光
裴旭斌
沈志豪
蒋锦霞
肖政
陈清泰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHEJIANG CREAWAY AUTOMATION ENGINEERING Co Ltd
Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd
State Grid Corp of China SGCC
Original Assignee
ZHEJIANG CREAWAY AUTOMATION ENGINEERING Co Ltd
Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHEJIANG CREAWAY AUTOMATION ENGINEERING Co Ltd, Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd, State Grid Corp of China SGCC filed Critical ZHEJIANG CREAWAY AUTOMATION ENGINEERING Co Ltd
Priority to CN201310584833.2A priority Critical patent/CN103810238A/zh
Publication of CN103810238A publication Critical patent/CN103810238A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于异步处理的大数据量Excel文件导出方法，涉及一种数据导出方法。目前，处理大规模数据导出方法占用内存资源过大。本发明包括以下步骤：Excel辅助应用模块将Excel数据分成若干数据组；当应用系统向Excel辅助应用模块发送Excel数据导出请求时，Excel辅助应用模块向多个处理器提出Excel数据导出请求；每个处理器处理Excel数据导出请求时，都在指定存储路径新建一个Excel文件；多个Excel文件叠加构成的完整的Excel文件，用户在存储路径下查看并下载生成的Excel文件。本技术方案业务处理时间短，占用单个处理器的内存资源小，系统性能不受影响，提高用户使用友好度。

Description

一种基于异步处理的大数据量Excel文件导出方法
技术领域
本发明涉及一种数据导出方法。 
背景技术
Excel导出功能是各类信息系统提供的最为基本且频繁应用的功能，处理大规模数据导出业务一般采用分批次导出，这种方法消耗过多业务处理时间，影响后续业务应用的开展。另一种极端的方式是“一次导出，持续等待”，如图1所示，该方法占用内存资源过大，导致系统性能下降，且用户使用友好度下降。 
发明内容
本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供一种基于异步处理的大数据量Excel文件导出方法，以达到提高处理速度及降低内存资源的目的。为此，本发明采取以下技术方案。 
  一种基于异步处理的大数据量Excel文件导出方法，其特征在于包括以下步骤： 
1）  Excel辅助应用模块将Excel数据分成若干数据组；
2）  当应用系统向Excel辅助应用模块发送Excel数据导出请求时，Excel辅助应用模块向多个处理器提出Excel数据导出请求；
3）  每个处理器处理Excel数据导出请求时，都在指定存储路径新建一个Excel文件，通过访问数据库，读取记录逐条写入相应Excel文件中； 
4）  多个处理器在指定的存储路径下形成多个Excel文件；多个Excel文件叠加构成的完整的Excel文件，用户在存储路径下查看并下载生成的Excel文件。
本技术方案采用异步导出工作机制，将Excel数据导出业务的数据查询和文件生成过程分立，将占用较大时间和内存的文件生成交由后台Excel辅助应用模块处理，并在应用中独立开辟功能区域提供文件下载服务。 
作为对上述技术方案的进一步完善和补充，本发明还包括以下附加技术特征。
应用系统通过Webservice接口向Excel辅助应用模块发送Excel数据导出请求。 
Excel辅助应用模块将Excel数据分成数量与处理器相同的数据组，一个处理器导出一个数据组的数据，多个处理器异步导出Excel文件的所有数据。 
有益效果：本技术方案采用异步导出工作机制，将Excel数据导出业务的数据查询和文件生成过程分立，将占用较大时间和内存的文件生成交由后台Excel辅助模块处理，并在应用中独立开辟功能区域提供文件下载服务；业务处理时间短，有利于后续业务应用的开展，且占用单个处理器的内存资源小，系统性能不受影响，提高用户使用友好度。 
附图说明
图1是现有的Excel数据导出方法。 
图2是本发明的流程图。 
图3是本发明的原理结构图。 
具体实施方式
以下结合说明书附图对本发明的技术方案做进一步的详细说明。 
如图2所示，本技术方案采用异步调用方式，其在响应调用请求后立即返回主程序并执行下一步骤，而将具体业务操作放至后台运行。取代如图1所示的同步调用方式，步调用方式需等调用对象完成具体的业务操作后才能返回主程序并执行下一步骤；本技术方案更好地保证系统的运行性能，且有效缩短处理时间。 
如图3所示，本发明包括以下步骤： 
1）    Excel辅助应用模块将Excel数据分成若干数据组；
2）    当应用系统向Excel辅助应用模块发送Excel数据导出请求时，Excel辅助应用模块向多个处理器提出Excel数据导出请求；
3）    每个处理器处理Excel数据导出请求时，都在指定存储路径新建一个Excel文件，通过访问数据库，读取记录逐条写入相应Excel文件中； 
4）    多个处理器在指定的存储路径下形成多个Excel文件；多个Excel文件叠加构成的完整的Excel文件，用户在存储路径下查看并下载生成的Excel文件。
其中，应用系统通过Webservice接口向Excel辅助应用模块发送Excel数据导出请求。为降低结构的复杂性，Excel辅助应用模块将Excel数据分成数量与处理器相同的数据组，一个处理器导出一个数据组的数据，多个处理器异步导出Excel文件的所有数据。 
以上图2、3所示的一种基于异步处理的大数据量Excel文件导出方法是本发明的具体实施例，已经体现出本发明实质性特点和进步，可根据实际的使用需要，在本发明的启示下，对其进行形状、结构等方面的等同修改，均在本方案的保护范围之列。 

Claims (3)

1.一种基于异步处理的大数据量Excel文件导出方法，其特征在于包括以下步骤：
Excel辅助应用模块将Excel数据分成若干数据组；
当应用系统向Excel辅助应用模块发送Excel数据导出请求时，Excel辅助应用模块向多个处理器提出Excel数据导出请求；
每个处理器处理Excel数据导出请求时，都在指定存储路径新建一个Excel文件，通过访问数据库，读取记录逐条写入相应Excel文件中； 
多个处理器在指定的存储路径下形成多个Excel文件；多个Excel文件叠加构成的完整的Excel文件，用户在存储路径下查看并下载生成的Excel文件。
2.根据权利要求2所述的一种基于异步处理的大数据量Excel文件导出方法，其特征在于：应用系统通过Webservice接口向Excel辅助应用模块发送Excel数据导出请求。
3.根据权利要求2所述的一种基于异步处理的大数据量Excel文件导出方法，其特征在于：Excel辅助应用模块将Excel数据分成数量与处理器相同的数据组，一个处理器导出一个数据组的数据，多个处理器异步导出Excel文件的所有数据。
CN201310584833.2A 2013-11-20 2013-11-20 一种基于异步处理的大数据量Excel文件导出方法 Pending CN103810238A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310584833.2A CN103810238A (zh) 2013-11-20 2013-11-20 一种基于异步处理的大数据量Excel文件导出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310584833.2A CN103810238A (zh) 2013-11-20 2013-11-20 一种基于异步处理的大数据量Excel文件导出方法

Publications (1)

Publication Number Publication Date
CN103810238A true CN103810238A (zh) 2014-05-21

Family

ID=50707008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310584833.2A Pending CN103810238A (zh) 2013-11-20 2013-11-20 一种基于异步处理的大数据量Excel文件导出方法

Country Status (1)

Country Link
CN (1) CN103810238A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105119763A (zh) * 2015-09-24 2015-12-02 烽火通信科技股份有限公司 基于RIA的Web网管客户端的大数据快速导出方法及系统
CN105306596A (zh) * 2015-11-19 2016-02-03 中国建设银行股份有限公司 应用于电子商务系统的文件处理方法、服务器及系统
CN106341457A (zh) * 2016-08-25 2017-01-18 广州御银自动柜员机科技有限公司 一种云平台异步导出数据的装置
CN107153717A (zh) * 2017-06-14 2017-09-12 成都三零凯天通信实业有限公司 通过浏览器从数据库导出百万级记录到表格的方法及系统
CN107526635A (zh) * 2017-09-05 2017-12-29 成都知道创宇信息技术有限公司 一种数据异步导出方法
CN107656968A (zh) * 2017-08-31 2018-02-02 武汉斗鱼网络科技有限公司 大批量业务数据导出方法及系统
CN107704442A (zh) * 2017-03-31 2018-02-16 广东网金控股股份有限公司 一种基于数据安全的excel导出方法和装置
CN111104448A (zh) * 2019-12-17 2020-05-05 深圳前海环融联易信息科技服务有限公司 大数据量Excel文件导出方法、装置、计算机设备及存储介质
CN112287006A (zh) * 2020-10-27 2021-01-29 上海淇馥信息技术有限公司 一种电子表格数据导出方法、装置及电子设备
CN112347179A (zh) * 2020-11-30 2021-02-09 中国农业银行股份有限公司 一种基于Excel定制模板的大数据导出方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050177573A1 (en) * 2000-07-21 2005-08-11 Microsoft Corporation Integrated method for creating a refreshable web query
CN101035025A (zh) * 2007-03-30 2007-09-12 华为技术有限公司 一种网络设备管理的方法和系统
CN101231665A (zh) * 2008-02-20 2008-07-30 中兴通讯股份有限公司 将数据库中数据导出成Excel文件的装置及其方法
US20090300061A1 (en) * 2007-12-03 2009-12-03 Infosys Technologies Ltd. System and method for universe generation
CN101609470A (zh) * 2009-07-02 2009-12-23 腾讯科技（深圳）有限公司 一种多页面浏览器防假死方法及装置
US20100174571A1 (en) * 2009-01-04 2010-07-08 Sandra Lee Jerome Open Dealership Management System developed in MySQL, PHP, HTML, and JavaScript
CN101996067A (zh) * 2009-08-19 2011-03-30 阿里巴巴集团控股有限公司 一种数据导出的方法和装置
CN102867071A (zh) * 2012-10-19 2013-01-09 烽火通信科技股份有限公司 一种网管海量历史数据管理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050177573A1 (en) * 2000-07-21 2005-08-11 Microsoft Corporation Integrated method for creating a refreshable web query
CN101035025A (zh) * 2007-03-30 2007-09-12 华为技术有限公司 一种网络设备管理的方法和系统
US20090300061A1 (en) * 2007-12-03 2009-12-03 Infosys Technologies Ltd. System and method for universe generation
CN101231665A (zh) * 2008-02-20 2008-07-30 中兴通讯股份有限公司 将数据库中数据导出成Excel文件的装置及其方法
US20100174571A1 (en) * 2009-01-04 2010-07-08 Sandra Lee Jerome Open Dealership Management System developed in MySQL, PHP, HTML, and JavaScript
CN101609470A (zh) * 2009-07-02 2009-12-23 腾讯科技（深圳）有限公司 一种多页面浏览器防假死方法及装置
CN101996067A (zh) * 2009-08-19 2011-03-30 阿里巴巴集团控股有限公司 一种数据导出的方法和装置
CN102867071A (zh) * 2012-10-19 2013-01-09 烽火通信科技股份有限公司 一种网管海量历史数据管理方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105119763A (zh) * 2015-09-24 2015-12-02 烽火通信科技股份有限公司 基于RIA的Web网管客户端的大数据快速导出方法及系统
CN105119763B (zh) * 2015-09-24 2018-12-28 烽火通信科技股份有限公司 基于RIA的Web网管客户端的大数据快速导出方法及系统
CN105306596A (zh) * 2015-11-19 2016-02-03 中国建设银行股份有限公司 应用于电子商务系统的文件处理方法、服务器及系统
CN106341457A (zh) * 2016-08-25 2017-01-18 广州御银自动柜员机科技有限公司 一种云平台异步导出数据的装置
CN107704442A (zh) * 2017-03-31 2018-02-16 广东网金控股股份有限公司 一种基于数据安全的excel导出方法和装置
CN107153717A (zh) * 2017-06-14 2017-09-12 成都三零凯天通信实业有限公司 通过浏览器从数据库导出百万级记录到表格的方法及系统
CN107656968A (zh) * 2017-08-31 2018-02-02 武汉斗鱼网络科技有限公司 大批量业务数据导出方法及系统
CN107656968B (zh) * 2017-08-31 2021-04-23 武汉斗鱼网络科技有限公司 大批量业务数据导出方法及系统
CN107526635A (zh) * 2017-09-05 2017-12-29 成都知道创宇信息技术有限公司 一种数据异步导出方法
CN111104448A (zh) * 2019-12-17 2020-05-05 深圳前海环融联易信息科技服务有限公司 大数据量Excel文件导出方法、装置、计算机设备及存储介质
CN112287006A (zh) * 2020-10-27 2021-01-29 上海淇馥信息技术有限公司 一种电子表格数据导出方法、装置及电子设备
CN112347179A (zh) * 2020-11-30 2021-02-09 中国农业银行股份有限公司 一种基于Excel定制模板的大数据导出方法和装置

Similar Documents

Publication Publication Date Title
CN103810238A (zh) 一种基于异步处理的大数据量Excel文件导出方法
CN102063336A (zh) 一种分布式计算多应用功能异步并发调度方法
CN101441674B (zh) 基于fpga的动态可重构系统的分片配置方法
CN106095583A (zh) 基于新神威处理器的主从核协同计算编程框架
CN103646073A (zh) 一种基于HBase表的条件查询优化方法
CN103761146B (zh) 一种MapReduce动态设定slots数量的方法
CN107526645A (zh) 一种通信优化方法及系统
CN103902593A (zh) 一种数据迁移的方法和装置
CN102681852B (zh) 基于JavaEE的敏捷开发方法
CN108021449A (zh) 一种协程实现方法、终端设备及存储介质
CN108574645B (zh) 一种队列调度方法及装置
CN103778212B (zh) 基于数据节点的并行海量数据处理方法
CN102521014A (zh) 虚拟机的部署方法及装置
CN102023891A (zh) 基于Java虚拟机的并发垃圾收集器框架
CN101986661A (zh) 一种改进的虚拟机群下MapReduce数据处理方法
WO2015051685A1 (zh) 一种任务调度方法、装置及系统
CN106325984A (zh) 一种大数据任务调度装置
CN104572505A (zh) 一种保证海量数据缓存最终一致性的系统及方法
CN103324538B (zh) 一种异位分散集群环境分布式并发进程的设计方法
CN102118437B (zh) 一种基于Xen的虚拟机热迁移进度监控方法及装置
CN117632860A (zh) 基于Flink引擎的小文件合并方法、装置及电子设备
CN103577604A (zh) 一种用于Hadoop分布式环境的图像索引结构
CN103870313B (zh) 一种虚拟机任务调度方法及系统
CN106934187B (zh) 一种提高芯片fpga原型验证效率的调试方法及系统
CN105787391B (zh) 基于TrustZone硬件的面向任务的安全操作系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20140521

RJ01 Rejection of invention patent application after publication