网络矿工数据采集软件是一款面向专业采集用户的采集软件,提供了数据采集、加工、发布一体化的解决方案,具备强大的采集能力,实现了可视化、智能化的规则配置,免去了传统规则配置的烦恼。需Microsoft
.NetFramework2.0环境。
网络矿工采集器围绕网站数据采集提供了丰富的功能,虽然功能众多,但使用却不复杂。网络矿工上手很容易。
网络矿工主要包括了以下几个方面的功能:
1、数据采集:以数据采集为核心提供了导航、多页、代理采集、跨层采集、文件下载、编码解码、参数配置等功能,确保在数据采集时可应对各种复杂的采集配置需求;
2、强大的采集能力:支持各种编码、
压缩采集,可实现U码转换、HTML代码转换,支持cookie、自定义HTTP Header,支持代理轮询、采集延时等多种设置,支持各种排重,具备断点续采能力;
3、可视化及智能:支持可视化配置,从导航、翻页及数据采集规则,都支持可视化的配置;
4、数据加工:提供了各种字符串的加工方式,可边采集边进行数据加工,同时也提供了专用的数据加工工具,可进行数据表合并、创建列、数据格式化等多种方式,较终可获取到高质量的数据信息;提供OCR识别能力,图片水印功能;
5、数据发布:数据可发布到数据库(Access、mssqlserver、MySql),也可直接发布数据到网站,同时还提供了直接入库的模式,适应采集海量数据;
6、多种工具:数据加工发布工具、日志工具、HTTP嗅探器、编解码助手、正则分析器、配置助手,辅助您完成配置工作;
7、插件支持:支持.net插件,用户可基于接口扩展自己个性化的功能,网络矿工提供了cookie获取、数据加工及数据发布的接口操作;
8、其他:支持灵活的定时采集策略、数据
监控、静默运行等多种附加功能,不仅可以方便用户的采集工作,也从数据采集实用角度大大丰富的软件的功能应用;
当前版本为免费版本,可放心使用,部分功能在免费版本中会有限制!