产品分析，竞品分析，或者市场数据收集建立自己的行业数据库，都需要一定的网页数据收集。以线下为主体的传统型公司没有技术人员，只有安排文员，行政之类的非技术人员利用闲暇时间做这些看似不起眼的工作。实际网页数据收集是一门很深的学问，甚至已经发展为一门行业。下面为一些非技术人员，提供几个思路： 1，excel的宏采集。如果你经常做EXCEL表格，也有研究宏，公式之类的，可以尝试这种方式，但是只限于一些比较...

在一些特殊网页或者App的数据采集过程中，有一些post或者get随机参数是系统加密的，为例模拟请求 获取数据，可以使用Fiddler的Rules-Customize Rules 保存参数到指定文件 ； 1，如果是app，可以先模拟相关操作，然后用Fiddler监控抓包 2，方法：Fiddler-Rules-Customize Rules，里面都是js代码 然后可以在 onBeforeReques...

比较正规的解决路径参考 http://developer.amap.com/ 昨天客户需要采集高德商家的数据，找接口找了半天： cityCode： http://ditu.amap.com/service/cityList?version=1 这里有全国城市对应code列表 【备用地址】https://www.vanfon.net/demo/amap_cityCode.txt 另外就是城市对应商圈...

一直略有研究数据采集这块，用过网络神采和火车头采集数据，其实数据采集是想到简单的。只需要略懂HTML知识，即可简单采集数据。 对于两款软件的使用，现将一般应用的几个方面测试效果对比給大家，仅供参考。   网络神采 V4.9  火车头V3.2 掉包情况  优秀，只要采集上了，几乎没有掉数据的情况  严重，用测试采集数据抓取正常，采集时掉数据的情况太多 耗时情况  良好，读取到哪里采集到哪里。  严重...