利用Python的AI爬虫技术，我们可以收集比天眼查更完整、更及时的数据，提高Python的挖掘性能。事实上，天眼查、查查查等这些网站的数据还有延迟，很多数据还不够完整，而且很多数据源都是从全国各个网站收集整合的。最近在研究Python的多进程多线程AI智能引擎技术，实现全网数据挖掘和分析引擎。搜索引擎技术可以扫描整个网络，然后收集一些有用的值，比如百度搜索引擎和谷歌搜索引擎，他们利用爬虫技术24小时扫描整个网络，然后收集各个网站的数据作为快照。基于这个搜索引擎技术，我们如果想要爬取比天眼查和查查查更完整的数据，只需要在我们的搜索引擎中植入我们自己的代理IP池技术，利用python的多进程技术在目标上进行任务划分网站，每个进程负责一个目标网站，然后利用python的多线程技术，各自负责翻页和爬行，每个线程负责10次翻页，然后启动守护进程24小时进行扫描整个网络。下面是我自己写的代码。效率和爬取到的数据还是差强人意：
#AI大数据系统-配置参数
配置数据=[]
ThreadNum=20 #k配置开启线程，开启越多速度越快，但是要看电脑CPU配置
#根据省分任务完成深度挖掘
ConfigData.append({'DataType':'安徽|北京|重庆|福建|甘肃|广东|
广西|贵州|河北|黑龙江|湖北|湖南|江苏|江西|
吉林|辽宁|内蒙古|宁夏|青海|山东|上海|山西|
山西|四川|天津|新疆|西藏|云南|浙江'})
做=蜘蛛（）
pageUrls=ConfigData[0]['DataType'].split('|')
基础配置={
'Urls': pageUrls, # 获取任务列表
'ThreadNum': ThreadNum , # 打开进程数
'Type': 2,#1采用多线程模式，2采用多进程模式
'渡渡鸟，
}
lock=multiprocessing.Lock() # 创建进程锁
# 计算任务总量
# 分为N个段，每个进程负责一个段
任务编号=len(pageUrls)=
平均数=数学。 ceil(taskNum/(BaseConfig['ThreadNum']))
print('任务总数{}'.format(taskNUm))
对于范围内的i(0, BaseConfig['ThreadNum']):
时间。睡觉(2)
pstart=平均值* i
挂起=pstart + 平均值
p=multiprocessing.Process(target=runProcessing, args=(BaseConfig, pstart, pend, i, lock))
print('过程完成'.format(p))
p。开始（）
p。加入（）
print('进程创建完毕，开始收集.')
下面是跑下来得到的数据结构：*（感觉还是不错的）
{
'url': 'http://www.xxx.com/firm_0a6ca0be1266656b93d03390abf4e40b.html',
'基本信息'： {
'人员规模：': '-',
'企业地址：': '否。温州市鹿城区蒲斜城市街道车站大道733号
'公司名称': '温州均瑶集团有限公司',
'公司类型：': '有限责任公司（自然人投资或控股）',
'地址号码。温州市鹿城区蒲鞋石街道车站大道733号
'官方网站': 'http://www.juneyao.com',
'成立日期：': '1995-08-23',
'地区': '浙江省',
‘行业’：‘住宿餐饮’，
'曾用名：': '均瑶集团股份有限公司',
'批准日期：': '2016-12-30',
'法定代表人信息'：{
'pl_url': 'http://www.xxx.com/pl_p808d5b5f8c083541230a8951a8866aa.html',
‘其他关联公司数量’：‘39’，
‘姓名’：‘王俊豪’
},
'注册号：': '330305000013113',
'注册资本：': '8850万元人民币',
'登记机关：': '温州市市场监督管理局',
'注册状态'：'维持'，
'纳税人识别号：': '91330300145067169Y',
'组织机构代码：': '14506716-9',
'经营状况：': '生存',
'经营范围：': '住宿服务（仅限分公司）。工业项目投资。 ',
'统一社会信用代码：': '91330300145067169Y',
‘联系方式’：‘0577-88098816’,
'英文名：'： '-'，
'营业时间：': '1995-08-23 至2045-08-22',
“电子邮件”：“无”
},
'主要会员信息': [
{
'pl_url': 'http://www.xxx.com/pl_p7663e2e7b8bcd23cfa9e1d85eac902a.html',
'关联公司数量': '15',
'姓名': '裴雪龙',
“职位”：“主管”
},
{
'pl_url': 'http://www.xxx.com/pl_p75b867211714a967474c4ac4706e918.html',
‘关联公司数量’：‘11’，
'姓名': '王涵',
‘职位’：‘主任’
},
{
'pl_url': 'http://www.xxx.com/pl_pa2912161d6acaed1baea9e26e08e062.html',
'关联公司数量': '12',
'姓名': '钱克流',
‘职位’：‘主任’
},
{
'pl_url': 'http://www.xxx.com/pl_pad4f49d512d91e830c1fcf76235e986.html',
‘其他关联公司数量’：‘5’，
'姓名': '陈体力',
“职位”：“主管”
},
{
'pl_url': 'http://www.xxx.com/pl_p808d5b5f8c083541230a8951a8866aa.html',
‘其他关联公司数量’：‘39’，
'姓名': '王俊豪',
'位置'： '-'
},
{
'pl_url': 'http://www.xxx.com/pl_pc97b89c41134307548eb11de6430258.html',
'其他关联公司数量': '23',
'姓名': '江海龙',
“职位”：“主管”
},
{
'pl_url': 'http://www.xxx.com/pl_pd1515f7945aecbfe2bdafdf098bc819.html',
'其他关联公司数量': '32',
'姓名': '王俊金',
'位置'： '-'
},
{
'pl_url': 'http://www.xxx.com/pl_p2a05f8d97284529e0ad9f176a603db8.html',
‘其他关联公司数量’：‘14’，
'姓名': '林乃吉',
‘职位’：‘主任’
}
],
'公司名称': '温州均瑶集团有限公司',
“其他链接”：{
‘企业年报’：{
“计数”：“4”，
'网址'：'http://www.xxx.com/creport_0a6ca0be1266656b93d03390abf4e40b'
},
'外来投资'： {
“计数”：“12”，
'网址'：'http://www.xxx.com/cinvestment_0a6ca0be1266656b93d03390abf4e40b'
},
'合法举动'： {
“计数”：“0”，
'url': 'http://www.xxx.com/clawsuit_0a6ca0be1266656b93d03390abf4e40b'
},
'知识产权'： {
“计数”：“106”，
'url': 'http://www.xxx.com/cassets_0a6ca0be1266656b93d03390abf4e40b'
},
'运行条件'： {
“计数”：“7”，
'网址'：'http://www.xxx.com/crun_0a6ca0be1266656b93d03390abf4e40b'
}
},
'分行信息': [
{
'公司': '温州均瑶集团有限公司均瑶宾馆',
'url': 'http://www.xxx.com/firm_2fd416c499d26a28b934e2c7af7b4c47.html'
},
{
'公司': '温州均瑶集团有限公司均瑶宾馆',
'url': 'http://www.xxx.com/firm_2fd416c499d26a28b934e2c7af7b4c47.html'
},
{
'company': '温州均瑶集团有限公司兰州分公司',
'url': 'http://www.xxx.com/firm_cfeba3d00d1cfc9483791d1db6ba9b2b.html'
},
{
'company': '温州均瑶集团有限公司武汉分公司',
'url': 'http://www.xxx.com/firm_7254f781af1c076cfa181050349c75c7.html'
},
{
'company': '温州均瑶集团有限公司杭州分公司',
'url': 'http://www.xxx.com/firm_73a2dc6bc97566f04bb31224ea99b9a2.html'
},
{
'公司': '温州均瑶集团有限公司西安分公司',
'url': 'http://www.xxx.com/firm_9112b5ad54de9b2a192351e97a17bfda.html'
},
{
'公司': '温州均瑶集团有限公司无锡分公司',
'url': 'http://www.xxx.com/firm_b5522b2f6f333f4fe080184344d68181.html'
}
],
'更改信息': [
{
‘变更项目’：‘历史法定代表人’，
‘姓名’：‘王俊金’
},
{
'变更前': '王俊豪*、钱克流、王俊金、徐彪、陈体力、江海龙、裴雪龙',
'变更后': '王俊豪*、钱克流、王俊金、陈体力、姜海龙、裴雪龙、汪涵、林乃吉',
'修改日期': '2016-12-30',
'变更项目': '备案的高级管理人员，带*者为法定代表人',
'1号'
},
{
‘变更前’：‘公司章程原件’，
‘变更后’：‘2016年6月23日修订后的公司章程’，
'修改日期': '2016-12-30',
‘变更事项’：‘公司章程修改备案’，
'1号'
},
{
'变更前': '注册号：330305000013113 组织机构代码证：145067169',
'变更后': '统一社会信用代码：91330300145067169Y',
'修改日期': '2016-04-08',
'变更项目': '更新统一社会信用代码许可证',
'1号'
},
{
《变更前》：《一般经营项目：工艺品、其他生活用品、装饰材料、食品机械设备的销售、机票代理服务。 ',
‘变更后’：‘一般经营项目：工业项目投资。 ',
'修改日期': '2013-08-23',
'变更项目': '一般业务项目变更',
'1号'
},
{
'变更前': '允许经营项目：',
'变更后'：'许可经营项目：住宿服务（仅限分公司）。 ',
'修改日期': '2012-06-18',
'变更项目': '许可经营项目变更',
'1号'
},
{
'变更前': '地址：号****\n 邮政编码：325011\n 电话：************\n 地址：****',
'变更后': '地址：****号\n邮编：325011\n电话：************\n地址：****',
'修改日期': '2008-11-03',
'Change item': '地址（营业地点、地址）变更',
'1号'
},
{
'变化前': '王均金',
'改变后': '王俊豪*',
'修改日期': '2005-04-14',
'变更事项': '法定代表人（负责人、董事长、首席代表）变更，带*号者为法定代表人',
'1号'
},
{
'变更前': '姓名：倪熙伦\n证件名称：\n证件号码：********\n性别：男\n职务：主任',
'变更后': '姓名：裴学龙\n证书名称：\n证书编号：********\n性别：男\n职位：主管',
'修改日期': '2004-11-22',
'变更事项': '法定代表人（负责人、董事长、首席代表）变更，带*号者为法定代表人',
'2号'
},
{
‘变更前’：‘均瑶集团有限公司’，
‘变更后’：‘温州均瑶集团有限公司’，
'修改日期': '2004-03-02',
'更改项目': '名称更改',
'1号'
},
{
‘变更前’：‘温州均瑶集团有限公司’，
'变更后': '均瑶集团有限公司',
'修改日期': '1998-07-22',
'更改项目': '名称更改',
'2号'
},
{
‘变更前’：‘经营范围：食品、非酒精饮料、机票代理、塑料制品、塑料包装、工艺品、航空用品、日用品、五金家电、化工原料（不含危险品）、礼品、装饰材料、家具、庆典用品、针织品、服装、文体用品（凭证经营）食品机械、餐饮（凭卫生许可证经营）。行业代码：1439',
‘变更后’：‘经营范围：生产销售食品、非酒精饮料、机票代理、塑料制品、塑料包装、工艺品、航空用品、日用品、五金家电、化工原料（不含危险品） ）、礼品、包装黄料、家具、庆典用品、针织品、服装、文体用品（凭许可证经营）、食品机械、餐饮（凭卫生许可证经营）。附属分店经营范围：餐饮、住宿、KTV、歌舞厅、台球、美容美发、电子游戏保龄球、健美、健美操、运动及保健按摩。行业代码：1439',
'修改日期': '1999-07-01',
'变更项目': '变更经营范围（经营范围）',
'1号'
},
{
‘变更前’：‘经营范围：食品、非酒精饮料、机票代理、塑料制品、塑料包装、工艺品、航空用品。行业代码：1439',
‘变更后’：‘经营范围：食品、非酒精饮料、机票代理、塑料制品、塑料包装、工艺品、航空用品、日用品、五金家电、化工原料（不含危险品）、礼品、装饰材料、家具、庆典用品、针织品、服装、文体用品（凭证经营）食品机械、餐饮（凭卫生许可证经营）。行业代码：1439',
'修改日期': '1997-04-29',
'变更项目': '变更经营范围（经营范围）',
'2号'
},
{
'改变前': '2050',
'更改后': '8850',
'修改日期': '1998-06-01',
'变更项目': '注册资本（金）变更',
'1号'
}
],
‘外资信息’：[
{
'url': 'http://www.xxx.com/firm_766b85e5c8b26c022f981bdd528fd4e9.html',
‘投资公司’：‘均瑶集团出租汽车有限公司’,
‘持股比例’：‘90.0%’,
‘股东类型’：‘企业法人’，
'贡献日期': '1998-11-03',
‘捐款金额（万元）’：‘900’
},
{
'url': 'http://www.xxx.com/firm_756f1439563684c178c87bcdc
4a7e84e.html", ????????????"投资公司": "均瑶集团上海有限公司", ????????????"持股比例": "60.0%", ????????????"股东类型": "企业法人", ????????????"认缴出资日期": "-", ????????????"认缴出资额（万元）": "120" ????????}, ????????{ ????????????"url": "http://www.xxx.com/firm_f62ffa20abdd72a393801d9b75958bdb.html", ????????????"投资公司": "均瑶集团航空服务有限公司", ????????????"持股比例": "10.0%", ????????????"股东类型": "企业法人", ????????????"认缴出资日期": "-", ????????????"认缴出资额（万元）": "100" ????????}, ????????{ ????????????"url": "http://www.xxx.com/firm_498d2af5c593b5ca293e46c0f50d97e7.html", ????????????"投资公司": "均瑶集团乳业股份有限公司", ????????????"持股比例": "-", ????????????"股东类型": "企业法人", ????????????"认缴出资日期": "2010-07-22", ????????????"认缴出资额（万元）": "-" ????????}, ????????{ ????????????"url": "http://www.xxx.com/firm_fe5ea392f0f4477b90c3eb70be7cb7fc.html", ????????????"投资公司": "上海均瑶航空投资有限公司", ????????????"持股比例": "50.0%", ????????????"股东类型": "企业法人", ????????????"认缴出资日期": "2002年8月12日", ????????????"认缴出资额（万元）": "5400" ????????}, ????????{ ????????????"url": "http://www.xxx.com/firm_b52f27fda2943d818c6d2ffbde8b9640.html", ????????????"投资公司": "温州均瑶商务服务有限公司", ????????????"持股比例": "20.0%", ????????????"股东类型": "法人股东", ????????????"认缴出资日期": "1997-05-23", ????????????"认缴出资额（万元）": "10 万元" ????????}, ????????{ ????????????"url": "http://www.xxx.com/firm_75d3cea813c7487dc2dc476934f8045d.html", ????????????"投资公司": "温州瑶住酒店管理有限公司", ????????????"持股比例": "40.0%", ????????????"股东类型": "企业法人", ????????????"认缴出资日期": "-", ????????????"认缴出资额（万元）": "20" ????????}, ????????{ ????????????"url": "http://www.xxx.com/firm_52c347f6739232f68430a61f349d0e0f.html", ????????????"投资公司": "温州均瑶物业服务有限公司", ????????????"持股比例": "100%", ????????????"股东类型": "企业法人", ????????????"认缴出资日期": "-", ????????????"认缴出资额（万元）": "-" ????????}, ????????{ ????????????"url": "http://www.xxx.com/firm_1d75185b284c1bde2663c75e8f7ec65b.html", ????????????"投资公司": "温州市天龙包机实业有限公司", ????????????"持股比例": "51.00%", ????????????"股东类型": "企业法人", ????????????"认缴出资日期": "1991-12-29", ????????????"认缴出资额（万元）": "306" ????????}, ????????{ ????????????"url": "http://www.xxx.com/firm_ed495f1f911e0602a215c686b2f44c7a.html", ????????????"投资公司": "宜昌均瑞房地产开发有限公司", ????????????"持股比例": "77.00%", ????????????"股东类型": "企业法人", ????????????"认缴出资日期": "2012/10/16 0:00:00", ????????????"认缴出资额（万元）": "7700" ????????}, ????????{ ????????????"url": "http://www.xxx.com/firm_8a82d0cdc7d8b401c3b8c80811dfcb77.html", ????????????"投资公司": "宜昌均瑶贸易有限公司", ????????????"持股比例": "100%", ????????????"股东类型": "企业法人", ????????????"认缴出资日期": "2025年12月31日", ????????????"认缴出资额（万元）": "46000" ????????}, ????????{ ????????????"url": "http://www.xxx.com/firm_032731387625750f57f84067e3cfea41.html", ????????????"投资公司": "深圳市均瑶奶品有限公司", ????????????"持股比例": "70.0%", ????????????"股东类型": "法人股东", ????????????"认缴出资日期": "-", ????????????"认缴出资额（万元）": "140万元" ????????} ????], ????"股东信息": [ ????????{ ????????????"pl_url": "http://www.xxx.com/pl_p75b867211714a967474c4ac4706e918.html", ????????????"他关联公司数": "11", ????????????"持股比例": "38.500%", ????????????"股东(发起人)": "王瀚", ????????????"股东类型": "自然人股东", ????????????"认缴出资日期": "1997-04-14", ????????????"认缴出资额（万元）": "3407.25" ????????}, ????????{ ????????????"pl_url": "http://www.xxx.com/pl_pd1515f7945aecbfe2bdafdf098bc819.html", ????????????"他关联公司数": "32", ????????????"持股比例": "35.00%", ????????????"股东(发起人)": "王均金", ????????????"股东类型": "自然人股东", ????????????"认缴出资日期": "1998-03-31", ????????????"认缴出资额（万元）": "3097.5" ????????}, ????????{ ????????????"pl_url": "http://www.xxx.com/pl_p808d5b5f8c083541230a8951a8866aa.html", ????????????"他关联公司数": "39", ????????????"持股比例": "25.00%", ????????????"股东(发起人)": "王均豪", ????????????"股东类型": "自然人股东", ????????????"认缴出资日期": "1998-03-31", ????????????"认缴出资额（万元）": "2212.5" ????????}, ????????{ ????????????"pl_url": "http://www.xxx.com/pl_p68ed1b7c5c7f645c5ac7a1e5dec44dd.html", ????????????"他关联公司数": "3", ????????????"持股比例": "0.500%", ????????????"股东(发起人)": "王超", ????????????"股东类型": "自然人股东", ????????????"认缴出资日期": "1997-04-14", ????????????"认缴出资额（万元）": "44.25" ????????}, ????????{ ????????????"pl_url": "http://www.xxx.com/pl_pe3c8177ddbd2ed2f2080fddb9d9c806.html", ????????????"他关联公司数": "3", ????????????"持股比例": "0.500%", ????????????"股东(发起人)": "王宝弟", ????????????"股东类型": "自然人股东", ????????????"认缴出资日期": "1997-04-14", ????????????"认缴出资额（万元）": "44.25" ????????}, ????????{ ????????????"pl_url": "http://www.xxx.com/pl_p6269be8f67e18ab3bc1403e941d86ba.html", ????????????"他关联公司数": "5", ????????????"持股比例": "0.500%", ????????????"股东(发起人)": "王滢滢", ????????????"股东类型": "自然人股东", ????????????"认缴出资日期": "1997-04-14", ????????????"认缴出资额（万元）": "44.25" ????????} ????] }