博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
商业爬虫学习笔记day3
阅读量:5093 次
发布时间:2019-06-13

本文共 2296 字,大约阅读时间需要 7 分钟。

一. 付费代理发送请求的两种方式

第一种方式:

(1)代理ip,形式如下:

money_proxy = {"http":"username:pwd@192.168.12.11:8080"}

(2)代理的处理器

proxy_handler = urllib.request.ProxyHandler(money_proxy)

(3)通过处理器创建opener

opener = urllib.request.build_opener(proxy_handler)

(4)open发送请求

opener.open("http://www.baidu.com")

第二种方式发送付费ip地址

use_name = "abcname"

pwd = "123456"

proxy_money = "123.158.63.130:8888"

# 创建密码管理器,添加用户名和密码

password_manager = urllib.request.HTTPasswordMgrWithDefaultRealm()

# uri定位  uri>url

# url 资源定位符

password_manager.add_password(None, proxy_money, use_name, pwd)

# 创建可以验证代理ip的处理器

handle_auth_proxy = urllib.request.ProxyBasicAuthHandler(password_manager)

# 根据处理器创建opener

handle_quth = urllib.request..build_opener(handle_auth_proxy)

# 发送请求

response = opener_auth.open("http://www.baidu.com")

import urllib.request#付费的代理发送#1.用户名密码(带着)#通过验证的处理器来发送def money_proxy_use():    # #第一种方式付费代理发送请求    # #1.代理ip    # money_proxy ={
"http":"username:pwd@192.168.12.11:8080"} # #2.代理的处理器 # proxy_handler=urllib.request.ProxyHandler(money_proxy) # # #3.通过处理器创建opener # opener = urllib.request.build_opener(proxy_handler) # #4.open发送请求 # opener.open("http://www.baidu.com") # #第二种方式发送付费的ip地址 use_name = "abcname" pwd = "123456" proxy_money = "123.158.63.130:8888" #2.创建密码管理器,添加用户名和密码 password_manager = urllib.request.HTTPPasswordMgrWithDefaultRealm() #uri定位 uri>url #url 资源定位符 password_manager.add_password(None,proxy_money,use_name,pwd) #3.创建可以验证代理ip的处理器 handle_auth_proxy = urllib.request.ProxyBasicAuthHandler(password_manager) #4.根据处理器创建opener opener_auth = urllib.request.build_opener(handle_auth_proxy) #5.发送请求 response = opener_auth.open("http://www.baidu.com") print(response.read())money_proxy_use()

 

二. 爬取自己公司的数据,做数据分析(admin)

import urllib.requestdef auth_nei_wang():    #1.用户名密码    user = "admin"    pwd = "adimin123"    nei_url = "http://192.168.179.66"    #2.创建密码管理器    pwd_manager = urllib.request.HTTPPasswordMgrWithDefaultRealm()    pwd_manager.add_password(None,nei_url,user,pwd)    #创建认证处理器(requests)    auth_handler = urllib.request.HTTPBasicAuthHandler(pwd_manager)    opener = urllib.request.build_opener(auth_handler)    response = opener.open(nei_url)    print(response)auth_nei_wang()

 

转载于:https://www.cnblogs.com/jj1106/p/11211601.html

你可能感兴趣的文章
CDQZ Day3
查看>>
Square(hdu 1511)
查看>>
10.11 noip模拟试题
查看>>
Python、Lua和Ruby——脚本大P.K.
查看>>
自动化测试的意义
查看>>
Delphi 实现程序开机自动启用
查看>>
java之day6
查看>>
day25-python之继承组合
查看>>
[Swift]LeetCode874. 模拟行走机器人 | Walking Robot Simulation
查看>>
黑马程序员_Java高新技术
查看>>
服务器是什么葫芦?
查看>>
JavaEE笔记(十)
查看>>
python scipy stats学习笔记
查看>>
mysql的一些查询优化,count优化,limit优化
查看>>
[Nuxt] Add CSS Libraries to Nuxt
查看>>
[Immutable.js] Converting Immutable.js Structures to Javascript and other Immutable Types
查看>>
PuTTY 'modmul()' 函数缓冲区下溢漏洞(CVE-2013-4206)
查看>>
makefile
查看>>
像进度条的网页加载Loading JS代码
查看>>
C#有哪几种定时器
查看>>