在刮刀蜘蛛中访问会话cookie

前端之家收集整理的这篇文章主要介绍了在刮刀蜘蛛中访问会话cookie前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我正在尝试访问蜘蛛中的会话cookie。我首先使用蜘蛛登录社交网络:
  1. def parse(self,response):
  2.  
  3. return [FormRequest.from_response(response,formname='login_form',formdata={'email': '...','pass':'...'},callback=self.after_login)]

在after_login中,我想访问会话cookie,以便将它们传递给另一个模块(此处为selenium),以进一步处理具有验证会话的页面

我想要这样的事情:

  1. def after_login(self,response):
  2.  
  3. # process response
  4. .....
  5.  
  6. # access the cookies of that session to access another URL in the
  7. # same domain with the autehnticated session.
  8. # Something like:
  9. session_cookies = XXX.get_session_cookies()
  10. data = another_function(url,cookies)

不幸的是,response.cookies不返回会话cookie。

如何获得会话Cookie?我正在查看cookies中间件:scrapy.contrib.downloadermiddleware.cookies和scrapy.http.cookies,但似乎没有任何直接的访问会话cookie的方式。

这里有一些更多的细节是我的原始问题:

不幸的是,我使用你的想法,但我不明白cookies,虽然我知道确定它们存在,因为scrapy.contrib.downloadermiddleware.cookies中间件打印出饼干!这些正是我想要抓的饼干。

所以这里是我在做什么

after_login(self,response)方法在适当的身份验证后接收到响应变量,然后我访问具有会话数据的URL:

  1. def after_login(self,response):
  2.  
  3. # testing to see if I can get the session cookies
  4. cookieJar = response.Meta.setdefault('cookie_jar',CookieJar())
  5. cookieJar.extract_cookies(response,response.request)
  6. cookies_test = cookieJar._cookies
  7. print "cookies - test:",cookies_test
  8.  
  9. # URL access with authenticated session
  10. url = "http://site.org/?id=XXXX"
  11. request = Request(url=url,callback=self.get_pict)
  12. return [request]

如下面的输出显示,确实有Cookie,但是我没有用cookieJar捕获它们:

  1. cookies - test: {}
  2. 2012-01-02 22:44:39-0800 [myspider] DEBUG: Sending cookies to: <GET http://www.facebook.com/profile.PHP?id=529907453>
  3. Cookie: xxx=3..........; yyy=34.............; zzz=.................; uuu=44..........

所以我想得到一个包含键xxx,yyy等的字典和相应的值。

谢谢 :)

解决方法

一个典型的例子是登录服务器,在成功登录后提供一个新的会话ID。此新会话ID应与其他请求一起使用。

这是从源代码获取代码,似乎适用于我。

  1. print 'cookie from login',response.headers.getlist('Set-Cookie')[0].split(";")[0].split("=")[1]

码:

  1. def check_logged(self,response):
  2. tmpCookie = response.headers.getlist('Set-Cookie')[0].split(";")[0].split("=")[1]
  3. print 'cookie from login',response.headers.getlist('Set-Cookie')[0].split(";")[0].split("=")[1]
  4. cookieHolder=dict(SESSION_ID=tmpCookie)
  5.  
  6. #print response.body
  7. if "my name" in response.body:
  8. yield Request(url="<<new url for another server>>",cookies=cookieHolder,callback=self."<<another function here>>")
  9. else:
  10. print "login Failed"
  11. return

猜你在找的HTML相关文章