xml地图|网站地图|网站标签 [设为首页] [加入收藏]
权限组件源码分析,爬虫与反爬
分类:编程

目前遇到的反爬主要有以下几种

以前一直迷迷糊糊的,现在总算搞明白。

在上一篇文章中我们已经分析了认证组件源码,我们再来看看权限组件的源码,权限组件相对容易,因为只需要返回True 和False即可

  1. 访问频率
  2. 登录限制
  3. 通过Head封杀
  4. JavaScript脚本动态获取网站数据
  5. 验证码
  6. IP限制
  7. 网站内容反爬

Lambda表达式

代码

1.访问频率

如果访问一个网站过于频繁,网站后台管理可能会针对IP封锁一段时间。那么解决的方法就是有间隔的进行控制时间爬取,比如搞个随机数进行sleep,sleep不同的间隔,那么网站就识别不出是爬虫了,千万不要间隔一样的时间,有规律的时间间隔访问很容易就被网站识别出是人为的啦,可以借用scrapy框架中的setting文件中的智能算法,采用没有规律的时间间隔访问。

Lamda表达式基本写法是()=>{ };
Lambda和方法一样都可以传入参数和拥有返回值。(int x)=>{return x;};
Lambda表达式并不是C#独有的,其它语言也拥有Lambda表达式。

图片 1图片 2

2.登录限制

有些网站需要登录才能看到页面,如果进行爬虫的话,可以通过模拟登录就像浏览器一样,然后通过cookie记住登录状态,每次进行访问都携带者所需要的cookie过去,所以这种反爬机制也很容易解决。

一些文档上写Lambda是匿名函数,我认为是不对的,Lambda可以表示一个匿名函数,但是还可以来表示Linq表达式啊。

 1 class ShoppingCarView(ViewSetMixin, APIView):
 2      permission_classes = [MyPermission, ]
 3         def list(self,request, *args, **kwargs):
 4         """
 5         查看购物车信息
 6         :param args:
 7         :param kwargs:
 8         :return:
 9         """
10         try:
11             ret = BaseResponse()
12             pay_course_list = []
13             # key = 'shoppingcar_%s_%s' % (USERID, '*')
14             key = settings.SHOPCAR_FORMAT.format( request.user.id, "*")
15             user_key_list = COON.keys(pattern=key)  # 取到这个用户对应的所有课程字典 对应的键
16             for key in user_key_list:
17                 # 对应的每个键值 去取每个课程对应的信息 和价格列表
18                 temp = {
19                     'id': COON.hget(key, 'id').decode('utf8'),
20                     'name': COON.hget(key, 'name').decode('utf8'),
21                     'img': COON.hget(key, 'img').decode('utf8'),
22                     'default': COON.hget(key, 'default').decode('utf8'),
23                     'price_dict': json.loads(COON.hget(key, 'price_dict').decode('utf8')),
24                 }
25                 pay_course_list.append(temp)
26             ret.data = pay_course_list
27         except Exception as e:
28             ret.data = '查看失败'
29             ret.code = 00000
30         return Response(ret.dict)
31 
32 视图类

3.通过Head封杀

我们进行网页爬取的时候,会通过HTTP请求,HTTP请求包含请求头和请求体,有些网站会根据请求头部Head信息进行反爬虫封杀IP,比如可以通过请求头部的User-Agent来判断是否为爬虫还是浏览器。每个网站有一个robots.txt,一般都在服务器的根目录下,比如下面百度的,这个文件的作用是允许不同爬虫可以爬取不同目录下的文件的权限。

图片 3

当然我们爬虫不会傻傻的告诉网站我们是爬虫,一般都会通过修改User-Agent字段的值来伪造成浏览器。所以这种反爬机制也容易对付。

delegate委托

视图类

4.JavaScript脚本动态获取网站数据

现在网站大多都是通过这种方式来返回数据给用户,也是主要的反爬虫机制。网站利用ajax异步请求来获得数据,可以增加一定程度的爬虫难度。但不管怎么样,服务器能够返回数据给浏览器就说明浏览器要发送HTTP的请求,那么主要找到所请求的URL就可以得到想要的数据,不然就采用自动化selenium方式来获得数据。

委托基本的使用包括声明一个委托、实例化一个委托、使用一个委托

图片 4图片 5

5.验证码

这种方式难度就大了,验证码是专门用来区分人和机器的手段,目前能想到的一种方法是通过图像识别来识别出验证码。但是能够做到图像识别的,不是很容易的。

// 声明一个委托,类型是myDelegate,
public delegate void myDelegate(string str); 
public static void HellowChinese(string strChinese) 
{ 
    Console.WriteLine("Good morning," + strChinese); 
    Console.ReadLine(); 
} 
// 实例化   
myDelegate d = new myDelegate(HellowChinese); 
// 使用
d("Mr wang");
class MyPermission(BasePermission):
    message = 'VIP用户才能访问'

    def has_permission(self, request, view):
        """
        自定义权限只有VIP用户才能访问
        """
        # 因为在进行权限判断之前已经做了认证判断,所以这里可以直接拿到request.user
        if request.user and request.user.type == 2:  # 如果是VIP用户
            return True
        else:
            return False

6.IP限制

网站可能会将IP永久封杀掉,但是还是想继续访问的话,只能通过改变ip咯,改变ip的话就得用到IP代理,不过ip代理分两种,一种是透明代理,网站可以知道真实ip,另一种是高匿代理,网站无法获得访问的真实IP。可以借用西祠代理网站提供的免费代理。不过有一些是已经失效的。

委托很好用。当编程到一定阶段,发现只传递一个或几个int、strig类型参数是不够的,希望可以把一段代码进行传递来执行某个操作,委托提供了这样的途径,委托提供了一种可以直接访问类中方法的途径,可以将方法当作一个参数传递从而使用

自定义权限类

7.网站内容反爬

有一些网站将网站内容用只有人类可以接收的形式来呈现。比如将内容用图片的形式显示。这时候又得通过图像识别等方式啦,难度还是挺大的嘛!

总结:

不过怎么样,爬虫和反爬虫之间就是典型的攻防不同升级的斗争。

 

匿名函数

图片 6图片 7

上面已经讲到匿名函数了。函数和方法等价,用来封装一段代码片以便随时使用,有的有返回值有的无返回值。写在类里面。

urlpatterns = [
    url(r'^payment/$', payment.PaymentView.as_view({'post': 'create','put': 'update','get':'list'})),
]

但是如果我只想把这段代码片使用一次呢?再声明一个类、一个方法实在太麻烦,这时候匿名函数就拥有了价值。用来封装一段代码、直接执行或者传递。

路由

匿名函数总是和委托一齐使用,因为匿名函数方便了委托的使用(不用声明一个类了)

跟上一篇一样,来看代码是如何走到我自定义的权限类中的。

匿名方法两种实现方式:

1.首先从url中分析

使用Lambda表达式:

  1.先来到视图类中的as.view()方法

        public delegate void Seep();
        static void Main(string[] args)
        {

            Seep s = () => { Console.WriteLine(2); Console.WriteLine(1); };
        }

  图片 8

使用委托

  而我们的自定义的方法中没有as.view()方法,那就要去父类ViewSetMixin和APIView中去找,好看源码

 

2.分析源码

        public delegate void Seep();
        static void Main(string[] args)
        {
            Seep see = delegate () { Console.WriteLine(1); };
        }

  1.先看ViewSetMixin类中

 

    图片 9

Action、Func、Predicate

    

委托需要先声明一个类型才能使用,这很麻烦,比如我在某一个命名空间声明了一个没有返回值的委托myDelegate,然后想要这个委托的时候,每个命名空间都要引用这个命名空间,这太不友好了。

图片 10

微软直接就在框架中定义了三种委托:Action、Func、Predicate。这三种委托是C#的System命名空间中已经定义好的,如Action

class ViewSetMixin(object):
    """
    This is the magic.

    Overrides `.as_view()` so that it takes an `actions` keyword that performs
    the binding of HTTP methods to actions on the Resource.

    For example, to create a concrete view binding the 'GET' and 'POST' methods
    to the 'list' and 'create' actions...

    view = MyViewSet.as_view({'get': 'list', 'post': 'create'})
    """

    @classonlymethod
    def as_view(cls, actions=None, **initkwargs):
        """
        Because of the way class based views create a closure around the
        instantiated view, we need to totally reimplement `.as_view`,
        and slightly modify the view function that is created and returned.
        """
        # The suffix initkwarg is reserved for displaying the viewset type.
        # eg. 'List' or 'Instance'.
        cls.suffix = None

        # The detail initkwarg is reserved for introspecting the viewset type.
        cls.detail = None

        # Setting a basename allows a view to reverse its action urls. This
        # value is provided by the router through the initkwargs.
        cls.basename = None

        # actions must not be empty
        if not actions:
            raise TypeError("The `actions` argument must be provided when "
                            "calling `.as_view()` on a ViewSet. For example "
                            "`.as_view({'get': 'list'})`")

        # sanitize keyword arguments
        for key in initkwargs:
            if key in cls.http_method_names:
                raise TypeError("You tried to pass in the %s method name as a "
                                "keyword argument to %s(). Don't do that."
                                % (key, cls.__name__))
            if not hasattr(cls, key):
                raise TypeError("%s() received an invalid keyword %r" % (
                    cls.__name__, key))

        def view(request, *args, **kwargs):
            self = cls(**initkwargs)
            # We also store the mapping of request methods to actions,
            # so that we can later set the action attribute.
            # eg. `self.action = 'list'` on an incoming GET request.
            self.action_map = actions

            # Bind methods to actions
            # This is the bit that's different to a standard view
            for method, action in actions.items():
                handler = getattr(self, action)
                setattr(self, method, handler)

            if hasattr(self, 'get') and not hasattr(self, 'head'):
                self.head = self.get

            self.request = request
            self.args = args
            self.kwargs = kwargs

            # And continue as usual
       # 前面都是在对传参做判断和重新赋值,重要的是下面这一步,最后return 调用了dispatch方法

            return self.dispatch(request, *args, **kwargs)

图片 11

图片 12

本文由澳门新葡亰手机版发布于编程,转载请注明出处:权限组件源码分析,爬虫与反爬

上一篇:没有了 下一篇:5i5j房屋信息,存储之卷
猜你喜欢
热门排行
精彩图文