当前位置：杨哥视界 笔记 正文

如何禁止搜索引擎爬虫抓取网站页面？

2023-05-05 分类：笔记 次阅读 评论(1)

以下列举了屏蔽主流搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路，如果你不希望搜索引擎抓取你的页面，或者不希望web.archive.org留下历史信息，可以试一下这么做。

注意：是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫（蜘蛛）：

1、通过 robots.txt 文件屏蔽
可以说 robots.txt 文件是最重要的一种渠道（能和搜索引擎建立直接对话），给出以下建议：

User-agent: Baiduspider
Disallow: /
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Mobile
Disallow: /
User-agent: Googlebot-Image
Disallow:/
User-agent: Mediapartners-Google
Disallow: /
User-agent: Adsbot-Google
Disallow: /
User-agent:Feedfetcher-Google
Disallow: /
User-agent: Yahoo! Slurp
Disallow: /
User-agent: Yahoo! Slurp China
Disallow: /
User-agent: Yahoo!-AdCrawler
Disallow: /
User-agent: YoudaoBot
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: Sogou spider
Disallow: /
User-agent: Sogou web spider
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: Tomato Bot
Disallow: /
User-agent: *
Disallow: /

2、通过 meta tag 屏蔽
在所有的网页头部文件添加，添加如下语句：

<meta name="robots" content="noindex, nofollow">

3、通过服务器（如：Linux/nginx ）配置文件设置
直接过滤 spider/robots 的IP 段。

赞 2 打赏
未经允许不得转载：杨哥视界 » 如何禁止搜索引擎爬虫抓取网站页面？
分享到

相关推荐

评论 1

取消

  1. #1

    屏蔽主流搜索引擎爬虫，感觉使用这个功能的人不多！

    五行缺失5个月前 (03-10)回复

时间轴

  • 小米澎湃OS（HyperOS）绕过限制解bootloader锁（BL锁）教程

    ★该方法适用于非原生小米澎湃OS（HyperOS）系统的手机，如果是小米14以上就不用往下看了。 ★如果你的手机原生系统是MIUI，后续升级到的HyperOS，可以继续往下看。 ★该脚本原理是将手机版本伪装成miui14从而绕过hyperOS的社区等级及答题限制。 ★本教程只作为笔记使用，复杂问题我也解决不了。 项目地址：https://github.com/MlgmXyysd/Xiaomi-HyperOS-BootLoader-Bypass 以下是食用教程：

    一、准备工作

    1、仔细阅读该脚本的“前置要求”：https://github.com/MlgmXyysd/Xiaomi-HyperOS-BootLoader-Bypass/blob/master/docs/README-zh.md 如果无法打开，也就是以下内容： 
    一个有效的设备:

一个未被封禁*的小米、红米或 POCO 设备。
设备正在运行官方版 HyperOS。
(2023/11/23 更新) 您的设备不会被小米强制验证账户资格。
一个有效的 SIM 卡:

* 无法使用 SIM 卡的平板电脑除外。
SIM 卡不得处于停机或无服务状态。
SIM 卡需要能够连接到互联网。
每张有效 SIM 卡在三个月内只能解锁 2 台设备。
一个有效的小米账号:

一个未被封禁*的小米账号。
每个账号一个月只能解锁一部手机，一年只能解锁三部手机。
您已阅读并理解上述 警告。

* 根据小米提供的解锁说明，某些账号和设备将被禁止使用解锁工具，这被称为"风控"。

    二、使用方法

    1、从php官方网站下载适用于您操作系统的 PHP 8.0+，例如下图，然后进行解压。 小米澎湃OS（HyperOS）绕过限制bootloader教程 解压出来的文件路径不要带有中文 小米澎湃OS（HyperOS）绕过限制bootloader教程 2、打开 CMD ，输入 CD +文件夹路径 → 回车 → 输入 php.exe -v → 回车，用来验证安装是否成功 小米澎湃OS（HyperOS）绕过限制bootloader教程 3、通过git项目下载所需脚本文件： 项目地址：https://github.com/MlgmXyysd/Xiaomi-HyperOS-BootLoader-Bypass/releases 小米澎湃OS（HyperOS）绕过限制bootloader教程解压，得到文件： 小米澎湃OS（HyperOS）绕过限制bootloader教程4、将所有文件复制到 php文件目录下： 小米澎湃OS（HyperOS）绕过限制bootloader教程5、在php文件目录下找到“php.ini”文件，并用记事本打开。 5.1、通过查找，找到关键字 extension_dir = "ext"，并将前面的“;”（分号）去掉 5.2、通过查找，找到关键字 extension=curl，并将前面的“;”（分号）去掉 小米澎湃OS（HyperOS）绕过限制bootloader教程小米澎湃OS（HyperOS）绕过限制bootloader教程小米澎湃OS（HyperOS）绕过限制bootloader教程6、打开手机 → 设置 → 开发者选项 ，并打开以下设置（开发者选项如何进入自行百度） 小米澎湃OS（HyperOS）绕过限制bootloader教程小米澎湃OS（HyperOS）绕过限制bootloader教程 7、通过数据线连接手机小米澎湃OS（HyperOS）绕过限制bootloader教程 8、打开php目录下 bypass.cmd文件，运行以后手机会提示“允许USB调试吗？”或自动跳转开发者选项（如没有跳转手动打开即可） 9、脚本出现 Now you can bind account in the developer options. 的黄字提示的时候，点击手机 → 设置 → 开发者选项 找到“设备解锁状态”点击进入，选择“绑定账号和设备”，点击后脚本会自动运行解锁，如果成功则会看到下列提示： 小米澎湃OS（HyperOS）绕过限制bootloader教程 10、之后打开小米官方解锁工具，按操作进行解锁，之后则需要等待168小时即可。 小米澎湃OS（HyperOS）绕过限制bootloader教程 11、如果遇到报错情况，可查看原项目中提到的错误代码解答，而由于在该漏洞在公布出去以后，小米进行了封堵，部分最新版的HyperOS在解锁的时候会出现10000报错，用户可以通过降级旧版设置（覆盖安装）来使用旧版的加密方案（下载后，使用文件管理进行安装）。使用旧版加密方案的设置 APK（提取自红米 Marble V816.0.5.0.UMRINXM）已上传到 Releases，出现 10000 报错后可尝试临时使用，或者自行去提取其他机型的。在脚本绑定成功后可卸载更新恢复降级（对“设置”长按，点击右上角“！”即可看到卸载更新）。 小米澎湃OS（HyperOS）绕过限制bootloader教程

  • 办192号段，iPhoneX iOS13.3 刷IPCC用192的广电卡

    过年期间广电网络搞活动，放了一批192开头的号码，每个地区都有一些好的号码，例如北京的有192-0110-0110、192-0110-1234，这些号码低消也只要58元/月，预存1500就能开出来，而有一些4A的号码则要预存5000以上。 而我看中区号+4A，但没有在这次活动中放出来，所以找了关系，联系到了广电的人，表明来意后，对方帮我选择了单独申请，申请较为繁琐，因为说是什么吉祥号，刚好又是过年期间，所以时隔一个月才拿到号码，合约36个月，保底消费189元/月（开了一个双百套餐，剩下还能在权益超市里开各种会员，凑够189元就够了），其他的4A号码则最低需要120个月，350多的低消，消费不起，区号+4A难求，移动、联通、电信都是玩不起的高端货，所以只能选择一个最便宜，时间最短的，到期后就任意改资费了，虽然是192开头，但毕竟是广电唯一的号段，而且用的也是移动基站，问题不大，今天刚拿到。 办192号段，iPhoneX iOS13.3 刷IPCC用192的广电卡 拿回来以后，放在iPhoneX（iOS13.3）里没有信号，需要iOS16.4以上能直接读出来，但我的已经越狱了，不想更新，所以找了许久，终于找到方法：刷广电的ipcc 文件：链接: https://pan.baidu.com/s/1cvv43XMLOuMJSvHGMzJ8_g?pwd=8cta 提取码: 8cta
    使用方法：
    1、下载 ipcc 格式的配置文件。
    2、在电脑上使用组合键 Win+R 打开“运行”，输入 cmd 打开命令执行程序，输入
    "C:Program FilesiTunesiTunes.exe" /setPrefInt carrier-testing 1
    注意：双引号不可删除，引号内容为 iTunes 的路径，输入前请根据自己的实际安装情况更改。
    3、然后打开 iTunes 并连接设备，按住 Shift 键然后点击更新，选择刚刚下载的 .ipcc 格式配置文件，点击“确定”即可。
    目前使用上没有任何问题，包括激活iMessage、上网、短信、电话，但由于iPhoneX只有4G硬件，只能使用4G。 办192号段，iPhoneX iOS13.3 刷IPCC用192的广电卡办192号段，iPhoneX iOS13.3 刷IPCC用192的广电卡

  • 密码保护：Cloudflare防火墙部署指南【过滤恶意流量恶意爬虫威胁】

    此内容受密码保护。如需查阅，请在下列字段中输入您的密码。

  • 密码保护：创建icloud域名邮箱并薅iCloud+土区羊毛（2023年12月）

    此内容受密码保护。如需查阅，请在下列字段中输入您的密码。

  • 通过bind自建DNS，把任意域名返回固定IP

    第一步：注册NS，大部分注册商都支持，自行在后台查找。 第二步：解析NS，通过你现有的DNS将NS域名解析到服务器IP，例如NS1.domain.com A记录解析到服务器。 第三步：安装bind系统，以CentOS7.x为例 SSH终端执行：yum install -y bind bind-chroot bind-utils 第四步：修改主配置文件 /etc/named.conf   
    options {
        listen-on port 53 { any; }; //监听端口
        listen-on-v6 port 53 { ::1; };
        directory         "/var/named";
        dump-file         "/var/named/data/cache_dump.db";
        statistics-file "/var/named/data/named_stats.txt";
        memstatistics-file "/var/named/data/named_mem_stats.txt";
        recursing-file  "/var/named/data/named.recursing";
        secroots-file   "/var/named/data/named.secroots";
        allow-query     { any; }; //允许访问的IP地址段，这里设置为所有
        recursion yes;
        dnssec-enable yes;
        dnssec-validation yes;

        /* Path to ISC DLV key */
        bindkeys-file "/etc/named.root.key";

        managed-keys-directory "/var/named/dynamic";

        pid-file "/run/named/named.pid";
        session-keyfile "/run/named/session.key";
};

logging {
        channel default_debug {
                file "data/named.run";
                severity dynamic;
        };
};

zone "." IN {
        type master;
        file "domain.Com";
};

include "/etc/named.rfc1912.zones";
include "/etc/named.root.key";
      第五步：到 /var/named/ 文件夹创建一个为 domain.Com 的文件 可以自己定义 需要与上面的 file "domain.Com"; 文件名称对应 第六步：编辑 domain.Com 文件的内容如下： 其中1.2.3.4 是你服务器的IP地址 其中info.domain.com 是你的邮箱地址 
    $TTL 1D
@        IN        SOA      @        info.domain.com. (0 3600 120 600 10 )
         IN        NS       @
         IN        A        1.2.3.4
*        IN        A        1.2.3.4
      第七步：依次在终端执行以下命令： 启动named服务：systemctl start named 将服务添加到开机启动：systemctl enable named 重启服务：systemctl restart named 到此，一个简单的自建DNS就结束了，为了DNS的稳定性，建议把重启命令加入到服务器的定时任务中。每12小时重启一次访问。

  • 巧用百度 APP 代理规避网站反爬

    爬虫是一种程序，它可以自动地访问网站并抓取数据。但是，如果爬虫发送的请求过于频繁，服务器可能会将其 IP 地址屏蔽，这就需要使用代理 IP 来访问，然而高质量的代理 IP 价格通常较贵。因此，我们可以使用百度 APP 的代理进行数据抓取。

    代理 IP 信息：

    • HOST: cloudnproxy.baidu.com
    • PORT: 443
    需要注意的是，百度代理会校验 User-Agent。因此，我们需要在正常的 User-Agent 后面追加 baiduboxapp/13.10.0.10。有些实现会要求在 Headers 中添加 X-T5-Auth，但经过测试，这个 key 其实是不必要的。

    代码实现

    import requests


def send_request_via_proxy(*args, **kwargs):
    baidu_proxy = 'cloudnproxy.baidu.com:443'
    kwargs['proxies'] = {'http': baidu_proxy, 'https': baidu_proxy}
    if 'headers' not in kwargs:
        kwargs['headers'] = {}
    if 'User-Agent' not in kwargs['headers']:
        kwargs['headers']['User-Agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 ' \
                                          '(KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36'

    kwargs['headers']['User-Agent'] += ' baiduboxapp/13.10.0.10'
    # kwargs['headers']['X-T5-Auth'] = '196289709'
    resp = requests.request(*args, **kwargs)
    return resp


if __name__ == '__main__':
    api = 'https://pubstatic.b0.upaiyun.com/?_upnode'
    ip_info = send_request_via_proxy('GET', api).json()
    print(ip_info['remote_addr'])
    print(ip_info['remote_addr_location'])
    运行代码，可以看到我们的 IP 地址已经变成了百度的代理 IP 地址 
    $ python3 proxy-test.py
180.101.81.32
{'country': '中国', 'isp': '电信', 'province': '江苏', 'continent': '亚洲', 'city': '苏州'}
    每次请求的出口 IP 随机，这样就可以避免被服务器屏蔽了。

    代理 IP 池

    使用 ping 命令，可以获取多个地点的入口 IP，但是出口 IP 仍然是随机的，这点需要注意。 
    220.181.7.1  中国北京电信
220.181.33.174  中国北京电信
220.181.111.189  中国北京电信
180.97.93.202  中国江苏苏州 电信
180.97.104.168  中国江苏南京 电信
14.215.179.244  中国广东广州 电信
157.0.148.53  中国江苏苏州 联通
153.3.236.22  中国江苏南京 联通
110.242.70.69  中国河北保定 联通
110.242.70.68  中国河北保定 联通
157.255.78.51  中国广东广州 联通
36.152.45.98  中国江苏南京 移动
36.152.45.97  中国江苏南京 移动

    缺点

    因为这个代理本身就很多用户在使用，所以一些反爬比较严格的网站可能会拦截这个代理的请求。 其实这个代理有一些其他的用法（比如流量卡），但是可能涉及到一些法律问题，这里就不多介绍。

随机推荐

热门标签

WordPress(14)域名(12)Python(7)服务器(5)宝塔(4)QQ(3)Typecho(3)css(2)黑产(2)Domain(2)腾讯云(2)GV(2)Google Voice(2)优化(2)Memcached(2)Redis(2)NAS(2)公网(2)抢注(2)小米(2)WISE(1)电信(1)联通(1)泄露(1)Bulma(1)语言(1)学习(1)谷歌(1)翻译(1)Hack域名(1)

网上邻居

桂ICP备20001561号-4 · 服务热线：+1（616）6666250 · Investor Relations · © 2023 杨哥视界 版权所有 · 违法和不良信息举报：+1（616）6666250 · 举报邮箱：infoATyangr.com

觉得文章有用就打赏一下文章作者

非常感谢你的打赏，我们将继续给力更多优质内容，让我们一起创建更加美好的网络世界！

支付宝扫一扫打赏

微信扫一扫打赏