然后在服务器级别阻止它们

Ragebur11

本文的主要目的是告诉行业专家如何开始审核该领域的站点，以及如何使用 Excel 正确分析日志文件以识别“肆无忌惮”的机器人程序，然后在服务器级别阻止它们。文章作者还将讨论如何消除 Google Analytics 报告中的失真。

查找日志文件
如您所知，服务器会记录对该站点的所有调用，并将它们以带 阿曼电话号码列表 有列表的文本文件的形式存储。真实用户是否访问该站点（例如，通过 Firefox 浏览器）或 Googlebot 是否抓取资源的新页面都无关紧要 - 所有这些活动都记录在一个特殊文件中。这些文件的位置取决于服务器或主机的类型。

因此，如果资源的所有者使用付费的cPanel虚拟主机控制面板，那么记录对站点的所有调用的文件将位于单独的链接下：



在Apache服务器界面中，日志文件的路径为：/var/log 然后在子目录中您应该运行 access.log 命令 - 这将允许您快速找到服务器上的日志文件。

如果使用Microsoft IIS（Internet Information Services ）的一组服务器作为主机，那么路径如下：控制面板-管理工具-Internet Information Services（IIS）管理器-选择一个网站-之后需要右键- 单击属性选项卡 - 选择选项卡网站 - 属性 - 常规属性。对于英文版产品，操作顺序为：控制面板 -> 管理工具 -> Internet 服务管理器 -> 选择网站 -> 右键单击​​属性 -> 网站选项卡 -> 属性 -> 常规属性选项卡。

我们计算每个 IP 地址的命中数并统计 User Agent 的访问次数
找到所有日志文件后，您需要将它们合并为一个文件并使用任何方便的方法将它们上传到 Excel。考虑到单个日志文件的体积，这通常很难做到。同时，对于中小型站点进行上述操作，一台标准电脑的性能就足够了。