一键禁用 AI 模型爬虫机器人，Cloudflare 推出防火墙服务
创始人
2024-07-05 15:42:12
0次
IT之家 7 月 5 日消息，网络服务商 Cloudflare 近日推出一款名为“Bot Fight Mode”的防火墙工具，站长们可以在控制台开启相关服务，从而防止自己网站的内容被用于训练AI的机器人爬虫扒取。
IT之家注：爬虫是一种自动化的程序，可以在互联网上搜索和获取信息，目前许多厂商使用相关爬虫扒取各大网站信息用于训练AI模型，相关爬虫容易导致被扒网站产生大量异常流量，为此站长需支付高昂的网络带宽费用，同时也容易导致网站上大量原创 / 隐私内容泄露。
据悉，Cloudflare 推出的相关工具主要利用签名比对、启发式算法、机器学习和行为分析技术来辨别爬虫，站长还可以按照需要放行“好的 AI 机器人”抓取信息（此类“好的 AI 机器人”主要寻找网站的 robots.txt来获取信息，通常不会对网站本身产生异常流量，也不会将网页所有数据直接用于全盘训练模型）。
互联网为许多大语言模型（如OpenAI的GPT模型和谷歌的Bard）提供了大部分的训练数据，如今许多厂商为了刷自家AI模型分数，大肆通过网络爬虫“拿来式”地获取训练数据，从而让本应你情我愿的行为变得“污名化”，各大网络商直接推出此类禁用AI爬虫的服务也在意料之中。
相关内容
热门资讯
链家用上了上海电信“AI督导员...
“智云上海”助力链家开启智慧门店新范式 作者／ IT时报 毛宇 编辑／ 钱立富 孙妍 在城市的大街小...
无人种植，现代农业的“无人之境...
无人种植是一种具有革命性的现代农业模式，拥有强大生命力与巨大发展潜力，它集成了智能设备和先进的人工智...
物流网络货运平台的创新力量：跨...
物流网络货运平台的兴起，标志着物流行业进入了一个全新的智能化时代。在这个变革的浪潮中，跨越速运以其卓...
国内领先的新能源供应商签约神州...
近日，国内领先的新能源供应商创明智能电池与神州云动CloudCC达成深度合作，依托CloudCC P...
杭州三立电炉取得新型淬火油槽专...
金融界2025年8月19日消息，国家知识产权局信息显示，杭州三立电炉有限公司取得一项名为“一种新型淬...
雅安小航电器取得组合开关专利，...
金融界2025年8月19日消息，国家知识产权局信息显示，雅安小航电器股份有限公司取得一项名为“一种组...
鸿富精密取得具有排屑功能铣刀专...
金融界2025年8月19日消息，国家知识产权局信息显示，常州市鸿富精密工具有限公司取得一项名为“一种...
黟县宏村数字赋能乡村文旅加“数...
中新网安徽新闻8月19日电 （宋诚钊）在数字浪潮席卷乡村的当下，宏村镇塔川村以数字化为笔，以文旅资源...
世界人形机器人运动会亚军！恭喜...
党委宣传部融媒体中心 「青年万象」出品 全球首个以人形机器人 为参赛主体的综合性赛事—— 2025世...
诚意满满的Model YL，能...
真不愧是特斯拉。 当大伙都在一个新车搞三次发布会的时候，特斯拉 Model Y L （后称 YL）直...
辛巴退网，一步一回头
出品｜虎嗅黄青春频道 作者｜商业消费主笔 黄青春 头图｜视觉中国（左辛巴，右初瑞雪） “跟大家做个告...
业内专家：充电宝3C认证新规将...
近日，国家认证认可监督管理委员会制定的《强制性产品认证实施规则移动电源、锂离子电池和电池组（试行）》...
原创 同...
不知道大家注意到没有，安卓阵营各厂商在推出新一代旗舰机型之前，总会有一些起到预热作用的机型出现，这里...
吉通凯撒铝业取得控制臂锻造模具...
金融界2025年8月19日消息，国家知识产权局信息显示，长春市吉通凯撒铝业有限责任公司取得一项名为“...
机器人越跑越快，不只是赢了比赛...
来源：2025世界人形机器人运动会 官网 文/李博 赵斌 17日，世界人形机器人运动会落幕。在百米“...
科蓝软件推出鸿蒙智能数币机器人...
科蓝软件近日在2025世界机器人大会上展示了其推出的鸿蒙智能高柜数币机器人“小蓝”，该产品以非人形设...
索诺克取得具备稳固性能的投影机...
金融界2025年8月19日消息，国家知识产权局信息显示，索诺克（苏州）光电有限公司取得一项名为“一种...
“双万兆”为人形机器人产业筑牢...
8月17日，全球首个以人形机器人为参赛主体的综合性赛事——“2025世界人形机器人运动会”在国家速滑...
调查显示韩国过半数上班族工作中...
转自：新华社 新华财经北京8月19日电（欧飒）韩国中央银行韩国银行18日说，该机构开展的一项调查显示...
格力电器获得发明专利授权：“喷...
证券之星消息，根据天眼查APP数据显示格力电器（000651）新获得一项发明专利授权，专利名为“喷气...