Thông Tin Mới Về Danh Sách IP của Google Crawler

Danh Sách IP Mới

Google đã cập nhật tài liệu về Googlebot và crawler để thêm một loạt IP cho các bot được kích hoạt bởi người dùng của các sản phẩm Google. Tên của các feeds đã được chuyển đổi, điều quan trọng đối với các nhà xuất bản đang whitelist địa chỉ IP được kiểm soát bởi Google. Thay đổi này sẽ hữu ích cho các nhà xuất bản muốn chặn các scraper sử dụng đám mây của Google và các crawler không liên quan trực tiếp đến Google.

Mục Mới Về Nội Dung

Có một mục nội dung mới giải thích về danh sách mới là gì.

'Các fetcher được kiểm soát bởi Google bắt nguồn từ các IP trong đối tượng user-triggered-fetchers-google.json và giải quyết thành tên máy chủ google.com. Các IP trong đối tượng user-triggered-fetchers.json giải quyết thành tên máy chủ gae.googleusercontent.com. Các IP này được sử dụng, ví dụ, nếu một trang web chạy trên Google Cloud (GCP) có một tính năng yêu cầu lấy các feeds RSS bên ngoài theo yêu cầu của người dùng của trang web đó. ---.gae.googleusercontent.com hoặc google-proxy----.google.com user-triggered-fetchers.json và user-triggered-fetchers-google.json'

Thay Đổi Của Google

Changelog của Google giải thích các thay đổi như sau:

'Xuất khẩu một loạt IP thêm của Google fetcher

Điều gì: Thêm một danh sách IP bổ sung cho các fetcher được kiểm soát bởi các sản phẩm của Google, so với ví dụ, một Apps Script được kiểm soát bởi người dùng. Danh sách mới, user-triggered-fetchers-google.json, chứa các phạm vi IP đã được sử dụng từ lâu.

Tại sao: Trở thành kỹ thuật có thể xuất khẩu các phạm vi.'

Đọc tài liệu cập nhật:

Xác minh Googlebot và các crawler Google khác

Đọc tài liệu cũ:

Archive.org - Xác minh Googlebot và các crawler Google khác

Ảnh đặc trưng bởi Shutterstock/JHVEPhoto