Semalt: Làm thế nào để sử dụng Python để cạo trang web?

Dữ liệu đóng một vai trò quan trọng trong các cuộc điều tra, phải không? Nó có thể dẫn đến một cách nhìn mới về mọi thứ và phát triển những hiểu biết khác. Điều đáng tiếc nhất là dữ liệu bạn đang tìm kiếm thường không có sẵn. Bạn có thể tìm thấy nó trên Internet, nhưng nó có thể không ở định dạng có thể tải xuống. Trong trường hợp như vậy, bạn có thể sử dụng kỹ thuật quét web để lập trình và thu thập dữ liệu bạn cần.

Có một số cách tiếp cận và ngôn ngữ lập trình có thể giúp đỡ trong quá trình này. Bài viết này sẽ hướng dẫn bạn cách sử dụng ngôn ngữ python để loại bỏ một trang web. Bạn sẽ đạt được rất nhiều hiểu biết về hoạt động của các trang web. Bạn cũng sẽ hiểu cách các nhà phát triển cấu trúc dữ liệu trên bất kỳ trang web nào.

Điểm khởi đầu tốt nhất là tải xuống và cài đặt Phân phối Python Anaconda trên máy tính của bạn. Bạn cũng có thể thực hiện một số hướng dẫn về những điều cơ bản của ngôn ngữ lập trình này. Nơi tốt nhất để khởi hành có thể là Codecademy đặc biệt là nếu bạn không có ý tưởng nào trong lĩnh vực này.

Hướng dẫn này sẽ sử dụng trang web niêm yết hiện tại của Polk Country cho các tù nhân. Chúng tôi sẽ hướng dẫn bạn cách sử dụng tập lệnh Python để trích xuất danh sách tù nhân và nhận một số dữ liệu như thành phố cư trú và cuộc đua cho từng tù nhân. Toàn bộ tập lệnh mà chúng tôi sẽ đưa bạn qua được lưu trữ và mở tại GitHub. Đây là một trong những nền tảng trực tuyến phổ biến cho phép chia sẻ mã máy tính. Các mã có một danh sách dài các bình luận có thể giúp ích cho bạn.

Khi quét bất kỳ trang web nào, công cụ đầu tiên cần tìm là trình duyệt web. Hầu hết các trình duyệt sẽ cung cấp cho người dùng các công cụ kiểm tra HTML hỗ trợ nâng hạ khoang máy và hiểu được cấu trúc trang. Cách bạn truy cập mỗi công cụ khác nhau từ trình duyệt này sang trình duyệt khác. Tuy nhiên, nền tảng chính là 'nguồn xem trang và bạn có thể lấy nó bằng cách nhấp chuột phải vào trang trực tiếp.

Khi bạn xem nguồn HTML của trang, bạn nên liệt kê gọn gàng các chi tiết của các liên kết đến tù nhân trong các hàng của bảng. Bước tiếp theo là viết một kịch bản mà chúng ta sẽ sử dụng để trích xuất thông tin này. Hai gói Python mà chúng ta sẽ sử dụng trong quy trình nâng hạng nặng là Beautiful Soup và Requests. Hãy chắc chắn rằng bạn cài đặt chúng trước khi bạn bắt đầu chạy mã.

Kịch bản quét web sẽ làm ba việc. Chúng bao gồm tải các trang liệt kê và trích xuất các liên kết đến các trang chi tiết, tải từng trang chi tiết và trích xuất dữ liệu và in dữ liệu được trích xuất tùy thuộc vào cách nó được lọc như thành phố cư trú và chủng tộc. Khi bạn hiểu điều này, bước tiếp theo là bắt đầu quá trình mã hóa bằng cách sử dụng Beautiful Soup and Requests.

Đầu tiên, tải một cách hợp lý trang danh sách tù nhân bằng cách sử dụng URL request.get và sau đó sử dụng món súp đẹp mắt để ví nó. Sau đó, chúng tôi trích xuất liên kết đến các trang chi tiết bằng cách lặp qua từng hàng. Sau khi phân tích chi tiết tù nhân, bước tiếp theo là trích xuất giới tính, tuổi tác, chủng tộc, thời gian đặt chỗ và giá trị tên vào từ điển. Mỗi tù nhân sẽ nhận được từ điển của mình và tất cả các từ điển sẽ được thêm vào danh sách của tù nhân. Cuối cùng, lặp lại các giá trị cuộc đua và thành phố trước khi cuối cùng bạn in ra danh sách của mình.