دانلود کتاب Python web scraping: fetching data from the web

فهرست مطالب :

Cover......Page 1
Credits......Page 4
Copyright......Page 3
About the Authors......Page 5
About the Reviewers......Page 6
www.PacktPub.com......Page 7
Customer Feedback......Page 8
Table of Contents......Page 9
Preface......Page 13
When is web scraping useful?......Page 19
Is web scraping legal?......Page 20
Python 3......Page 21
Checking robots.txt......Page 22
Estimating the size of a website......Page 23
Identifying the technology used by a website......Page 25
Finding the owner of a website......Page 28
Scraping versus crawling......Page 29
Downloading a web page......Page 30
Retrying downloads......Page 31
Setting a user agent......Page 32
Sitemap crawler......Page 33
ID iteration crawler......Page 34
Link crawlers......Page 37
Parsing robots.txt......Page 40
Supporting proxies......Page 41
Throttling downloads......Page 42
Avoiding spider traps......Page 43
Final version......Page 44
Using the requests library......Page 45
Summary......Page 46
Chapter 2: Scraping the Data......Page 47
Analyzing a web page......Page 48
Regular expressions......Page 51
Beautiful Soup......Page 53
Lxml......Page 56
CSS selectors and your Browser Console......Page 57
XPath Selectors......Page 60
LXML and Family Trees......Page 63
Comparing performance......Page 64
Scraping results......Page 65
Overview of Scraping......Page 67
Adding a scrape callback to the link crawler......Page 68
Summary......Page 71
When to use caching?......Page 72
Adding cache support to the link crawler......Page 73
Disk Cache......Page 75
Implementing DiskCache......Page 77
Testing the cache......Page 79
Saving disk space......Page 80
Expiring stale data......Page 81
Drawbacks of DiskCache......Page 82
Key-value storage cache......Page 83
Installing Redis......Page 84
Overview of Redis......Page 85
Redis cache implementation......Page 87
Compression......Page 88
Testing the cache......Page 89
Exploring requests-cache......Page 90
Summary......Page 92
One million web pages......Page 93
Parsing the Alexa list......Page 94
Sequential crawler......Page 95
How threads and processes work......Page 97
Implementing a multithreaded crawler......Page 98
Multiprocessing crawler......Page 100
Performance......Page 104
Python multiprocessing and the GIL......Page 105
Summary......Page 106
An example dynamic web page......Page 107
Reverse engineering a dynamic web page......Page 110
Edge cases......Page 114
Rendering a dynamic web page......Page 116
Debugging with Qt......Page 117
Executing JavaScript......Page 118
Website interaction with WebKit......Page 119
Waiting for results......Page 122
The Render class......Page 123
Selenium......Page 125
Selenium and Headless Browsers......Page 127
Summary......Page 129
Chapter 6: Interacting with Forms......Page 131
The Login form......Page 132
Loading cookies from the web browser......Page 136
Extending the login script to update content......Page 140
Automating forms with Selenium......Page 144
BookmarkTitle:......Page 146
Summary......Page 147
Chapter 7: Solving CAPTCHA......Page 148
Registering an account......Page 149
Loading the CAPTCHA image......Page 150
Optical character recognition......Page 152
Further improvements......Page 155
Getting started with 9kw......Page 156
The 9kw CAPTCHA API......Page 157
Reporting errors......Page 162
Integrating with registration......Page 163
CAPTCHAs and machine learning......Page 164
Summary......Page 165
Installing Scrapy......Page 166
Starting a project......Page 167
Defining a model......Page 168
Creating a spider......Page 169
Tuning settings......Page 170
Testing the spider......Page 171
Different Spider Types......Page 173
Scraping with the shell command......Page 174
Checking results......Page 176
Interrupting and resuming a crawl......Page 178
Visual scraping with Portia......Page 180
Installation......Page 181
Annotation......Page 183
Running the Spider......Page 188
Checking results......Page 189
Automated scraping with Scrapely......Page 190
Summary......Page 191
Google search engine......Page 192
Facebook......Page 197
The website......Page 198
Facebook API......Page 200
Gap......Page 202
BMW......Page 206
Summary......Page 210
Index......Page 211