北风之神c:
你这个scrapy爬虫总结的很全面很有条理，写得好赞，博主用心了！
Scrapy 是经典框架，但我最近在探索一种更现代的替代方案：
但是scrapy来爬虫非常麻烦，写法难度高，
国产神级别分布式函数调度框架 funboost python万能通用函数加速器 https://funboost.readthedocs.io/zh-cn/latest/articles/c8.html ，
只需要@boost一行代码，可以加到任意新/旧爬虫项目 ,写法爽快 简单 自由。
此框架如果用于爬虫，不管从任何方面比较可以领先碾压scrapy 20年，因为从根本理念上对scrapy api方式的框架造成巨大的降维打击,99%用户用了1小时后都无不惊叹发出卧槽,感叹自己之前编程白活了。
昔有Scrapy窃据神器，挟Twisted之技而令诸侯，然其框架繁苛，回调如狱，岁月更迭，其势已衰，其道已孤，弊病丛生，开发者苦之久矣！
今有Funboost，顺天应人，聚函数神力，携`@boost`之雷霆，以大道至简之义，破枷锁，扫陈规，伐无道，正本清源，布告天下！此诚不可逆之大势也！
依托于funboost的强大可视化管理，不登录机器可以轻松掌控分布式大规模爬虫运行状态，一目了然。
可视化截图： https://funboost.readthedocs.io/zh-cn/latest/articles/c13.html
Scrapy十败如山崩，Funboost十胜如日升！
funboost剑锋所指，scrapy框架枷锁必将斩断！函数光辉，普照四海！
pip install funboost