安装Anaconda集成环境

推荐使用集成环境开发项目,安装步骤略

安装scrapy框架

pip install scrapy

安装可能出现的问题

问题1

Microsoft Visual C++ 14.0 is required...

解决方案

https://blog.csdn.net/nima1994/article/details/74931621?locationNum=10&fps=1

问题2

time out

解决方案

pip install -i https://pypi.douban.com/simple scrapy

问题3

from cryptography.hazmat.bindings._openssl import ffi, lib
ImportError: DLL load failed: %1

解决方案

pip uninstall pyopenssl
pip uninstall cryptography
pip install pyopenssl
pip install cryptography

问题4

ModuleNotFoundError: No module named '_cffi_backend'

解决方案

pip install pypiwin32

问题5

scrapy shell url 发生TypeError: 'float' object is not iterable

解决方案

检查当下的twisted版本是17.1.0， 需要切换至16.6.0
pip uninstall twisted
pip install twisted==16.6.0