对于Bitabase这个项目,我并没有计划把它做得很复杂。首先分为两个大模块:Bitabase
部分承担真正的爬取工作部分,web
(还没有想好名字)会渲染一个简单的本地网站用于把数据展示出来,以及提供操作接口以控制爬虫的工作。虽然项目迁移到了macOS/PyCharm的开发环境,但是依然保留着Visual Studio的结构,因为……懒。开玩笑啦,要不是VS的补全实在太慢,也许到现在这还是一个Windows底下开发的项目。
Bitabase
底下没有更加细分的模块。interface.py
是面向标准库和第三方库的一个封装,理论上其上方的代码就不用再直接引用任何其他库了,全部需求可以由它本身满足;base.py
是代码真正的基础,将interface.py
里提供的原始的、面向过程的接口改造成为需求量身定制的形状,所有应用层的代码(比如web
模块)都不应该越过base
而直接引用interface
。今天要讲的就是base
模块当中最开始的一部分。