上篇中我们获取了重庆的一二级区（Scrapy爬取重庆安居客二手房并存入mysql数据库（上）），这一篇我们根据二级区获取相应的二手房信息。初始化数据库创建二手房信息数据库表，house表存放二手房信息，house_price存放价格（定期获取分析价格趋势）：CREATE TABLE `house` (`id` int UNSIGNED AUTO_INCREMENT,`a...

scrapy是什么Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。官网地址：https://scrapy.org/官方文档：https://docs.scrapy.org/en/latest/Github：https://github.com/scrapy/scrapy准备工作本项目环境：python...

通过启动服务的时候设置系统变量解决自动生成log.path_IS_UNDEFINED目录问题，-Dlog.path=D:/logs参考：https://www.cnblogs.com/alexgl2008/articles/12462720.html

在项目中，一般情况下访问数据库，会创建一个连接，用完后就关闭它，对于简单的系统这样不会带来什么明显的性能上的开销。但是对于一个复杂的系统，频繁的建立、关闭连接，会极大的减低系统的性能，因为对于数据库连接的使用可能会成为系统性能的瓶颈。数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而不是再重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释

最近使用SpringCloud搭建微服务，使用Gateway网关统一对外提供API接口，项目使用前后端分离，前端开发对接接口的时候抛出接口提示跨域问题不能调用。才注意到Gateway网关没有跨域相应的配置，默认情况下，是不允许任何跨源请求的，必须显式配置以指示应允许的内容。通过官网文档查阅、网上其他网友总结，最后使用官方文档描述的方法通过配置的方式解决了Gateway网关跨域的问题。spring:

前两年将家里的电信宽带升级到光纤，光猫也随之进行了升级，当时升级好后，电信工作人员介绍说新的光猫带有wifi功能，如果连接路由器可以不用配置路由器的拨号设置，说是升级到光纤后可以直接连接网线上网，不用再拨号了。当时也没怎么在意，网线连上路由器之后，果然没做宽带的账号设置就可以正常上网了。最近在使用一个软件客户端的时候需要设置宽带拨号的方式更换IP才能使用某个功能，然后才发现家里的宽带升级到光纤后，

项目中日志是比较常见的一个功能模块，在开发阶段和运维阶段我们可以根据日志排查项目出现的问题，同时可以为项目运营阶段提供业务数据分析。所以日志是项目中不可或缺的功能模块，项目中一般会根据项目需要开发偏向业务的日志模块，而本博客主要介绍第三方日志框架NLog。通过引入NLog日志框架，项目中可以快速的实现基本的日志模块，大大的提高了开发效率。NLog的Github地址：https://github..

项目中对象与对象赋值转换使用的频率非常的高，比如数据库表实体对象(Entity)与业务类对象(Model)之间的赋值传递，或者模型对象（Model）与视图对象（ViewModel）之间的赋值传递。如果我们一个一个字段的赋值，将是非常繁琐并且毫无价值的重复工作，此时虽然我们可以自己通过反射提取个公共的方法来处理，但是更高效的方式是查看是否有第三方已经提供了比较成熟稳定的工具包，避免重复造轮子的工作。

本文介绍的方式是使用docker-maven-plugin的方式构建SpringBoot的docker镜像以及推送到私服或docker hub服务器上。