欢迎大家点赞、收藏、关注、评论
文章目录
前言一、项目介绍二、开发环境三、功能需求分析1 数据采集功能设计2数据管理功能设计3爬虫功能需求分析4 数据可视化功能需求分析数据库表的设计
四、核心代码五、效果图六、文章目录
前言
房价是一个国家经济水平的重要体现，也是反映居民生活质量和水平的最直接的指标。目前我国住房制度以租售并举形式出现，房屋所有权人通过出售、出租房屋获得租金收入。但是由于房价波动较大，不能及时反映房价变化趋势，需要预测房价来指导市场。研究房产价格走势，可以为房地产价格的调控提供参考依据。本系统通过对网络爬虫的分析，研究58同城网房屋数据，尝试使用Python技术进行开发，将58同城网房产信息和房屋数据尽可能的爬取出来，并对结果进行检测判断，最后可视化分析出来，为用户提供精确的查询结果。基于Python的房价预测系统旨在提高数据挖掘的效率，便于科学的管理和分析房屋数据。 本文先分析基于Python的房价预测系统的背景和意义；对常见的爬虫原理，获取策略，信息提取等技术进行分析；本系统使用python进行开发，MySQL数据库进行搭建，实现了房产的数据爬取；对数据库的查询结果进行检测并可视化分析，对系统的前台界面进行管理，分析爬取的结果，并对房价预测结果进行大屏显示；最后通过测试实现了数据爬取，存储过滤和数据可视化分析，以及系统管理等功能。
[关键词] 爬虫，python，58同城网，关键字，房价预测
一、项目介绍
在技术上，本文利用Python技术进行数据爬取，这种简洁快速，类库丰富的编程语言可以轻松的实现爬虫方法。先分析目标网站的网页信息，然后进行数据处理，完成抓取后进行数据存储，最后完成数据的可视化呈现。数据存储使用的是MySQL数据库，这种数据库轻巧而功能强大，可以有效的满足系统的开发。 在业务上，本系统利用用户无法在海量的58同城网中查找到有效的房屋数据，因此设计了本系统对房产价格进行存储，然后整理房屋数据，并通过可视化的方式展现出来。在后台也可以对这些房屋数据进行整理，为用户提供更加精确的房屋数据信息。
二、开发环境
开发语言：Python 框架：flask Python版本：python3.7.7 数据库：mysql 5.7（一定要5.7版本） 数据库工具：Navicat11 开发软件：PyCharm 浏览器：谷歌浏览器 ————————————————
三、功能需求分析
在数据采集中，通过python进行爬虫设计，完成商品销售数据、价格数据的采集处理。数据采集主要包括了分析目标网站、目标网站的数据爬取、数据清洗处理、数据存储。其中，数据采集阶段的功能模块如图4.2所示。
1 数据采集功能设计
图4.2 数据采集功能模块图 本系统使用58同城网作为目标网站，先分析该网站的结构，然后对网页的数据进行爬取，在爬取过程中会遇到一些重复的商品销售数据，需要对数据进行清洗，通过数据处理获取到相对完整的房产价格，并把处理后的数据存储在对象中，通过循环对象来构造数据存储的插入语句，再进行数据存储，将数据保存在MySQL数据库中
2数据管理功能设计
完成数据采集后，数据存储在MySQL中，基于Python的房价预测系统可以对爬取的数据进行管理，管理员登录数据库，可以查看每一条房产价格的内容以及爬取的目标网址，也可以对单条的房产价格进行删除。此外，管理还具有系统管理、用户管理等功能。前台用户具有注册登录，信息查看等功能，其中大屏数据包括房屋名称统计、价格趋势统计、房型统计、类型统计、区域统计。其中，基于Python的房价预测系统的数据管理功能模块如图4.3所示。
图4.3 数据管理功能模块图 在系统前台，所有的用户都可以通过浏览器访问基于Python的房价预测系统，查看所有大屏数据。在系统后台，管理员对数据进行管理。 其中普通用户功能如下： （1）登录注册 （2）查看系统简介信息。 （3）查看房屋资讯信息。 （4）房产楼盘信息查看，包括楼盘名称、价格区间、开盘日期、地址、楼盘图片。 （5）房屋信息查看，包括房屋名称、户型、楼层、小区、面积、价格等。 （6）房产信息评论（查看其他会员的评论信息，登录后发布房产评论）。 （7）对各不同的房产数据进行点赞、踩、收藏。 （8）个人中心，修改个人信息，修改个人密码。查看个人收藏的房屋数据，移除收藏。 （9）信息反馈，发布反馈信息给管理员，给出系统建设意见和建议。 系统后台的管理员功能如下： （1）管理所有爬取的数据信息：更新房产、房屋数据信息。包括爬取的网址、房产标题、图片、名称、标签、价格、开盘日期、交房日期、户型、地址。 （2）管理用户信息：用户信息的添加，删除。 （3）管理房屋类型信息：房屋类型信息的添加，删除。 （4）管理区域信息：区域信息的添加，删除。 （5）系统管理：管理系统轮播图广告信息，自定义图片内容。 （6）数据可视化大屏：通过大屏展示所有的房屋统计、价格趋势统计、热销户型统计、热销区域等。 （7）留言反馈管理，查看会员反馈的信息，及时处理。 （8）系统简介管理，修改系统简介信息。
3爬虫功能需求分析
在目前计算机信息化快速发展过程中，房产销售和租赁逐渐转移到网络中来，本题目来源于房地产价格研发项目的子项目，该项目主要完成一个房价预测系统的设计和开发，该系统用于收集当前地方房价信息，然后通过爬取、清理、存储、统计房价信息，并进行房价预测，是现代化房地产不可缺少的部分，为房价的发展趋势提供便捷的预测模式。本文旨在对58同城网上的房产信息、销售情况、价格信息进行爬取，收集各种类型的房产价格信息。然后对房产价格的评分、内容进行分析，整理房产价格信息。本系统首先分析58同城网站的网站结构，查看网站网页的排版，然后读取其包含的房产信息。具体分为以下几个步骤，指定58同城网url，爬取网页信息，获取特定的58同城网url存入队列中，提取房产价格的信息，将信息存入数据库，然后对价格和评分进行分析，得出房产价格的可视化视图。 图3-1所示数据清洗和加工用例。
图3-1 数据清洗和加工用例 在本需求分析阶段，不需要关注如何爬取，只需要关注爬取什么样的信息，进行怎样的操作即可，所以先分析58同城网网站的数据，确定满足系统要求后，然后查看目标网站，将58同城网内的有关房产价格进行提取，最后将信息存储到数据库。
4 数据可视化功能需求分析
爬取完房产销售、房产价格后，需要对数据进行分析，根据评分和K-means聚类算法分析出房产价格趋势，并可视化查询处理。本系统使用Python进行编程，通过HTML、JS等方法显示数据。具体包括：房产价格数据展示、房屋数据分类、用户注册登录、用户管理和爬虫数据管理。其中可视化功能用例图如图3-2所示。
图3-2 数据分析展示用例 基于Python的房价预测系统用户登录，先验证信息、成功启动系统后进行登录。登录验证成功后，获取到登录权限，跳转到系统首页。 进入到基于Python的房价预测系统大屏界面，通过图形化显示出房屋名称统计、价格趋势统计、房型统计、类型统计、区域统计。如果查询失败，返回基于Python的房价预测系统的错误页面。
数据库表的设计
部分数据库展示
（1）4.1表: 房屋数据信息表
（2）4.4表: 价格信息表
四、核心代码
部分代码：
def users_login(request):
if request.method in ["POST", "GET"]:
msg = {'code': normal_code, "msg": mes.normal_code}
req_dict = request.session.get("req_dict")
if req_dict.get('role')!=None:
del req_dict['role']
datas = users.getbyparams(users, users, req_dict)
if not datas:
msg['code'] = password_error_code
msg['msg'] = mes.password_error_code
return JsonResponse(msg)
req_dict['id'] = datas[0].get('id')
return Auth.authenticate(Auth, users, req_dict)
def users_register(request):
if request.method in ["POST", "GET"]:
msg = {'code': normal_code, "msg": mes.normal_code}
req_dict = request.session.get("req_dict")
error = users.createbyreq(users, users, req_dict)
if error != None:
msg['code'] = crud_error_code
msg['msg'] = error
return JsonResponse(msg)
def users_session(request):
'''
'''
if request.method in ["POST", "GET"]:
msg = {"code": normal_code,"msg":mes.normal_code, "data": {}}
req_dict = {"id": request.session.get('params').get("id")}
msg['data'] = users.getbyparams(users, users, req_dict)[0]
return JsonResponse(msg)
def users_logout(request):
if request.method in ["POST", "GET"]:
msg = {
"msg": "退出成功",
"code": 0
}
return JsonResponse(msg)
def users_page(request):
'''
'''
if request.method in ["POST", "GET"]:
msg = {"code": normal_code, "msg": mes.normal_code,
"data": {"currPage": 1, "totalPage": 1, "total": 1, "pageSize": 10, "list": []}}
req_dict = request.session.get("req_dict")
tablename = request.session.get("tablename")
try:
__hasMessage__ = users.__hasMessage__
except:
__hasMessage__ = None
if __hasMessage__ and __hasMessage__ != "否":
if tablename != "users":
req_dict["userid"] = request.session.get("params").get("id")
if tablename == "users":
msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
msg['data']['pageSize'] = users.page(users, users, req_dict)
else:
msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
msg['data']['pageSize'] = [],1,0,0,10
return JsonResponse(msg)
五、效果图
六、文章目录
目 录 摘 要 I ABSTRACT II 目 录 II 第1章 绪论 1 1.1背景及意义 1 1.2 国内外研究概况 1 1.3 研究的内容 1 第2章 相关技术 3 2.1 Python简介 4 2.2 Django 框架介绍 6 2.3 B/S结构 4 2.4 MySQL数据库 4 第3章 系统分析 5 3.1 需求分析 5 3.2 系统可行性分析 5 3.2.1技术可行性：技术背景 5 3.2.2经济可行性 6 3.2.3操作可行性： 6 3.3 项目设计目标与原则 6 3.4系统流程分析 7 3.4.1操作流程 7 3.4.2添加信息流程 8 3.4.3删除信息流程 9 第4章 系统设计 11 4.1 系统体系结构 11 4.2开发流程设计系统 12 4.3 数据库设计原则 13 4.4 数据表 15 第5章 系统详细设计 19 5.1管理员功能模块 20 5.2用户功能模块 23 5.3前台功能模块 19 第6章 系统测试 25 6.1系统测试的目的 25 6.2系统测试方法 25 6.3功能测试 26 结 论 28 致 谢 29 参考文献 30
参考链接
您阅读本篇文章共花了：
发表评论