您现在的位置是:亿华云 > 人工智能

菜比肉贵?用 Python 采集蔬菜与肉类商品历史价格,带你了解了解~

亿华云2025-10-03 02:27:41【人工智能】3人已围观

简介大家好,我是才哥。前段时间,菜市场出现了一个奇特的现场:菜比肉贵!以北京为例,像猪肉的价格基本上从年初的25块/斤逐步下降到现在的10块/斤。猪肉价格走势而一些蔬菜比如油麦菜从年初的2.5元/斤到现在

大家好,菜比n采菜肉我是肉贵才哥。

前段时间,集蔬解解菜市场出现了一个奇特的类商现场:菜比肉贵!

以北京为例,像猪肉的品历价格基本上从年初的25块/斤逐步下降到现在的10块/斤。

猪肉价格走势

而一些蔬菜比如油麦菜从年初的格带2.5元/斤到现在的4.5元/斤,高的菜比n采菜肉时候能有8元/斤;再比如菠菜从年初的1.7元/斤到现在的4元/斤,高的肉贵时候也能到7-8元/斤。

油麦菜价格走势

广大网友直呼:以前没钱吃肉,集蔬解解现在没钱吃菜!

我们知道前年 50块一斤猪肉(也是类商离谱),现在可以买5斤,亿华云品历于是格带就有了下面这张对比图:

以前没钱吃肉,现在没钱吃菜

那么,菜比n采菜肉蔬菜价格目前到底是肉贵什么情况呢?全年一般又是什么样的走势呢?

今天,我们就用Python采集一下北京新发地菜市场的集蔬解解价格行情来一起了解下!

1. 网页分析

目标网站:北京新发地

网址信息:http://www.xinfadi.com.cn/priceDetail.html

我们通过翻页(下一页)查看后续数据,但是发现地址栏url没变,所以是动态加载的,那么老规矩:F12开发者模式—>Network—>XHR,然后翻页可以找到数据请求信息如下:

最终,我们确认请求接口地址及请求方式与信息如下:

请求类型:post

url = rhttp://www.xinfadi.com.cn/getPriceData.html # 请求参数如下,其中page为页码 FormData={          limit: 20,         current: page,         pubDateStartTime: 2021/01/01,         pubDateEndTime: 2021/10/30,         prodPcatid:,         prodCatid:,         prodName:,         } 

确定以上信息后,我们就可以简单的写代码进行数据采集了!

2. 数据采集

由于请求到的数据是json格式,云服务器提供商比较好处理,我们直接上代码(完整代码)。

如果对代码不是很了解,可以加笔者好友或者加咱们交流群讨论!

import requests import pandas as pd from tqdm import tqdm headers = {      "Accept-Encoding": "Gzip",      "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36",     } dfList = [] url = rhttp://www.xinfadi.com.cn/getPriceData.html for page in tqdm(range(1,5373)):     FormData={          limit: 20,         current: page,         pubDateStartTime: 2021/01/01,         pubDateEndTime: 2021/10/30,         prodPcatid:,         prodCatid:,         prodName:,         }     r = requests.post(url, data=FormData, headers=headers)     data = r.json()     dataList = data[list]     df = pd.DataFrame(dataList)     dfList.append(df) df = pd.concat(dfList) df.to_excel(r菜品历史价格行情.xlsx,index=None) 

采集进度

可以看到,其实该网站并没有反爬,但是我们用最简单的这种采集方式花了2小时23分钟,属实有点久。

那么怎么可以加速呢?进程、线程与携程等方式可以加速,关于这方面的知识与应用我们会在后续进行专题介绍哈,这里先预告一下。

最终,我们采集到10万多条数据如下:

数据预览

以上就是本次全部内容,由于菜品类型较多,这里不做展开处理,大家可以自行下载研究哈。

云南idc服务商

很赞哦!(54344)