首页电脑使用pandas 常用 使用pandas常用的绘图函数

pandas 常用 使用pandas常用的绘图函数

圆圆2025-08-20 20:01:13次浏览条评论

基于 pandas 的滚动窗口函数高效生成状态标志

本文将介绍 Pandas 库中的 groupby.rolling 的一种使用函数,根据连续时间段内的状态列生成标志位的教程。高效该方法避免了低效的循环操作,特别适用于处理包含大量数据(例如,数百万行)的数据集。通过示例代码和详细解释,读者将能够理解并应用此技术,以优化数据处理流程。问题

在数据分析中,经常需要根据间歇的状态变化来标记数据。例如,根据用户在过去12个月内的活跃状态来判断其是否为活跃用户。如果使用循环遍历每一行数据,效率会非常低。本文将介绍如何使用Pandas的方便滚动窗口函数groupby.rolling来高效地解决这类问题。使用groupby.rolling函数

groupby.rolling函数允许我们允许分组对数据应用滚动窗口计算。结合max()函数,可以在指定窗口变量中判断是否存在满足条件的状态。

示例数据

假设我们有以下 Pandas DataFrame:import pandas as pddata = {'ID': ['A'] * 13, 'Period': ['2020-10-28', '2020-11-28', '2020-12-28', '2021-01-28', '2021-02-28', '2021-03-28', '2021-04-28', '2021-05-28', '2021-06-28', '2021-07-28', '2021-08-28', '2021-09-28', '2021-10-28'], '状态': [0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0]}df = pd.DataFrame(data)print(df)登录后复制

解决方案

以下代码展示了如何使用groupby.rolling函数生成标志位:import pandas as pddata = {'ID': ['A'] * 13, 'Period': ['2020-10-28', '2020-11-28', '2020-12-28', '2021-01-28', '2021-02-28', '2021-03-28', '2021-04-28', '2021-05-28', '2021-06-28', '2021-07-28', '2021-08-28', '2021-09-28', '2021-10-28'], '状态': [0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0]}df = pd.DataFrame(data)df['Flag'] = (df .assign(Period=pd.to_datetime(df['Period']).dt.to_period('M')) [::-1] .groupby('ID').rolling(12, on='Period', min_periods=1) ['status'].max()[:-1].to_numpy())print(df)登录后复制

代码解释:df.assign(Period=pd.to_datetime(df['Period']).dt.to_period('M')): 'Period' 列转换为 Pandas period类型,精度为月。这是使用滚动窗口的必要步骤。[::-1]: 生成 DataFrame 的顺序。因为我们希望从最早的日期开始计算滚动窗口,以便确定未来 12 个月内是否存在状态为 1 的情况。groupby('ID').rolling(12, on='Period', min_periods=1):点击 'ID' 列分组,并创建一个滚动窗口,窗口大小为 12个月。min_periods=1确保窗口内的数据点少于12个月,染色体进行计算即使。

['status'].max():计算每个滚动窗口内'status'列的最大值。如果窗口内存在任何一个状态为1,则为1,否则为0。[::-1].to_numpy():重新生成结果顺序,生成与原始DataFrame的顺序一致,结果结果为NumPy读取。df['Flag'] = ...:将计算的标志位赋值给新的'Flag'

考虑仅前序期间

如果需要仅考虑当前期间之前的期间,可以使用以下代码:import pandas as pddata = {'ID': ['A'] * 13, 'Period': ['2020-10-28', '2020-11-28', '2020-12-28', '2021-01-28', '2021-02-28', '2021-03-28', '2021-04-28', '2021-05-28', '2021-06-28', '2021-07-28', '2021-08-28', '2021-09-28', '2021-10-28'], '状态': [0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0]}df = pd.DataFrame(data)df['Flag'] = (df .assign(Period=pd.to_datetime(df['Period']).dt.to_period('M')) .set_index('Period') [::-1] .groupby('ID')['status'] .transform(lambda g: g.rolling(12, min_periods=1) .max().shift(fill_value=0) ) .to_numpy()[::-1])print(df)登录复制后

代码解释:.set_index('Period'):将 'Period' 列设置为索引。.transform(lambda g: g.rolling(12, min_periods=1).max().shift(fill_value=0)) 使用: 对于每个分组应用滚动窗口计算的转换函数。shift(fill_value=0) 将结果延续移动版本,并用 0 填充移位值,从而确保仅考虑前序期间。总结

使用 Pandas 的 groupby.rolling函数可以生成这种基于连续时间段的状态标志。方法避免了低效的循环操作,特别适用于处理大规模数据集。通过将时间列转换为周期类型,并 max()和shift()函数,可以灵活地实现各种状态标志的生成需求。在实际应用中,可以根据具体情况调整窗口大小和计算逻辑,从而产生不同的业务需求。

以上就是基于Pandas的滚动窗口函数生成高效状态标志的详细内容,更多请关注乐哥常识网其他相关文章!

基于 Pandas
智能电动窗帘的好处 智能电动窗帘品牌排行前十名
相关内容
发表评论

游客 回复需填写必要信息