数据科学家必须掌握的5个Python概念

import time

# 一个包含 1000 万个传感器读数的大列表
n_elements = 10_000_000
data_list = [float(x) for x in range(n_elements)]

# 使用显式 Python 循环缩放值
start_time = time.time()
scaled_list = []

for val in data_list:
    scaled_list.append(val * 1.5 + 10.0)

loop_duration = time.time() - start_time

print(f"循环实现耗时: {loop_duration:.6f} 秒")

import numpy as np
import time

# 一个包含 1000 万个传感器读数的大列表
n_elements = 10_000_000

# 向量化方式：NumPy 在预编译的 C 循环中执行整个计算
data_array = np.arange(n_elements, dtype=float)

start_time = time.time()
scaled_array = data_array * 1.5 + 10.0
numpy_duration = time.time() - start_time

print(f"NumPy 实现耗时: {numpy_duration:.6f} 秒")
print(f"提速: {loop_duration / numpy_duration:.1f} 倍更快!")

循环实现耗时: 0.348456 秒
NumPy 实现耗时: 0.013395 秒
提速: 26.0 倍更快!

import numpy as np

features = np.array([
    [10.0, 20.0, 30.0, 4.0],
    [12.0, 24.0, 36.0, 8.0],
    [14.0, 28.0, 42.0, 12.0]
])

# 每个特征列的均值（形状：(4,)）
col_means = np.mean(features, axis=0)

# 使用嵌套循环手动去均值
demeaned_clunky = np.zeros_like(features)
for idx in range(features.shape[0]):
    for col_idx in range(features.shape[1]):
        demeaned_clunky[idx, col_idx] = features[idx, col_idx] - col_means[col_idx]

# 替代方案：平铺数组以强制匹配形状
tiled_means = np.tile(col_means, (features.shape[0], 1))
demeaned_tiled = features - tiled_means

import numpy as np

features = np.array([
    [10.0, 20.0, 30.0, 4.0],
    [12.0, 24.0, 36.0, 8.0],
    [14.0, 28.0, 42.0, 12.0]
])

col_means = np.mean(features, axis=0)

# 通过自动广播进行 Python 风格的减法
demeaned_broadcasting = features - col_means

输出：

广播机制消除了重复值和内存复制。在底层，NumPy 以 C 语言的速度运行减法循环，而无需创建临时的 tiled 矩阵，从而保留了内存带宽并加速了操作。

## #3. Pandas 的 .pipe() 和 .assign() 方法：简洁、功能化的数据管道

在 [Pandas](https://pandas.pydata.org/) 中，数据准备通常会退化为顺序的混乱代码。开发者会创建多个中间 DataFrame（如 df1、df2 等），就地修改变量，或链式调用方括号。这会导致代码难以阅读、难以测试，并且极易出现令人头疼的 `SettingWithCopyWarning` 警告。

现代 Pandas 鼓励从过程式修改转向功能化、声明式的数据管道。通过利用 [`.assign()`](https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.assign.html) 进行特征创建和 [`.pipe()`](https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.pipe.html) 进行可重用的多列操作，你可以在单个管道中链接步骤。

#### // 传统方式

让我们处理一个原始的客户销售数据集，需要过滤异常值、标准化字符串、填充缺失值并计算销售税。

#### // Pythonic 方式

将此问题视为一个功能方法链问题，我们可以将国家标准化步骤封装成一个可重用的实用函数，并构建一个单一、简洁、自包含的管道。

输出：

方法链确保你的原始 DataFrame 的状态永远不会被意外修改，防止副作用。`.assign()` 通过接收一个 lambda 函数来处理列赋值，其中 `x` 指代链中该点的 DataFrame 当前状态，而 `.pipe()` 允许自定义操作被干净地模块化。

## #4. 使用 Lambda 函数进行数据转换

特征工程经常需要小型的、单一用途的转换，例如格式化字符串、拆分值或应用条件语句。为这些简单计算编写自定义命名函数（使用 `def`）会给脚本增加不必要的样板代码。

更优雅的方法是在 Pandas 的 [`.map()`](https://pandas.pydata.org/docs/reference/api/pandas.Series.map.html) 和 [`.apply()`](https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.apply.html) 中使用 [lambda 函数](https://docs.python.org/3/tutorial/controlflow.html#lambda-expressions)。Lambda 函数是匿名的、一次性使用的函数，可以即时定义而无需命名，非常适合快速数据映射和简洁的内联转换。

#### // 传统方式

假设我们有一个员工数据集，需要映射他们的远程工作状态并解析他们的姓氏。常见的错误是编写手动循环或使用 `iterrows()`：

import pandas as pd

df = pd.DataFrame({
    'employee_name': ['john doe', 'jane smith', 'bob johnson'],
    'department_code': ['IT_01', 'HR_02', 'IT_03'],
    'is_remote': [1, 0, 1]
})

# 嵌套在 map() 和 apply() 中的 lambdas
df_opt = df.assign(
    remote_status=lambda d: d['is_remote'].map(lambda val: "Remote" if val == 1 else "Office"),
    last_name=lambda d: d['employee_name'].apply(lambda name: name.split()[-1].capitalize()),
    dept_level=lambda d: d['department_code'].apply(lambda code: code.split('_')[-1])
)

print(df_opt[['employee_name', 'last_name', 'remote_status', 'dept_level']])

employee_name last_name remote_status dept_level
0      john doe       Doe        Remote         01
1    jane smith     Smith        Office         02
2   bob johnson   Johnson        Remote         03

import pandas as pd
import numpy as np

n_rows = 100_000
np.random.seed(42)

df_large = pd.DataFrame({
    'user_id': np.random.randint(1000000, 1000000 + n_rows, size=n_rows),
    'age': np.random.randint(18, 90, size=n_rows),
    'device_type': np.random.choice(['iOS', 'Android', 'Web', 'SmartTV'], size=n_rows),
    'monthly_revenue': np.random.uniform(5.0, 150.0, size=n_rows),
    'active_subscriber': np.random.choice([0, 1], size=n_rows)
})

# 检查内存使用情况
print(df_large.info(memory_usage='deep'))
memory_before = df_large.memory_usage(deep=True).sum() / (1024 ** 2)
print(f"默认内存使用量: {memory_before:.2f} MB")

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 100000 entries, 0 to 99999
Data columns (total 5 columns):
 #   Column             Non-Null Count   Dtype  
---  ------             --------------   -----  
 0   user_id            100000 non-null  int64  
 1   age                100000 non-null  int64  
 2   device_type        100000 non-null  object 
 3   monthly_revenue    100000 non-null  float64
 4   active_subscriber  100000 non-null  int64  
dtypes: float64(1), int64(3), object(1)
memory usage: 8.2 MB
None
默认内存使用量: 8.20 MB

# 向下转换类型
df_optimized = df_large.assign(
    user_id=df_large['user_id'].astype('int32'),                    # 最大 110 万适合 int32
    age=df_large['age'].astype('int8'),                             # 最大年龄 90 适合 int8
    device_type=df_large['device_type'].astype('category'),         # 低基数（4 个唯一字符串）
    monthly_revenue=df_large['monthly_revenue'].astype('float32'),  # 单精度浮点数足够
    active_subscriber=df_large['active_subscriber'].astype('int8')  # 二进制标志适合 int8
)

# 检查优化后的内存使用情况
print(df_optimized.info(memory_usage='deep'))
memory_after = df_optimized.memory_usage(deep=True).sum() / (1024 ** 2)

print(f"优化后内存使用量: {memory_after:.2f} MB")
print(f"内存足迹减少: {((memory_before - memory_after) / memory_before) * 100:.1f}%")

memory usage: 1.0 MB
None
优化后内存使用量: 1.05 MB
内存足迹减少: 87.2%

通过利用 NumPy 中的向量化和广播机制，您可以消除原始的 Python 循环，从而实现硬件级别的速度提升。使用 `.pipe()` 和 `.assign()` 将功能型 Pandas 流水线化，可以显著提高特征工程工作流的可读性和安全性。结合内联 `lambda` 函数进行即时转换，并通过 `dtypes` 实现主动内存管理，使您的算法能够无缝地从本地原型扩展到大规模生产负载。

数据科学与软件工程一样，也是一门数学学科。将您的代码视为第一优先级的产品，这样您的数据集处理会更快，您的流水线故障更少，您的系统也会成为一种构建的乐趣。

请务必查看本系列之前的文章：

*   [5 个必须知道的 Python 概念](https://www.kdnuggets.com/5-must-know-python-concepts)
*   [5 个更多必须知道的 Python 概念](https://www.kdnuggets.com/5-more-must-know-python-concepts)

[](https://www.linkedin.com/in/mattmayo13/)****[Matthew Mayo](https://www.kdnuggets.com/wp-content/uploads/profile-pic.jpg)**** ([**@mattmayo13**](https://twitter.com/mattmayo13)) 拥有计算机科学硕士学位和数据挖掘研究生文凭。作为 [KDnuggets](https://www.kdnuggets.com/) 和 [Statology](https://www.statology.org/) 的主编，以及 [Machine Learning Mastery](https://machinelearningmastery.com/) 的特约编辑，Matthew 致力于让复杂的数据科学概念变得易于理解。他的专业兴趣包括自然语言处理、语言模型、机器学习算法以及探索新兴的人工智能。他致力于推动数据科学社区的知识民主化。Matthew 从6岁起就开始编程。