Applications of Deep Neural Networks with Keras

基于Keras的深度神经网络应用

著:Jeff Heaton 译:人工智能学术前沿

目录

1.Python基础

2.机器学习Python

3.TensorFlow简介

4.表格类数据的训练

5.正则化和Dropout

6.用于计算机视觉的卷积神经网络

7.生成对抗网络

8.Kaggle数据集

9.迁移学习

10.Keras的时间序列

11.自然语言处理与语音识别

12.强化学习

13.Advanced/Other Topics

14.其他神经网络技术

2.4 Apply 函数和 Map函数

Part 2.4: Apply and Map

如果你以前接触过大数据或函数式编程语言，你可能听说过map/reduce。Map和reduce是将创建的任务应用到数据帧（dataframe）的两个函数。Pandas支持函数式编程技术，允许您跨整个数据帧使用函数。除了您编写的函数外，Pandas还提供了几个用于数据帧的标准函数。

数据帧中Map函数的使用

Using Map with Dataframes

map函数允许您通过将列中的某些值映射到其他值来转换列。考虑Auto MPG数据集，其中包含一个字段origin_name，该字段包含一个介于1到3之间的值，该值指示每一辆汽车的地理来源。我们可以看到如何使用map函数将这个数字原点转换为每个原点的文本名称。
我们将开始加载自动MPG数据集。

import os
import pandas as pd
import numpy as np


df = pd.read_csv(
    "https://data.heatonresearch.com/data/t81-558/auto-mpg.csv", 
    na_values=['NA', '?'])


pd.set_option('display.max_columns', 7)
pd.set_option('display.max_rows', 5)


display(df)

Pandas中的map方法操作单个列。为map提供一个值字典，用于转换目标列。映射键指定目标列中的哪些值应该转换为这些键指定的值。下面的代码展示了map函数如何将1、2和3的数值转换为北美、欧洲和亚洲的字符串值。Pandas中的map方法操作单个列。为map提供一个值字典，用于转换目标列。映射键指定目标列中的哪些值应该转换为这些键指定的值。下面的代码展示了map函数如何将1、2和3的数值转换为北美、欧洲和亚洲的字符串值。

# Apply the map
df['origin_name'] = df['origin'].map(
    {1: 'North America', 2: 'Europe', 3: 'Asia'})


# Shuffle the data, so that we hopefully see
# more regions.
df = df.reindex(np.random.permutation(df.index)) 


# Display
pd.set_option('display.max_columns', 7)
pd.set_option('display.max_rows', 10)
display(df)

数据帧中Apply函数的使用

Using Apply with Dataframes

数据帧的apply函数可以在整个数据帧上运行一个函数。您可以使用传统的命名函数或lambda函数。Python将针对数据帧中的每一行或每一列执行所提供的函数。函数的轴参数指定是跨行或列运行的。对于axis = 1，使用行。下面的代码计算一个称为efficiency 的级数，它是displacement除以horsepower。

efficiency = df.apply(lambda x: x['displacement']/x['horsepower'], axis=1)
display(efficiency[0:10])

输出

45 2.345455

290 2.471831

313 1.677778

82 1.237113

33 2.320000

249 2.363636

27 1.514286

7 2.046512

302 1.500000

179 1.234694

dtype: float64

现在，您可以将该系列插入到数据框架中，作为新列或替换现有列。下面的代码将这个新系列插入到数据帧中。

df['efficiency'] = efficiency

使用Apply和Map函数的特征工程

Feature Engineering with Apply and Map

在本节中，我们将看到如何使用map、apply和分组来计算复杂的特性。数据集为CSV格式:

https://www.irs.gov/pub/irs-soi/16zpallagi.csv

此URL包含美国政府“SOI税收统计-个人所得税统计”的公共数据。该网站的入口点在这里:

https://www.irs.gov/statistics/soi-tax-stats-individual-income-tax-statistics-2016-zip-code-data-soi

描述该数据的文档位于上面的链接。
对于这个特性，我们将尝试估计每个邮政编码的调整后总收入(AGI)。数据文件包含许多列;但是，您将只使用以下内容:

STATE - 国家(e.g., MO)

zipcode - 邮编 (e.g. 63017)

agi_stub - 年收入的六个不同等级 (1 through 6)

N1 - 每个agi_stub的纳税申报单的数量

注意，对于agi_stub括号中的每个邮政编码，该文件将有六行。您可以跳过邮政编码0或99999。
我们将用这些列创建一个输出CSV;但是，每个邮政编码只有一行。计算收入等级的加权平均值。例如，63017有以下6行:

我们必须把这六行合并成一行。出于隐私考虑，AGI被分成6个部分。我们需要将这些桶组合起来，并估计一个邮政编码的实际AGI。为此，考虑N1的值:

1 = 1 to 25,000

2 = 25,000 to 50,000

3 = 50,000 to 75,000

4 = 75,000 to 100,000

5 = 100,000 to 200,000

6 = 200,000 or more

这些范围的中位数约为:

1 = 12,500

2 = 37,500

3 = 62,500

4 = 87,500

5 = 112,500

6 = 212,500

使用这个你可以估计63017的平均AGI如下:

>>> totalCount = 4710 + 2780 + 2130 + 2010 + 5240 + 3510

>>> totalAGI = 4710 * 12500 + 2780 * 37500 + 2130 * 62500 + 2010 * 87500 + 5240 * 112500 + 3510 * 212500

>>> print(totalAGI / totalCount)

88689.89205103042

我们从读取政府数据开始。

import pandas as pd


df=pd.read_csv('https://www.irs.gov/pub/irs-soi/16zpallagi.csv')

首先，我们修剪所有邮政编码0或99999。我们还选择了我们需要的三个字段。

df=df.loc[(df['zipcode']!=0) & (df['zipcode']!=99999),
          ['STATE','zipcode','agi_stub','N1']]


pd.set_option('display.max_columns', 0)
pd.set_option('display.max_rows', 10)


display(df)

我们使用map函数将所有agi_stub值替换为正确的中值。

medians = {1:12500,2:37500,3:62500,4:87500,5:112500,6:212500}
df['agi_stub']=df.agi_stub.map(medians)


pd.set_option('display.max_columns', 0)
pd.set_option('display.max_rows', 10)
display(df)

接下来，我们将数据帧按邮政编码分组。

groups = df.groupby(by='zipcode')

该程序应用一个lambda在组中应用，然后计算AGI估计。

df = pd.DataFrame(groups.apply( 
    lambda x:sum(x['N1']*x['agi_stub'])/sum(x['N1']))) \
    .reset_index()

pd.set_option('display.max_columns', 0)
pd.set_option('display.max_rows', 10)


display(df)

现在可以重命名新的agi_estimate列。

df.clumns = ['zipcode','agi_estimate']

pd.set_option('display.max_columns', 0)
pd.set_option('display.max_rows', 10)


display(df)

最后，我们检查63017的邮政编码是否得到了正确的值。

df[ df['zipcode']==63017 ]