我参加了 10 月 20 日的 Datathon 2019,非常有趣。

今年的活动由我 3 个月前刚毕业的德州农工大学主办。

[](https://res.cloudinary.com/practicaldev/image/fetch/s--ZJhPdpIa--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_66%2Cw_880/https://thepracticaldev. s3.amazonaws.com/i/wg5j590ioujkkcqlx8y9.gif)

TAMU Datathon 首次将来自多个学科、技能水平和大学的数据爱好者聚集在一起。 TAMU Datathon 是一项 24 小时不间断的编码活动,公司、研究人员和数百名学生将沉浸在数据科学中。

这可能是美国最大的数据科学黑客马拉松。共有 2032 份申请,全球 110 所大学和 15 家公司赞助商。赞助此次活动的一些大公司是 Facebook、康菲石油公司、世邦魏理仕、高盛、壳牌、沃尔玛。

有学习和竞赛轨道。学习路线适用于在数据科学方面经验很少或没有经验的初学者。参加此课程的参与者可以选择参加由全球领先数据科学家创建的一系列讲座或许多不同的研讨会。在比赛赛道上,参赛者可以展示自己的编程技巧,从而帮助他们赢得奖品或获得公司实习机会。

我选择了比赛曲目,因为它听起来很有趣。我加入了 Slack 活动,发现了 3 个对比赛也很感兴趣的朋友。我们一起创建了一个团队(4 名数学学生),并不停地解决这个问题。

[](https://res.cloudinary.com/practicaldev/image/fetch/s--RkRF9VuX--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_66%2Cw_880/https://thepracticaldev. s3.amazonaws.com/i/gtz005sn2vheardohog2.gif)

当我第一次来的时候,我被这次活动的规模所震撼。这里有一些图片描述了全天在娱乐中心会议室的活动

[](https://res.cloudinary.com/practicaldev/image/fetch/s--Jc1Kx6di--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://thepracticaldev.s3 .amazonaws.com/i/s8vkl9voyldp8ejedua3.jpg)

和晚上...

[](https://res.cloudinary.com/practicaldev/image/fetch/s--cyCpPX_F--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://thepracticaldev.s3. amazonaws.com/i/j2u2lpnifq4vdb1iqtoz.jpg)

挑战

每家公司都给这里带来了挑战,竞争对手可以自由选择他们想做的事情。我发现三个问题很有趣:

**沃尔玛:**使用图像处理技术来检测货架上产品的可用性。这主要是为了应对黑色星期五!

康菲石油公司: 给定钻井平台上大约 150 个传感器数据的时间序列,预测机器何时出现故障。

Facebook: 根据卫星图像和住宅位置,为 Dodoma 地区创建一个迷你谷歌地图。

由于其复杂性,我最终选择了 Facebook 挑战。数据包括 64 张高分辨率图片,描述了坦桑尼亚首都多多马附近约 30 公里 x 30 公里的区域道路网络

[](https://res.cloudinary.com/practicaldev/image/fetch/s--U8R8lTHs--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://thepracticaldev. s3.amazonaws.com/i/aprc4s8rne7sjpd60tv9.png)

4张图片的样本

[](https://res.cloudinary.com/practicaldev/image/fetch/s--l8isoPO5--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://thepracticaldev.s3. amazonaws.com/i/zfpkqinb9hddrab8afd5.png)

将 64 张图像放在一起,我们就有了整个地图

[](https://res.cloudinary.com/practicaldev/image/fetch/s--kb_PXN1O--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://thepracticaldev.s3。 amazonaws.com/i/a7e3xrfi29ba5nqqknjj.png)

除了图片,还有一个包含 64 个 .csv 文件的文件夹,其中包含有关地图的每个像素及其坐标的详细信息!。每个像素大约代表真实空间中的 0.5 平方米。

[](https://res.cloudinary.com/practicaldev/image/fetch/s--RIol8bD8--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://thepracticaldev.s3。 amazonaws.com/i/mrlvkkhk7fsexoo1jod6.png)

另一个 .csv 文件包含人口特征

[](https://res.cloudinary.com/practicaldev/image/fetch/s--MbcTcSRt--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://thepracticaldev.s3。 amazonaws.com/i/q87i1ks784zhisyx0f0e.png)

问题是:

1. 找到离每个住宅位置最近的街道

2)找到从一个地方到另一个地方最近的补丁。

数据为 2 GB,解决第二个问题需要数小时的神经网络训练。处理大数据并在一天之内交付结果真的很辛苦。事实上,我们中的一些人根本没有睡觉。

介绍

演讲于次日下午 2 点开始。主持人在投影仪上设置了一个大定时器。每次停顿 4 分钟,所有评委都会移到下一张桌子对不同的项目进行评分。演讲中最好的部分是我可以与 Facebook 数据科学家交谈并听取他们宝贵的反馈。

[](https://res.cloudinary.com/practicaldev/image/fetch/s--6VNisXMJ--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://thepracticaldev.s3。 amazonaws.com/i/kc9l8oggovx9iyupdvsr.jpg)

我和我的团队向 Facebook 法官展示的照片

[](https://res.cloudinary.com/practicaldev/image/fetch/s--vAYmehiq--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://thepracticaldev. s3.amazonaws.com/i/vyi2k8dr6upnb35qiew7.jpg)

劳累了一天,我们合影留念。前一天我们只是陌生人,现在我们变得更亲近了。这是因为我们非常努力地完成我们的项目。我很高兴回到家,并与我的数据科学训练营以及后来的 dev.to 社区中的每个人分享我的经验。

[](https://res.cloudinary.com/practicaldev/image/fetch/s--Z97uGdKX--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://thepracticaldev.s3。 amazonaws.com/i/53yhn0weqavrzpk6qr2p.jpg)

如需更多活动图片,请访问此处。

[](https://res.cloudinary.com/practicaldev/image/fetch/s--dlEOF0UV--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_66%2Cw_880/https://thepracticaldev. s3.amazonaws.com/i/h0q1pbq1w5kyywr68xzk.gif)