构建机器学习/深度学习工作站可能是困难和吓人的。那里有太多的选择。你会不会去NVidia developer box花15000美元?或者你能以更具成本效益的方式建立更好的东西。哪种硬件适合需求?需要多少RAM?问题是无止境的,可能没有正确或错误的答案。

建立工作站的优缺点有哪些?

我相信你们中的一些人会问,为什么在当今世界建立一个怪物工作站?为什么不在云上租一台机器?真正的答案取决于你的要求。就我们而言,这是让团队大规模进行机器学习的最好方法。以下是为什么构建工作站对我们最有利的原因:

有效利用资源 - 到目前为止,曾经使用笔记本电脑的人有16 GB的RAM。虽然它不坏,但它不是使用资源的最有效的方法。首先,如果数据集需要更高的内存,没办法,只能租一个更大的机器。其次,并不是每个人都在使用所有的RAM,而是需要高RAM。通过创建工作站,我们可以集中相同的资源,但是如果需要的话,人们可以访问更大的机器。如果要执行并行计算,则类似的参数适用于内核数量。

使用便携式计算机轻松旅行 - 很难找到适合数据科学的机器(具有16 GB RAM的i5 / i7四核处理器),这些机器既轻便又不太贵。由于资源的限制,被迫购买笨重的笔记本电脑。在工作站中,人们可以购买更便宜更轻便的笔记本电脑,并在计算需要时连接到工作站。

实现大规模的深度学习 - 即使我们花费更多的时间在笔记本电脑上工作,也无法在笔记本电脑上获得类似的GPU功能。移动到工作站使我们能够订购NVidia Titan X 2016,这是当今世界上最快的GPU之一!没有办法在笔记本电脑上实现这一点,基于云的GPU本来就太贵了。

大数据传输到云的局限性 - 虽然获得云计算能力变得便宜,但数据传输的麻烦仍然存在。在我们的互联网计划中,上传速度上限为2 Mpbs。所以,如果你有大数据集 - 把它们上传到云端可能会花费数天时间。即使从服务提供商获得未中断的速度,上传10 GB数据集也需要12个小时。

很明显,生活中没有任何东西可以是免费的。虽然有这些优势,但也有一些缺点。以下是必须做出的妥协:

投资购买机器 - 由于必须购买机器,不得不花费全部的金额。从长远来看,这是一个更好的决定,因为云上的机器将损失更多的成本。在短期内,这基本上影响了现金流。

机器越来越危险 - 云计算机的优点之一就是您可以随时升级。您可以在没有太多挑战的情况下更换机器的完整硬件。另一方面,工作站硬件不能轻易替换。所以,几年之后,这个令人印象深刻的怪物就像是坐在我们办公室一角的一台旧笨重的机器!

硬件故障风险 - 使用基于云的机器,硬件故障不会对您造成太大影响。您的服务提供商通常会为您处理。在这种情况下,现在拥有硬件损坏的风险。

一旦我们决定建立一个工作站,还需要做出更多的决定。这里推荐博主认为几个有用的链接,如下:

《如何DIY自己的深度学习工作站》原创 2016-11-23  DataCastle数据城堡 http://mp.weixin.qq.com/s?__biz=MzIwMTgwNjgyOQ==&mid=2247484617&idx=1&sn=ed3ee2b676c10da6bcd5a4ed2d6c26ce

《如何配置一台适用于深度学习的工作站?》知乎 https://www.zhihu.com/question/33996159/answer/143971704

《码农的高薪之路,如何组装一台适合深度学习的工作站?》subtitle SherpaMan中国 05-19 18:40 https://c.m.163.com/news/a/CKQP405405119VQF.html?spss=newsapp&spsw=1
《初学者深度学习工作站配置》
 原创 2017年03月17日 12:01:24 CSDN http://blog.csdn.net/Thriller_wgc/article/details/62885400

《Building a machine learning / deep learning workstation for under $5000》analytics vidhya https://www.analyticsvidhya.com/blog/2016/11/building-a-machine-learning-deep-learning-workstation-for-under-5000/

感谢上述博文帮助。

准备好工作站,就可以开始机器学习或大数据之旅啦……

离线包括:hadoop、hive、flume、azkban、hbase
实时包括:storm、kafka、redis
内存计算包括:scala编程、spark原理、spark源码解析、机器学习

Logo

CSDN联合极客时间,共同打造面向开发者的精品内容学习社区,助力成长!

更多推荐