英伟达GPU的编程东西

　　CUDA全名叫Compute Unified Device Architecture，说白了就是一套让法式员更好用英伟达GPU的编程东西。正在讲CUDA之前，我得先说说什么是“编程模子”。其实很简单，就是给法式员定的一套法则，按着这套法则写法式，就能更高效地用硬件干活。分歧的场景、分歧的硬件前提、分歧的使命下，分歧的编程模子的结果是分歧的。我们来举个餐馆的例子来抽象化注释分歧的编程模子。若何运营一个餐馆就能够分成分歧的模式。正在保守餐馆中，运营模式凡是是：办事员接单→交给后厨→厨师按挨次做菜→上菜。这就像法式里的挨次施行，一步一步来，很清晰，但当使命量大时，例如饭点高峰期，就容易由于某一步调的延迟而导致全体效率下降。这种餐馆模式就像法式设想中的挨次编程模子。正在挨次编程中，法式按照严酷的步调顺次施行，上一使命完成后下一使命才能起头。这种体例逻辑曲不雅、适合小规模的使命，但当面临大规模或高度复杂的使命时，效率会显得不脚。别的一种餐馆的模式叫做多厨房并行模式。正在面临大型勾当，例如音乐节、体育赛事、公司年会时，保守餐馆的模式明显不敷用。这时，办理团队凡是会采用多厨房并行模式。每个厨房担任处置订单中的某一部门，好比凉菜由厨房A担任，热菜由厨房B担任，甜点由厨房C担任。各个厨房相互，能够同时处置订单的分歧部门，最终将所有完成的菜品汇总到地方区域，再同一交给顾客。这种方式充实操纵了多个厨房的并行性，正在全体上显著缩短了办事时间。这种多厨房协同模式，就雷同于法式设想中的并行编程模子。英伟达的GPU硬件采用的就是这种并行编程模子。由于英伟达的GPU里有大量的流处置器（Streaming Processor， SP），每个都能工做，就像有良多个小厨房。并且GPU次要处置的是图像衬着、科学计较这些容易并行的使命。所以并行编程模子出格适合GPU，CUDA就是特地为这个设想的。CUDA不只是一套编程法则，它还把复杂的底层操做给包拆起来了。以前用GPU，法式员得本人管显存、安排线程，出格麻烦。有了CUDA，这些复杂的工作系统从动帮你搞定，你只需要分心想“我要做什么”，而不消费心“怎样做”。做个类比。就像一台高端相机，硬件很牛，但要用好它，你得懂、快门、ISO这些专业学问，晓得各类专业参数怎样调，门槛太高。所以厂商搞了“智能场景模式”——好比活动模式、夜景模式等等，通俗人一键就能拍出好照片。CUDA就是GPU的“智能场景模式”。它供给了丰硕的东西，闪开发者无需特地研究GPU架构，也能高效完成本人的编程使命。并且，CUDA支撑风行的编程言语，例如C、C++、Python、MATLAB等，让科学家和工程师不消成为硬件专家，就能用上GPU的强大计较能力。有个很抽象的例如能够描述CUDA：理解CUDA的体例就是，你具有一张视频逛戏显卡，但它配备了一个开关，CUDA就是这个开关，你只需要轻拨一下，就能够实现你想要的功能。然而，CUDA虽然强大，但价格也是庞大的。G80是英伟达第一款支撑CUDA的GPU。为了开辟这款芯片，英伟达花了整整4年时间，成本高达4。75亿美元，占了那4年总研发预算的三分之一。要晓得，以前每代GeForce芯片开辟周期才1年。这还只是“一个”支撑CUDA的GPU。其时英伟达内部辩论激烈：是不是所有GPU都要支撑CUDA？最后的打算是只正在高端科学和手艺工做坐显卡上支撑CUDA，但黄仁勋要正在全产物线推广，包罗逛戏用的GeForce系列。黄仁勋告诉CUDA团队：“我们该当把这项手艺推向所有范畴，让它成为根本性手艺。”由于他有一个设法：利用CUDA的人越多，这项手艺成为尺度的速度就越快，就越有可能找到新的使用。这项决策虽然计谋意义深远，但却正在短期内带来了昂扬的价格。为了让所有显卡支撑CUDA，英伟达不得不承担庞大的成本压力。正在2008至2010年间，英伟达的毛利率从45。6%降至35。4%。再加上2008年的全球金融危机，英伟达面对了庞大的贸易冲击，其股价正在短短一年多时间内暴跌了80%。投资者们起头埋怨英伟达持续投资CUDA并无财政意义。有人说：“英伟达正在这个新的芯片架构上投入了大量资金，花费了数十亿美元，却对准了学术和科学计较这一偏门范畴，而其时这并非一个大市场——远不及他们投入的数十亿美元。”例如，其时英伟达费尽心思地寻找那些实正需要这种强大机能的用户。为他们的乳腺X光扫描仪进行升级。黄仁勋邀请这家病院参取CUDA的初步测试，正在一个试点项目中投入了数百万美元，但最终仅售出两块显卡。更蹩脚的是，CUDA软件下载量持续下滑，至2012年降至最低点，新安拆量仅10万次出头。2013岁首年月，良多投资阐发师认为，若是英伟达遏制正在CUDA上烧钱，股价才会涨，以至有人起头质疑黄仁勋继续当CEO能否合适。英伟达的显卡就像是一把锤子，本来是用来敲钉子。然而，英伟达并不满脚本人的锤子只能敲钉子，他们但愿这把锤子可以或许正在更多范畴阐扬感化。他们对这把锤子进行了全面，不只让它的布局愈加矫捷，还为这个锤子开辟了一套利用方式，帮帮利用者更高效地操控这把锤子。可是，他们拿着这把锤子四处向人推销，却发觉没人对这把锤子感乐趣。曲到有一天他们来到了一口，门牌上写着六个字：深度神经收集。