首页 > 设计资讯 > 设计新闻 >

世界级集群渲染落户上海

时间:2007-07-06 16:58  来源:数码设计  作者:kidofCGWorld

世界级集群渲染落户上海
访上海渲染投资管理有限公司
World-class Render Farm in Shanghai
EDITOR…孙瞳


编者按:从2006年开始,中国的影视外包项目日益增多,这其中由以影视动画外包对于硬件需求最为明显,国内除了华龙和央视数码等少数几个国有背景的数字影视制作公司有不错的硬件设备外,大多数公司只能痛苦的自己解决硬件集群渲染的压力。随着数字创意产业逐渐进入正规,如今行业已经从06年的“教育需求年”开始向07年的“企业需求年”转变,这之中最有代表性的事件就是北京软件协会针对数字创意产业进行的北京企业硬件需求调研,以及前不久由特新与我们杂志一起操作的集群渲染研讨会企业积极参与。这都侧面印证了我刊对于“企业需求年”的判断。前不久我们从业内了解到上海一家公司正在并已经建设国内最大的集群渲染设备,针对这个世界级的设备投入,我刊记者采访了这家新兴且颇具实力的公司――上海渲染投资管理有限公司进行了专访。本次接受我们采访的是王疆皓(染农场公共平台(上海)主任)和Shiny现任CG渲染农场公共平台(上海)架构总监。
info


王疆皓介绍
现任上海渲染投资管理有限公司渲染农场公共平台(上海)主任
长期从事CG相关大型项目的运营及运做,对CG行业资本运做及资源对接有较多成功案例,现正无偿为组织百家高手特效联盟承接国外大单潜心奋斗。

 

Shiny介绍
现任CG渲染农场公共平台(上海)架构总监。
中国最早承接国外一流电影特效公司外单的技术先锋之一,参与过多部大型动画电影;具备比较强的故事编导能力;深谙成熟CG市场的整套运营模式;98年后转型做外包业务中方质监,尤其熟悉多数国外数字及特效外包公司及发包人,业务渠道广泛,筹措成功过多次中外CG业务双选会;近几年着重研究高端硬件的优化搭建及高速存储系统等。现任CG渲染农场公共平台(上海)架构总监。

Q :首先很高兴能和您两位交流,通过我们刊物可以更多的介绍贵企业的观点以及作为公共平台能为行业带来的服务。我们采访的第一个问题是:贵公司为什么要在数字创意产业的各个环节中选择投入到硬件设备平台搭建这个领域?是如何考虑的?

A:首先我们认为未来的行业必将是场硬件支撑起来的变革来决定企业的去留或定位的根本性问题,到时候,很多企业可能因为硬件的“无可奈何”导致没有饭吃。我们观点的基础可以从身边的例子看出, Pixer从《玩具总动员》到《小鼠大厨》几乎每年一部影片,试想在一个极其规范的电影市场下的动画公司,没有强有力的硬件支持,没有效率和质量并衡的保证,怎么会赢得数字娱乐产业资本市场的屡屡青睐?我们身边的很多企业制作完成相当数量要求的项目能力已经比较强,但由于设备的问题很多长期或者大型的国内外项目不敢承接,这也是处于对消化大型项目的综合能力信心不足的表现。

本应该是一条起跑线上的硬件环节,国内却因为多种原因从来不足够重视,这几年差距越来越大,比如我在日本看到2年前的设备在中国居然都是最高端的镇山之宝,会全面成熟操控的人没有,在公司里是摆设。如果说目前这些还属于隐性问题。那么当客户的要求全面提升到高清标准或电影标准时再绚丽的特效制作能力也通过不了硬件限制的壁垒。


--专业的CG硬件服务平台可以有效规避企业的投资风险并帮助企业赢得更多订单。中小企业这些优质股很容易在市场竞争中因为硬件瓶颈被抹杀。大企业因为资金占用大而没有专业的服务商切实的解决架构、搭建、回收问题,淘汰周期快,弄不好就会因为一次硬件投资而损失巨大。


Q两位如何认为目前中国CG企业的硬件设备的采购问题,而硬件对企业生产有哪些制约?
A:中国很多的CG企业都面临一个硬件更新速度快及种类繁多的阶段,于是大家开始考虑淘汰、置换、购买等方式去解决一些效率和质量问题,但是往往不能如愿。问题的关键在于没有从多方面解决硬件设备更新区隔的问题,没有专业的CG硬件工程师去为一线制作人做预算与效率的权衡。这样的解决方案在中国要考虑实际情况,不然只是满足速度丢掉稳定性;所以,硬件解决办法已经成为了现在CG企业非常头疼的一个问题,而我们就是用中国最好的硬件渠道和专业CG硬件人才搭建的渲染平台,帮助每个愿意和我们合作的伙伴解决一切因硬件导致的CG生产难题。

Q:专业的CG硬件服务平台可以有效规避企业的投资风险并帮助企业赢得更多订单。从技术角度上讲你们怎么看待渲染农场公共平台的技术和硬件优势?
TIPS:渲染农场(Renderfarm)其实就是“分布式并行集群计算系统”,这是一种利用现成的CPU、网络负载和操作系统构建的超级计算机,它使用主流的商业计算机硬件设备达到或接近超级计算机的计算能力。集群(cluster)指的是一组计算机通过通信协议连接在一起的计算机群,它们能够将工作负载从一个超载的计算机迁移到集群中的其他计算机上,这一特性称为负载均衡(load balancing),它的目标是使用主流的硬件设备组成网格计算能力,达到、甚至超过天价的超级计算机的计算性能。
A:以往渲染农场在架构、管理、网络方面不是很理想,为此我们用2年时间自主研发解决了多项技术难题,使之管理更简单,运行更优化、稳定。
从速度角度来讲是CG人自己的设备无法想象的,举个例子,现在的建筑动画5分钟短片,生产出来也就2小时左右;什么概念,原来他们一个月一半时间花在渲染上了,现在看部电影就完成了,效率大大提高。


TIPS:在采访中两位专家又给我们介绍了CG渲染农场公共平台(上海)所能达到的综合指标。在此编辑进行了整理罗列:
1、 自主研发的管理软件。管理这些CPU要达到分布并行计算,一般来说最好有集群管理软件,主流的集群管理软件有比较多的软硬件方面的限制,必须每台节点机器都安装渲染场景所需的各类应用软件,费用加大不说,优化很难做到,稳定性也不好,装的越多,冲突越大;而且这些集群管理软件不是对所有软件、插件、渲染器都支持的;如果不能解决这个问题,就很难满足有特殊偏好的人的渲染文件顺利渲染。我们为此投入大量资金,联合多方行业怪才自主研发了一套搭建简便、管理简单、界面清晰的集群软件“Top-Render”,此套软件真正做到了无缝并行计算,所有节点设备都只需安装操作系统(更为简洁明了的自创Mini Linux系统);无须加载任何应用软件,通过管理机即可做到调动全部管理范围内CPU参与渲染计算任务;对渲染任务无限制,自动列队,自动调取与存储。真正做到1台管理机可管无数个CPU,直至网络负载极限。此种集群方法比传统搭建模式省去了大量节点机高额软件费用与超长时间,管理更自由,速度更快,应用性更高,资源得到更大化应用的同时还省电。
2、 全4GB光纤网络系统。搭建渲染农场需要把分离的CPU调集起来同时运算单一(复合)任务,传统做法是通过以太网做负载均衡;这也是我很反感的,以太网负载限制很多,主流的现在也就是个1GB带宽,实际传输速度就更慢,只能满足低负荷运载的需求,而且以太网的基础是TCP/IP协议,需要通过寻址后进行IP管理,这个太麻烦而且隐患很多,搞不好就找不到某个节点机器了。更重要的是:“如此低的传输速度导致的网络延迟是很明显的,如果是大场景的电影文件,延迟最高能达到40%;甚至延迟等待,报错;这个会白白浪费来此渲染的公司大量金钱与时间。而解决网络传输速度的问题只能依靠光纤了,但从来还没有运行在光纤网络上的渲染集群;连加拿大蒙特利尔最大的渲染中心都是用的TCP/IP协议;这就对我们提出了 相当大的难题;这个过程耗费了一年时间,我们这里有好多设备是一年多前购买的,就是在反复测试,反复研究。在此要诚挚的感谢爱尔兰及加拿大EMC公司的VINCE、Johnson,Brocade公司的Dwayne、MS张与我们一起的研究和对我们提供的大量帮助。终于,我们将集群管理平台搭建在了全4GB通道的光纤网络架构上,所有的PC机及刀片均装载有4GB的HBA卡;而场景文件调取设备和最终完成存储设备更是使用了AWAYA的10GB双工通道HBA卡(光纤交换机使用的是48口4GB+4口10GB的高端产品),网络延迟对我们来说已经是个笑话,管理还更简单,彻底杜绝干扰、掉线、不稳定、速度不均衡的技术难题。在此我可以很自豪的说,此套网络负载系统是目前世界领先,国内绝对唯一的。这个问题的解决将从根本上满足对超级电影场景、大型科学、天文、地质数据集合运算的应用,尤其是1000个CPU计算单一任务,并从一套存储上调取相同索引文件的诟病,试问谁能做到?飞机的速度肯定比靠车轮的快。
3、 绝对的安全、保密、高速存储系统。实行自动分区存储,每个人都能实时看到自己的完成文件,别人根本看不到你的半点信息,发现有设计方面的问题能及时进行修改,在平台专为每个客户配备的超级图形工作站上就能进行修改,省却大量时间。60TB的4GB通道存储容量足够装下几部电影的原文件了。
4、 无可超越的后期硬件优势,平台所有设备均达到了SD-4K甚至8K的渲染生产能力,后期具备SD-4K的全线制作设备,连最高端的配光校色系统都将在平台运行;你的一切想法均可不受限制的完美畅快实现。届时,使用平台后期设备的作品将在各个方面提升画面品质!
5、 网络提交渲染的绝对优势,之前还没有人这样做过。本平台的建立是旨在为全世界所有CG制作公司提供力所能及的渲染服务(技术支持),平台全部建设完毕具备3000个CPU同时运算的能力。不需要每位客户都莅临现场才能渲染,尤其是外地或国外客户想要亲临将会白白增大渲染的他项支出,不符合平台省钱省时的建设初衷;因此非上海的所有客户均可通过专用FTP网络提交方式进行网络自助渲染,渲染完毕后您就可通过服务网站的专用FTP软件迅捷的下载已经打包好的成品文件,10M的多线专用带宽保证您的下载与渲染一样畅快淋漓。哪怕是一张效果图也可以通过网络提交方式渲染,事半功倍;牺牲梦幻效果来成全渲染的时代彻底终结,您的设备永远只需要设计或制作,我们来为您批量的输出。
6、 渲染瓶颈的解决。渲染农场解决了高密度任务计算不了的本质问题,可以调动多CPU同时计算单一任务,无论你是什么计算任务,只要在合理计算范围内,理论上我们都能通过优化调配进行正常计算。比如三维方面的渲染问题,有些复杂、精度高的场景对内存、整体环境的要求很高,往往渲染中是报错或没有反应的, 在渲染农场这些问题都得到了很好的解决。可以很自信的说,解决您的一切渲染难题,所有奇幻的奇思妙想均可在实际项目中驰骋飞扬;彻底终结因渲染恶疾牺牲极至效果的悲惨往昔;赶超顶尖技术的豪迈激情不会因硬件的瓶颈自嘲为痴心妄想;五千年的深厚文化根基不会因为表现方式的单一变得苍白无力!


TIPS:CG渲染农场公共平台(上海)设备数据
Tyan S2891/2892 100套 共5组(20套一组渲染机,2台调取、存储机,1台操作机)
配置:2颗AMD OP 285 CPU、2GB英飞凌DDR400ECC、1台HP DL 100G2、146G/台SEA SICS73GB 15K 320MB/S
??????????????????
HP BL45P 40套 共2组
配置:2颗HP/AMD OP 2218 CPU、4GB HP Pc5300 ECC、1台HP BL 25P、72GB/台72GB 10K SAS2.5HP HDDAL、1片/台 HP/LOGIC BLC1105 FC
---------------------------------------
HP bl45P 10套 共一组 (10套一组渲染机,2台调取、存储机,1台操作机)
配置:4颗HP/AMD OP 8220SE、16GB HP Pc5300 ECC、1台/组 HP BL25P、72GB/台72GB 10K SAS2.5HP HDDAL、1片/台 HP FC 2242SR PCI-E/DC HBA
----------------------------------------------
HP BLC685 24套 共3组(8套一组渲染机,2台调取、存储机,1台操作机)
配置:4颗HP/AMD OP 8218、16-64GB HP Pc5300 ECC、1台/组 HP BL25P、72GB/台72GB 10K SAS 2.5HP HDDAL、1片/台 HP BLC CPE 1105FC HE


Q:我听说您这里以后将会面对全CG行业提供高端硬件设备的租赁、销售、咨询等代理服务?
A:是的,我们的渲染农场公共平台是在国家2个部委5个部门大力扶持下构建起来,取得了很多资金支持与政策扶持。饮水思源,我们将本着半公益的思路助力中国CG行业高速发展,除了渲染方面的支持外;我们还提供大批高端设备短、长期租赁服务;为他们降低风险,节省投资;而CG企业需要采购更新设备时,我们将利用我们的渠道以最优惠的价格帮他们搭建最合适的产品平台。至于咨询服务,可以通过我们的网站在线咨询,我们的专业工程师将为他们提出优化合理建议;并提供诸多品质有保证的代理信息。


  “我觉的最大推动就是完成了这个行业里的环节关联化,行业所有的环节只有匹配了,那才有产业化的可能,否则就是这山望着那山高。”他们这样谈论这自己在行业中所扮演的角色。除了设备平台搭建外两位负责人也与我们交流了下一步的企业发展策略,“这个平台也会逐步的肩负一种资源对接、交流、互换的功能,你有好的项目我们提供好的实现服务,你有的好技术我们提供好的应用领域,你有好的资金我们给你找好的项目和团队等等,一个立体资源交互的平台将是我们渲染农场硬件平台所创造出来的附加,也只有通过我们高端的平台,好的资源和资本才能对接起来。”简单的话语中透露的这家企业对于行业的信心也表露着新一批投身数字创意产业的企业推动中国行业整体性发展的决心,宏大的目标期待更多有这样实力的公司能加入进来,一起提供加入这个平台,这个平台就像一条纽带,机会人人都可以争取!渲染之旅,畅快淋漓;因为速度,因为效率,更因为享受一流服务的同时还能拓宽发展的机遇。“这个平台针对制作能力突出的CG企业特设免费集中宣传展示周;希望我们的尽心尽力能对您企业的腾飞起到绵薄之力,祝福行业、祝福大家!谢谢!”

相关事宜咨询:cgrsh@hotmail.com

猜你感兴趣

最新文章

相关文章

猜你喜欢