您的位置: 网界网 > 数据中心 > 正文

大数据从“小”做起——中小企业的Big Data解决之道

2012年05月08日 10:51:21 | 作者:吴朱华 | 来源:CNW | 查看本文手机版

摘要:任何一个时代或者模式的兴起,都离不开与之相关的Killer App,比如,C/S时代的SAP ERP,互联网 1.0 时代的门户,以及互联网 2.0时代的搜索和SNS等,那么在当今云计算这个时代有那些Killer App呢?当然首先想到的肯定是以VMware ...

标签
大数据
中小企业

如何从“小”做起?

由于笔者平时与中小企业的接触非常频繁,虽然技术方案与实际的问题相关,但却很难在一篇文章当中详尽地道来。除了上述的基本处理流程之外,以下会将一些基本的从“小”做起的思路作阐述:

1. 认识自己的不足。主要是在技术、人力和财力等方面不仅无法与Google和Amazon这样的国外巨头比肩,而且与国内三大互联网BAT(百度、阿里巴巴和腾讯)也是无法比肩的,所以需要深刻认识;

2. 明确分析自己的需求。下面是几个常见的需求选项:

数据类型,是结构化,半结构化,还是非结构化为主;

数据大小,内部数据级别是TB级别、PB级别或者PB以上的级别;

读写量级,比如每小时写入的数据达到GB级别,或者每天写入达到TB级别等;

读写比例,是写为主,还是以读为主;

并发数,大致的每秒并发数;

一致性,只接受强一致性,或者可以接受最终一致性和弱一致性;

延迟度,最高能容忍的延迟度是多少,是10毫秒,100毫秒,还是1秒;

分析的复杂度,需不需要引入较复杂的数据挖掘算法等。

3. 要灵活使用现有的工具。首先,推荐使用一些开源,或者是价格可以承受的商业软件。虽然个人并不排斥自建,但是一定要有具体的商业价值,并且最好是在现有工具上的画龙点睛,而不是从头开始构建;其次,工具方面应与具体的场景相关,在不同的场景要使用不同的工具。

4. 尽量不要走平台思路,应以具体的应用和场景为主。因为建一个平台有很多附加的成本和设计,比如,Amazon的云平台是通过至少五年时间构建而成。特别是项目初期,不建议走平台这个方向,而是应脚踏实地以具体的商业场景为主。

5. 找准切入点。最好是找到一个技术难度小,并且有一定的商业价值的场景来做大数据[注]技术落地的试点,并不断地进行测试和迭代来验证,而不是一味求复杂、求大,这样比较容易说服企业管理层来进行长期的投入和支持;

最后,想强调一下,“罗马不是一天建成的”。无论是Google的用于大数据处理的基础设施,还是国内淘宝的“云梯”都是一步步通过不断的积累和实践完成的,所以中小企业应该贯彻“大处着眼、小处着手”的方针来持续地验证和推进。

作者简介

吴朱华,曾在IBM中国研究院参与过多个云计算[注]产品的开发工作,现在专注于YunTable(http://code.google.com/p/yuntable/)和YunEngine(http://yunengine.com/)的研发。

12 3

参考资料

1.大数据:(Big Data),研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 ...详情>>

2.云计算:(Cloud Computing)描述了一种基于互联网的新的IT服务增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展而且经常是虚拟化的资源。云计算是继1980年代大型计算机到...详情>>

[责任编辑:柴莎莎 chai_shasha@cnw.com.cn]