上海财经大学-财大在线

标题: 中国大数据人才培养体系 [打印本页]

作者: xxde112 时间: 2017-11-30 17:48
标题: 中国大数据人才培养体系

主编：

邹东生、王鑫、赵玉莲、张楠

编委成员：

陈晶、段林峰、范煜、胡明、侯治国、李宁、沈志勇、孙艳红、王军宏、冼峰、颜胜豪、易永祥

评审顾问：

鲍忠铁、陈志光、陈立文、程宏斌、陈昕、陈慧慧、冯艳宾、高嵩、高峡、郭俊辉、韩阳、金贻、江卫东、

姜春宇、李军、李正波、刘聪、李乡儒、刘彬彬、陆必克、陆安江、满君丰、牛力、戎鹏、孙新星、孙杰、宋天龙、王梦浩、

王颖、闻平、肖勇、肖四友、徐晓颖、于学强、俞银晶、袁皓、叶梦荷、张炳出、张晓晨、张青杰、张建芬、郑姗、钟权隆

　
　　
　　一、大数据及大数据人才介绍
　　
　　2014年信息技术研究和分析机构Gartner对大数据进行定义：“大数据”是需要新处理模式才能具有更强的决策力、洞
　　察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
　　2015年我国《促进大数据发展行动纲要》中对大数据的描述：“大数据是以容量大、类型多、存取速度快、应用价值高
　　为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知
　　识、创造新价值、提升新能力的新一代信息技术和服务业态。”
　　大数据人才是具备多种交叉科学和商业技能的人，能够将数据和技术转化为企业的商业价值。这种商业价值的转化不是
　　一次性的、一蹴而就的，而是需要有正确的策略，完整的团队，创新的能力，规范的工作流程和业务体系、评价体系等条件，
　　从而逐渐利用数据分析，实现从改善到创新的过程，也是大数据的应用过程。
　　随着大数据的不断发展，相应的数据感知、数据传输、数据处理等共性技术不断完善，而随着大数据应用领域的不断扩
　　展，相应的应用层大数据分析、决策支持等方面的人才非常紧缺。因此，我们这里定义的大数据人才是数据分析应用型人才，
　　要熟悉概念和原理，具有一定的专业知识，对业务逻辑有清晰地了解，能够熟练操作和使用数据库及分析工具，工作在大数
　　据与各个领域结合的第一线，运用分析指导我们的生产和生活。
　　
　　二、大数据发展与大数据人才培养现状
　　
　　（一）大数据发展进程
　
　　
　　1、国外大数据发展进程
　　大数据的产生来源于对决策支持的需求。自计算机出现以来，人们一直想用计算机来辅助决策，直到20世纪90年代，
　　美国数据仓库之父比尔•恩门（BillInmon）提出数据仓库理论才有了突破，此后其多次在演讲中提到“BIGDATA”。随着
　　数据量的增加，作为数据仓库平台提供商的Teradata、Oracle提供的软硬件一体的服务器，无论在性能还是在成本上已经
　　不能满足TB、PB级数据的处理需求，为此谷歌为解决网页搜索问题诞生了MapReduce、DFS和Bigtable，雅虎公司的
　　DougCutting实现了谷歌三篇论文提出的分布式系统的架构，并将源码贡献给Apache基金会，形成了Hadoop开源生态，
　　开启了大数据时代的大门。
　　2008年，计算机科学研究人员普遍认可了大数据，业界组织计算社区联盟(ComputingCommunityConsortium)发
　　表《大数据计算：在商务、科学和社会领域创建革命性突破》白皮书，使人们的思维不再局限于数据处理的机器，并提出：
　　
　　大数据真正重要的是新用途和新见解，而非数据本身。同期，谷歌利用网上搜集到的海量个人搜索词汇数据，成功预测了甲
　　型H1N1流感的传播趋势，说明大数据所蕴含的巨大价值。
　　2009年，奥巴马政府将大量数据向民众开放，将许多数据公布在美国政府数据开放门户网站-Data.gov；同期，印度政
　　府建立了用于身份识别管理的生物识别数据库，联合国全球脉冲项目已研究了对如何利用手机和社交网站的数据源来分析预
　　测从螺旋价格到疾病爆发之类的问题；欧洲一些技术领先的研究型图书馆和科技信息研究机构也彼此建立了伙伴关系，致力
　　于改善在互联网上获取科学数据的简易性。
　　2010年，美国政府要求各部门实施“大数据”战略，美国国会更新法案，提高数据采集精度和上报频度；肯尼斯库克尔
　　在《经济学人》上发表《数据，无所不在的数据》，提到“从经济界到科学界，从政府部门到艺术领域，很多方面都已经感
　　受到了这种巨量信息的影响”，并成为最早洞见大数据时代趋势的数据科学家之一。
　　2011年，麦肯锡发布《大数据：下一个创新、竞争和生产力的前沿》，其中讲到“美国市场，2018年大数据人才和高
　　级分析专家的人才缺口将高达19万，此外美国企业还需要150万位能够提出正确问题、运用大数据分析结果的大数据相关
　　管理人才”，这是专业机构第一次全方面的介绍和展望大数据；同期，IBM的沃森超级计算机每秒可扫描并分析4TB（约2
　　亿页文字量）的数据量，创造了“大数据计算的胜利”时刻。
　　2012年，美国奥巴马政府在白宫网站发布《大数据研究和发展倡议》，标志着大数据已经成为重要的时代特征；对大数
　　据领域的2亿美元投资和对数据“未来的新石油”的定义宣布大数据技术从早期的商业行为正式上升到国家科技战略。同年，
　　联合国在纽约发布关于大数据政务的白皮书，总结了各国政府如何利用大数据更好地服务和保护人民。
　　2013年，美国信息技术与创新基金会发布《支持数据驱动型创新的技术与政策》，数据驱动型创新主要包括“大数据”、
　　“开放数据”、“数据科学”和“云计算”。
　　2014年，美国白宫发布《大数据：把握机遇，守护价值》白皮书，对美国大数据应用与管理的现状、政策框架和改进建
　　议进行了集中阐述；同期，世界经济论坛以“大数据的回报与风险”主题发布了《全球信息技术报告（第13版），突出了大
　　数据在推动经济发展、改善公共服务，增进人民福祉，乃至保障国家安全方面的重大意义。
　　2016年，谷歌AlphaGo击败世界围棋冠军李世石，宣布人类进入“人工智能年”，最终战胜围棋第一人柯洁标志着人
　　工智能在垂直领域的落地进入到新阶段。
　　2、国内大数据发展进程
　　与国外相比，我国大数据的发展时间相对滞后、发展相对缓慢。
　　最早是在2003年，信息产业部确立信息技术人才培养计划，提出“项目数据分析”的概念。
　　2005年，国内成立第一家数据分析事务所，进行一些最基本的数据分析业务。
　　2008年4月，中国商业联合会数据分析专业委员会作为数据分析行业全国唯一的行业组织正式成立，数据分析报告在
　　项目分析过程中的价值受到越来越多的认可和关注。其后，数据分析技术进入了新的发展时期，但企业对数据分析的商业需
　　求仍然没有得到突破。
　　直到2011年，在物联网“十二五”规划中，我国工信部将信息处理技术作为4项关键技术创新工程之一，其中包括海
　　量数据存储、数据挖掘、图像视频智能分析。
　　2012年，阿里巴巴集团在管理层设立“首席数据官”一职，负责全面推进“数据分享平台”战略，并推出大型的数据分
　　享平台——“聚石塔”，为天猫、淘宝平台上的电商及电商服务商等提供数据云服务，是中国最早提出数据化运营的企业。
　　2014年，“大数据”首次出现在我国《政府工作报告》中，明确指出“要设立新兴产业创业创新平台，在大数据等方面
　　赶超先进，引领未来产业发展”，至此“大数据”成为国内热议词汇。
　　2015年，国务院正式印发《促进大数据发展行动纲要》，明确提出“推动大数据发展和应用”，标志着大数据正式上升
　　至国家战略。
　　2016年，《大数据产业发展规划（2016-2020年）》出台，推动大数据在工业研发、制造、产业链全流程各环节的应
　　用。
　　2017年，《新一代人工智能发展规划》出台，构筑我国人工智能发展的先发优势。
　　
　　中国大数据人才培养体系（第一版）
　　-6-
　　
　　3、大数据发展进程的思考
　　纵观大数据发展历程，可以做出以下结论：
　　（1）国际上大数据的发展进程最早可以追溯到20世纪90年代，大量的商业需求迫使大数据技术得到了突破，政府数
　　据的公开对大数据发展发挥了重要的推动作用；经过多年的发展，2012年，大数据在美国终于上升到国家战略，围绕大数据
　　应用，各行业纷纷发展大数据产业。
　　（2）国内大数据的发展从2003年起步，2012年以前由政府和行业协会推动，期间推动技术突破的商业需求几乎为零，
　　从起步经过13年的发展最终上升到国家战略，之后进一步带动不同行业、不同企业进行技术研发和数据公开。
　　不难发现，我国大数据发展存在着相对明显的断层，这种断层是应用需求的脱节，不了解商业应用需求的技术研发导致
　　很多情况下企业的生产脱离实际，投入大于产出。国际上其他国家早在2005年就完成了技术实现，尤其是技术的开源化，
　　但同样采用开源平台，国内国外效果不一样，这就值得思考，也提醒我们理性看待大数据技术发展与商业需求相脱离的本质
　　问题。国内阿里巴巴虽然最早提出通过数据进行企业数据化运营，但其仅仅从职能岗位入手，当时更多的仍停留在理念上。
　　随着其业务覆盖的扩展，阿里巴巴已经可以在一定的领域内形成大数据应用支撑，但其局限性依然很突出，与新领域难以形
　　成大数据协同，在面向未来的新型数据应用上，也很难形成无缝升级。因此大数据人才的培养必须突破理念，回归实质。
　　据埃森哲卓越绩效研究院(InstituteforHighPerformance)对美国、中国、印度、英国、日本、巴西和新加坡等这些国
　　家的数据分析人才需求的一项调查研究发现，截至2015年，上述所有国家（除中国外）都将面临胜任分析科学家工作的博
　　士毕业生数量净短缺的问题。埃森哲表示“美国、英国、日本、新加坡和巴西几乎将肯定遭遇高端人才的严重短缺，尽管印
　　度的数据分析服务行业蓬勃成长，但它也将难以培养出足量的博士生来填补所有新的数据分析科学家岗位。如果对数据分析
　　的需求加速升高，那么中国也将可能出现短缺。”目前，我国对大数据人才的需求的确在加速，埃森哲的这种预测也正在变
　　成现实。但目前国内大数据人才的培养大多仍停留在IT层面，绝大多数未真正进入企业的管理核心，而是在底层开发着各种
　　各样的大数据产品。但除了一些寡头级别公司的大数据内部应用，绝大多数的大数据产品并没有如同预期一样被市场接受，
　　要么是闭门造车、臆想出“伪需求”，没有真正解决客户的需求和痛点。要么是概念导向、占领客户大数据认知的“假产品”，
　　没有几个大数据产品能真正带来规模化收入，依然作为成本中心存在，究其根本还是在于脱离应用场景，脱离需求。优秀的
　　数据分析人才应当拥有从事数据分析的必要技能，懂分析数据，更懂生产、管理，甚至企业的方方面面，这些技能可以通过
　　学习或在职培训获得。IT专业人士应该开始意识到大数据领域与日俱增的重要性，要想在大数据领域发展必须去寻找获得这
　　些技能的方法。为此，我们要及早开展真正意义上的大数据人才的培养，时刻警醒着避免出现“新一轮人才断层”的问题。
　　
　　（二）大数据人才高校培养现状
　　
　　随着企业发展规模变化，数据应用价值凸显，在这样的背景下大数据人才培养方向到底在哪？作为大数据概念的发源地，
　　美国一直走在大数据发展的前列。我们通过美国大学中部分主要的大数据分析硕士学位课程的设置和我国高校大数据相关专
　　业设置进行对比分析。
　　1、全美国大学中主要的大数据分析硕士学位课程的设置
　　表2.1全美23所知名大学数据科学硕士课程一览表
　

　　
　　美国北卡罗纳州立大学高级数据分析研究院，作为美国第一个正式的数据分析研究生学位授予单位，有以上23个知名
　　的数据分析科学专业，其中11个开设在商学院，绝大多数称为商业数据分析硕士；6个开设在工学院，以计算机或工程学院
　　为主，多数是计算机科学硕士学位主修数据分析方向；4个设在管理学院，多数为商业管理硕士学位主修数据分析方向；其
　　余2个分别由专设的数据分析研究所和研究院开办。各大学对报考学生的数学和计算机知识结构都有较为统一的明确要求，
　　最理想的是商业知识和数据分析技能都具备的学生。例如雷德赛尔大学（DrexelUniversity）的课程主要是针对那些对定量
　　方法有兴趣、通过数据分析探索和揭示内在关系、利用数据来解决商业问题、希望提升能力或从事商业分析的职业人，所以
　　提出有工作经验的学生会有较强的入学竞争力。普杜大学（PurdueUniversity）将传统商业咨询与数据分析结合，即利用集
　　成的分析方法和现代信息技术来生成商业情报和解决特定行业的问题，因此要求入学学生具有很强的分析、量化、团队领导、
　　组织和沟通能力。
　　由以上可以认为美国大数据人才的培养方向，是为了培养能够帮助政府和企业转变思维、解决实际问题的专门的数据管
　　理决策支撑层，而不是来自IT部门的技术专家。
　　
　　2、英国大学主要的大数据相关授课型硕士课程
　　
　　表2.2英国30所知名大学大数据相关授课型硕士课程一览表
　　

　　
　　
　　英国大数据教育分为两个方向：大数据应用和大数据技术。与美国高校相仿，英国高校的大数据相关专业也比较注重应
　　用层面。作为欧洲的商业金融中心，英国的高等教育更注重大数据在商业方面的应用。相对主流的是聚焦于商业管理、金融
　　投资、应用经济学的数据应用问题，一般采取工商管理类教学的案例学习和信息数据科学的实践学习相结合的教学方式，也
　　体现出数据科学的高端人才必须是横跨业务和技术领域的双通道人才。其余领域应用包括健康、生物医学、地理等领域。
　　聚焦于技术方面的大数据专业也是采取和其他技术结合的模式，例如伦敦大学学院的网络科学与大数据分析和时空分析
　　和大数据挖掘，拉夫堡大学的计算机安全和大数据，利物浦大学的大数据与高性能计算，肯特大学的云计算与大数据。
　　另外，英国高校更注重跨学科和创新教育。比较有特色的是华威大学的“政治、大数据和量化方法（MAinPolitics,Big
　　Data&QuantitativeMethods）”专业和伦敦国王学院的“文化和社会中的大数据（MABigDatainCulture&Society）”
　　专业，都采取了文学硕士的学科建设。除此之外，比较有特色的课程包括华威大学的大数据与数字化未来这种开放式课程。
　　爱丁堡大学也开设了“数据科学、技术和创新（MScDataScience,Technology&Innovation）”的网络课程，支持在线
　　远程学习，同样获取硕士学历。
　　3、我国高校大数据相关专业设置
　　一直以来，我国高校开设的数据挖掘、商业智能相关的课程一直围绕计算机技术开展。2014年年初，在袁卫和纪宏教授
　　的倡导下，由中国人民大学、北京大学、中国科学院、中央财经大学和首都经济贸易大学五院校成立的大数据分析硕士培养
　　协同创新平台联合了北京地区高校的师资力量与大数据应用的业界翘楚，利用院校协同创新、研究部门与业界部门协同创新
　　
　　中国大数据人才培养体系（第一版）
　　-12-
　　
　　的全新模式，以实际社会需求为导向共同开发课程并进行高级大数据分析人才的培养。在此之前国内只有两所院校开设了大
　　数据相关专业，分别是香港中文大学的数据科学与商业统计硕士课程、纽约大学上海分校的商业数据分析科学硕士课程。
　　2016年2月，我国教育部公布本科新增“数据科学与大数据技术”专业，北京大学、对外经济贸易大学、中南大学成为
　　首家获批高校。
　　2017年3月，教育部公布第二批“数据科学与大数据技术”专业获批的32所高校。截至目前，我国已有35所高校获
　　批该专业。
　　
　　表2.3我国“数据科学与大数据技术专业”获批名单
　　序号学校名称学位名称学位授予门类
　　1北京大学数据科学与大数据技术理学
　　2对外经济贸易大学数据科学与大数据技术工学
　　3中南大学数据科学与大数据技术工学
　　4中国人民大学数据科学与大数据技术工学
　　5北京邮电大学数据科学与大数据技术工学
　　6复旦大学数据科学与大数据技术理学
　　7华东师范大学数据科学与大数据技术工学
　　8电子科技大学数据科学与大数据技术工学
　　9北京信息科技大学数据科学与大数据技术工学
　　10中北大学数据科学与大数据技术工学
　　11晋中学院数据科学与大数据技术工学
　　12长春理工大学数据科学与大数据技术工学
　　13上海工程技术大学数据科学与大数据技术工学
　　14上海纽约大学数据科学与大数据技术工学
　　15浙江财经大学数据科学与大数据技术理学
　　16宿州大学数据科学与大数据技术工学
　　17福建工程学院数据科学与大数据技术工学
　　
　　中国大数据人才培养体系（第一版）
　　-13-
　　
　　18黄河科技学院数据科学与大数据技术工学
　　19湖北经济学院数据科学与大数据技术工学
　　20佛山科学技术学院数据科学与大数据技术工学
　　21广东白云学院数据科学与大数据技术工学
　　22
　　北京师范大学-香港浸会大学
　　联合国际学院
　　数据科学与大数据技术工学
　　23广西科技大学数据科学与大数据技术工学
　　24重庆理工大学数据科学与大数据技术工学
　　25成都东软学院数据科学与大数据技术工学
　　26电子科技大学成都学院数据科学与大数据技术工学
　　27贵州大学数据科学与大数据技术工学
　　28贵州师范大学数据科学与大数据技术工学
　　29安顺学院数据科学与大数据技术工学
　　30贵州商学院数据科学与大数据技术工学
　　31贵州理工学院数据科学与大数据技术工学
　　32昆明理工大学数据科学与大数据技术工学
　　33云南师范大学数据科学与大数据技术工学
　　34云南财经大学数据科学与大数据技术理学
　　35宁夏理工学院数据科学与大数据技术工学
　　
　　该专业强调培养具有多学科交叉能力的大数据人才。
　　需要培养以下专业能力：
　　一是理论性的，主要是对数据科学中模型的理解和运用；
　　二是实践性的，主要是处理实际数据的能力；
　　三是应用性的，主要是利用大数据的方法解决具体行业应用问题的能力。
　　不管是从时间还是经验看，目前国内培养大数据人才的院校都尚处于起步阶段，学校教育与大数据市场需求脱节严重，
　　通过美国、英国与我国的对比可以看出，美国、英国除了工程相关专业，商学院的课程显得很重要，对学生也有工作经验要
　　
　　中国大数据人才培养体系（第一版）
　　-14-
　　
　　求，全面培养硕士研究生。而我国从本科设置，研究生以上的高端人才仍未从单一的计算机技能培养中有大的转变。因此，
　　社会培训机构要充分发挥对大数据人才培养的作用。
　　（三）大数据人才社会培训现状
　　中国商业联合会数据分析专业委员会作为主管行业协会，通过分析目前大数据社会培训课程设置，发现社会培训机构众
　　多，但对大数据人才的培养存在严重的方向偏移。主要表现在以下几个方面：
　　1、人才培养偏技术，忽视业务驱动
　　片面的IT底层化的人才培养，是大数据人才培养的第一个误区。目前不少所谓的“大数据培训机构”是从早期IT培训
　　机构转变而来，对大数据人才的培养主要开展底层架构的开发，课程主要集中在数据获取、数据运算、数据存储、以及基于
　　数据编程几个层面。在数据获取层面，更多培养学员如何使用Java语言获取目标网页内容；在数据运算层面，以Hadoop分
　　布式存储、MapReduce并行计算、HDFS分布式文件系统等为基础，教授学员如何对数据进行底层架构的设计与实现；在
　　数据存储方面，讲授传统关系型数据存储SQL、一些非关系型数据存储NoSQL，如Mongodb、Redis等；在编程方面，这
　　些机构忽视科学计算，不是数据编程而是以Java、Html语言为例教授学员开发网页、手机终端程序的基本知识。培养内容
　　更多地偏向于技术驱动，学员们并不能将这些内容与自己所处的行业、工作相结合，不能很好的运用IT技术解决工作遇到的
　　问题。
　　大数据的核心目标是数据驱动的智能化，是要解决具体的问题，可以是科学研究问题，也可以是商业决策问题，抑或是
　　政府管理问题。所以在进行大数据的人才培养时一定以问题和目标为导向，研究和选择合适的技术加以应用，言必Hadoop、
　　Spark的大数据是不严谨的。数据科学的技术基因在于开源，各大领域的基础技术栈和工具库已经很成熟，下一阶段就是怎
　　么快速组合、快速搭积木、快速产出的问题。不同的业务领域需要不同方向理论、技术和工具的支持，是业务决定技术和工
　　具，而不是根据技术、工具来考虑业务。
　　2、人才培养片面化，缺乏综合性培养
　　国内大数据培训课程分类繁多，系统性培训被主观性的画出很多的界限，单纯的理论，单纯的技术开发或单纯的工具操
　　作都无法培养大数据人才，在这种知识链条割裂的培训环境下，学员掌握某项技能多了，但按照上层应用业务需求解决问题
　　的能力却无法获得；对企业而言，误导员工认为不同岗位只需要了解与负责自己岗位所对应的工作内容，如数据建模师只负
　　责构建并评估数据模型，大数据可视化工程师负责对数据进行呈现与展示，数据架构师负责构建与维护底层数据架构。这不
　　仅限制了大数据人才的全方面、多层次、综合性发展，同时还将导致企业内部员工只能被动接受，对其上下游环节的工作毫
　　无预期。
　　大数据相比传统信息技术来说其深度和广度都有延伸，需要培养人才的“数据驱动”与“数据闭环”思维方式。其中，
　　数据闭环是指构造起包括数据采集、建模分析、效果评估到反馈修正各个环节在内的完整“数据闭环”，从而能够不断地自
　　我升级，螺旋上升；数据驱动是指经营管理决策可以自下而上地由数据来驱动。数据价值实现离不开围绕数据业务的不同角
　　色分工配合，大数据人才需要涉及交叉学科和交叉领域，通过完整的培训体系培养大数据人才的全局观、大局观，既可以自
　　顶向下的通过业务探索数据背后蕴含的商业价值，又可以自底向上的去实现数据获取、数据挖掘、以及数据决策的全流程，
　　以适应大数据时代的发展。
　　3、人才培养功利性，分级认证极具误导性
　　无论是人才培养偏技术驱动而导致忽视业务驱动的问题，还是人才培养系统性被割裂的问题，都与人才培养过程中商业
　　利益的驱使分不开。大量IT培训企业化身大数据培训，是第一类现象产生的源头；系统性被割裂的课程人为缩小学习目标，
　　短期激发学习热情，几个月、几天甚至几个小时就完成的培训符合市场“变现”规律，大量低质重复的课程实质在阻碍大数
　　据人才的发展。
　　
　　中国大数据人才培养体系（第一版）
　　-15-
　　
　　低中高的分级考试培养模式也是需要推敲和斟酌的，数据驱动的大数据人才重在应用。根据数据解决问题的能力与长期
　　知识、经验的积淀密不可分，本来就不是通过考试能评估的，考试只能考评知识掌握程度和是否具备相应的“数据驱动”和
　　“数据闭环”思维。这种划分等级的考试依据不够充分，没有论证依据和实践证明的分级考试极具误导性。大数据人才培养
　　的本质是探究学问，培养有用之人，服务社会发展，这关系到我国综合国力的提升，无论是学校教育还是社会培训，一定要
　　认真设计、谨慎从事，切勿落入“过度商业化”的窠臼而忘记了初衷。更不能假借人才培养之名，行商业利益之实。鉴于此，
　　作为行业协会有必要在大数据人才培养上出台基本发展架构给整个行业以引导。
　　
　　三、大数据人才知识体系架构
　　
　　（一）从实践应用需求中构建出的大数据人才知识体系
　　以可口可乐公司等为代表的世界500强公司，已经在组织架构上进行了以数据为驱动的改造，旨在当今竞争日趋激烈的
　　市场环境中能够快速对业务增长引擎进行正确可观的判断，时刻引领企业创新和变革，让大规模企业能够像微小企业一样善
　　于迎接改变，不停创新。图3.1是通过分析整理出的企业数据团队的典型组织架构：
　
　　1）数据决策者需要理解怎样制定数据分析的策略，来支持企业的总体战略，利用数据分析的力量来改进企业中跨业
　　务部门的决策效果。
　　（2）业务部门根据所在业务部门的需求，利用数据平台提供的接口完成业务分析任务。
　　（3）数据产品部门负责结合业务部门的特定需求，整合企业的数据资源与业务流程，设计并维护数据产品，从而使得
　　业务部门能够以最有效的手段，及时获取业务运营最为密切相关的数据服务。数据产品部门存在于以数据产品为主营业务的
　　企业中，其他企业一般不会专门设立该部门。
　　
　　中国大数据人才培养体系（第一版）
　　-16-
　　
　　（4）数据分析部门负责战略性和日常运营中复杂的分析需求，同时也负责相关算法、工具的研究与设计。综合处理
　　跨业务部门的分析需求，负责相关的项目支撑。
　　（5）IT部门，一方面实现企业数据仓库的设计、部署与维护，从而为业务分析师提供友好、便捷的数据访问及分析
　　的接口与工具；另一方面提供稳定的IT运行环境并配合数据平台部门做好相关软硬件的运维。
　　伴随着SeanEllis在2010年提出增长黑客（GrowthHacker）的概念，跨国企业纷纷专门设立首席增长官CGO
　　（ChiefGrowthOfficer）带领一个个精英增长团队，每个团队职能都包括市场销售、产品、工程、数据分析。能够形成若
　　干个增长引擎闭环，支持企业市场和产品的不停快速迭代和改进。
　　例如，Facebook和LinkedIn的增长团队模式就如下图所示：

　　在增长团队这种新的组织架构中，数据分析师的角色举足轻重，起着核心和发动机的作用。所有的市场反馈要经过数据
　　分析这一层再传递给产品决策或者返回市场决策。所有的产品创新也都需要数据分析这一层支持进行快速验证。这在市场进
　　入策略、产品设计创新迭代、精准营销与价值转化方面都有着巨大的意义。也正是这些创新的商业管理实践，组成了增长黑
　　客的概念。目前这种商业管理实践已经被越来越多的企业，尤其是善于创新的企业所采纳。
　　综上，数据分析师和业务专家显然是大数据人才的核心，总体需要具备商业智能的理念、掌握数据分析的基础理论和常
　　用算法、对业务流程有明确的认知，能够清晰地归纳和设计分析需求、熟练运用数据分析工具。
　　
　　大数据时代，更确切说是知识经济时代，技术标准竞争越来越激烈，谁制定的标准为世界所认同，谁就会从中获得巨大
　　的市场和经济利益。大数据技术标准更是如此，大数据技术使各种数据分析与处理成为了可能，但由于大数据技术是复杂的
　　新兴技术，目前尚未出现一种通用的大数据技术标准。随着技术的不断发展，当大数据底层基础架构不断完善并趋于稳定之
　　后，随之而来的更多的是有关大数据上层业务的应用问题，这时候究竟需要什么样的大数据人才、以及如何培养这种人才便
　　会十分棘手，换句话说制定大数据人才培养体系至关重要。
　　只有技术工程师或者科学工程师不可能实现从海量数据中挖掘价值的目标。大数据人才必定是具备如下知识和能力的综
　　合型人才：

　　图3.3大数据人才知识体系架构图
　　1、数据认知能力培养
　　世界上的一些先进的大数据成功案例，给我們最大的启示，是让我們对数据有完全不同于过往的观点，特別是对数据
　　的认知主动性，今天我们要主动的去思考我们需要哪些数据、我们有哪些数据、这些数据又可以为我们提供泽阳的商业价
　　值。在商业模式的层面上，我们要思考如何通过数据找到我们的合作伙伴，如何与我们的合作伙伴建立以数据为导向的合作
　　关系；我们的目标群体是谁，如何以最快捷的方式把我们的产品推向目标群体。从产品运营的角度，我们要思考如何提高我
　　们产品的商业价值，以及未来如何通过数据分析规避我们的市场风险。
　　2、数据调用能力培养
　　（1）数据获取：内部数据与外部数据
　　认知数据产生的时间、来源、条件、格式、内容、长度、限制条件等，能有针对性的实施和控制数据产生和采集的过
　　程，加深对数据的理解程度。今天我們不能只想到我們有什麼数据，而是想虽然今天沒有，我們还可以拿到什么数据，甚至
　　是別人有沒有这个数据，或是我可以到哪裡去收集這些数据。其中涉及网络爬虫技术、Wifi探针技术、系统日志数据采
　　集，通过公司内部数据与外部数据关联，打破数据孤岛，为基于业务场景下的数据分析提供支撑。
　　（2）数据存储：结构化数据存储、半结构化数据存储与非结构化数据存储
　　了解结构化及非结构化数据的存储架构（SQL及NOSQL），特别是对数据结构模型（datamodels）的训练。在传
　　统BI对于分析形式的relationaldatamodel（例如de-normalized的starschema或snowflake）已比较标准化；但
　　在大数据领域，NOSQL还是百家争鸣，从Columnbased,documentbased,key-valuebased,到networkbased，各
　　有其擅长及缺点，不同的模式，也各有其各式各样的开源平台，对于非关系型的NoSQL，其数据结构模型（datamodels）
　　的设计需要更多的关注，其对数据最终的价值，以及未来数据被处理时的效能有非常大的影响。另外，在未来的整体数据架
　　构（dataarchitecture）将会使用多形式及多样的存储架构，数据架构便非常重要，由于不同的应用需要使用不同的数据结
　　构模型，在不同的存储架构内及存储架构之间的运算及传输，都对整体系统的效能有很大的影响。
　　（3）数据预处理：探索、提取、清洗、转换和加载
　　熟练数据处理规则，能实际解决数据分散、不清洁问题，具备与业务需求相结合的能力。保证动态和迭代更新的数据
　　存储和处理达到及时、完整、有效、一致、准确。除了传统的ETL到数据库的能力，在大数据的环境中，还需要做好数据湖
　　（datalake）的规划，并建立特征工程的架构（featureengineering），提供高效能而适合数据挖掘、统计分析及机器学习
　　的特征平台。
　　3、数据综合处理能力培养
　　掌握数据挖掘和模型构建技术，并通过评估指标衡量模型的效果。能够进行商业运行和模型解释。数据只是系统的表象，
　　不管系统是商业的运营，政府部门的运作，还是其他的系统，要能当成业务驱动的目标，数据研究能力的培养需要在实际的
　　
　　中国大数据人才培养体系（第一版）
　　-18-
　　
　　环境下改善，如何经由研究及沟通去了解一个系统（Domainknowledge），如何将问题转化为可解的模型，实际执行运算，
　　对于结果做一个解释，找出可能的问题，再调整模型，这就是前面谈到的“闭环”，数据综合处理能力应该要有这种指导的
　　能力。在模型方面，应该提供一个环境，可以有多方面的实际问题及数据来培训。
　　4、数据呈现能力培养
　　数据呈现为我们搭建了一座新的桥梁，无论是动态还是静态的可视化图形，都能让我们更直观的洞察世界、发现形形色
　　色的关系，感受每时每刻围绕在我们身边的信息变化，还能让我们理解其他形式下不易发掘的事物。我们时常要根据我们数
　　据呈现的目标，选择我们使用的图表与方法：
　　有的可视化目标是为了观测、跟踪数据，所以就要强调实时性、变化、运算能力，可能就会生成一份不停变化、可
　　读性强的图表。
　　有的为了分析数据，所以要强调数据的呈现度、可能会生成一份可以检索、交互式的图表。
　　有的为了发现数据之间的潜在关联，可能会生成分布式的多维的图表。
　　有的为了帮助普通用户或商业用户快速理解数据的含义或变化，会利用漂亮的颜色、动画创建生动、明了，具有吸
　　引力的图表。
　　还有的被用于教育、宣传或政治，被制作成海报、课件，出现在街头、广告手持、杂志和集会上。这类可视化拥有
　　强大的说服力，使用强烈的对比、置换等手段，可以创造出极具冲击力的图像。
　　所以数据呈现是什么，这个概念不是那么简单的一个定义，希望我们都能好好把握数据可视化，把握数据时代，真正让
　　数据驱动业务，驱动发展。
　　5、数据决策能力培养
　　数据作为人类活动的痕迹，就像金矿等待发掘。但是首先你得明确自己的业务需求，数据才可能为你所用。
　　（1）数据为王，业务是核心，有了数据必须和业务结合才有效果。首先你需要摸清楚所在产业链的整个结构，对行业的
　　上游和下游的经营情况有大致的了解。然后根据业务当前的需要，指定发展计划，从而归类出需要整理的数据。最后一步详
　　细的列出数据核心指标（KPI），并且对几个核心指标进行更细致的拆解，当然要具体结合业务属性来处理，找出那些对指标
　　影响幅度较大的影响因子。前期资料的收集以及业务现况的全面掌握非常关键。
　　（2）思考指标现状，发现多维规律，发现规律不一定需要很高深的编程方法，或者复杂的统计公式，更重要的是培养一
　　种感觉和意识。不能用你的感觉去揣测用户的感觉，因为每个人的教育背景、生活环境都不一样。很多数据元素之间的关系
　　没有明显的显示，需要使用直觉与观察（数据可视化技术来呈现）。
　　（3）规律验证，经验总结，发现了规律之后不能立刻上线，需要在测试机上对模型进行验证。数据决策能力与业务能力
　　紧密联系，能主动把业务问题转化为可以用数据来解释的问题，通过数据分析结合业务场景得到数据观点，并对数据观点做
　　业务应用和解读，将数据分析结果反馈到业务操作过程。根据数据分析结论推动企业内部做出调整，能够将数据和技术转化
　　为企业的商业价值。
　　6、计算机及数据分析信息技术
　　计算机及数据分析信息技术，可以培养出良好的科学素养，系统地、较好地掌握计算机及数据分析信息技术，包括计算
　　机硬件、软件与应用的基本理论、基本知识和基本技能与方法，能为大数据人才的培养奠定良好的基础，但计算机及数据分
　　析信息技术并不能等于大数据技术，更不能仅用计算机及数据分析信息技术作为大数据人才的评估标准。大数据人才是综合
　　性的人才，是可以结合业务背景，以数据为驱动分析问题、解决问题。只有具备这方面的能力与素养，并且能够熟练运用计
　　算机及数据分析信息技术的人才，才符合中国大数据人才标准。
　　
　　
　　
　　中国大数据人才培养体系（第一版）
　　-19-
　　
　　（二）案例：旅游大数据人才知识体系架构的应用落地

　　某旅游公司构建大数据平台，基于宏观经济数据、旅游产业数据、遥感数据、GIS数据、用户属性数据、用户交易数据、
　　微博社交数据、LBS数据等海量数据，通过多元分析、空间统计分析、机器学习算法等数据挖掘方法，全景构建景区大数据
　　画像，在数据空间内对景区过去某一时间、某一空间下的旅游状况进行时空大数据重构，全面把握景区发展的外部环境与市
　　场导向，深刻洞察游客基本属性与行为特征，精准分析游客旅游路线，实时监控景区游客量，为城市及景区实现旅游市场细
　　分、旅游营销诊断、景区精准管理提供有力支撑。
　　旅游大数据平台分为旅游数据认知与决策、旅游数据调用、旅游数据综合处理、旅游数据呈现四大模块。
　　（1）通过搜索引擎、地图导航软件、在线旅游网站、在线购物网站、微博、论坛以及旅游宏观数据库、遥感卫星、气象
　　监测站等采集原始数据；
　　（2）对原始数据进行清洗、去噪、逻辑验证、标准化等预处理；
　　（3）通过多元分析法、空间统计分析、机器挖掘算法等方法对数据进行深入挖掘分析，同时对景区已有的游客线下数
　　据与旅游在线数据进行数据匹配，并通过宏观数据与游客微观数据进行交互验证，从而得到更为精准的结果；
　　（4）对分析结果进行数据可视化呈现；
　　（5）通过旅游行业专家对数据结果进行解读，为景区旅游市场细分、客源市场定位、旅游新产品开发、旅游营销诊断、
　　舆情引导等提供决策支持。
　　
　　四、大数据人才培养战略
　　
　　为抓住机遇，迎接挑战，进一步落实国家人才兴国和大数据战略，建设宏大的高素质大数据人才队伍，把大数据人才培养
　　工作作为推进大数据产业发展的关键步骤，中国商业联合会数据分析专业委员会制定如下人才培养战略：
　　（一）指导思想
　　全面贯彻设立新兴产业创业创新平台，在大数据等方面赶超先进，引领未来产业发展，按照《促进大数据发展行动纲要》
　　《大数据产业发展规划（2016-2020）》《新一代人工智能发展规划》，认真落实党中央、国务院决策部署，深入实施大数
　　据人才培养战略。以加快大数据在经济、社会等领域应用价值挖掘人才培养为主线，以提升跨界复合型人才能力为主攻方向，
　　积极完善配套措施，探索大数据人才能力评价体系，培育大数据技术和应用创新型人才。
　
　　二）基本原则
　　适应经济、社会发展需要。大数据人才培养要从国情出发，广泛开展社会调研，注重分析和研究大数据在经济发展中出
　　现的新情况、新特点，特别要关注大数据面向的行业领域的发展趋势，使培训体系、课程体系具有鲜明的适用特点。
　　坚持数据分析思维、技术、应用综合发展。把复合型人才培养作为根本任务，加强分析方法和技术培训，把数据分析思
　　维融入到大数据人才培养的全过程，重视培养思维能力和分析意识、法律意识。树立终身学习理念，加强多学科融合，比如
　　电商大数据，交通大数据,医疗大数据等的跨领域教学。
　　突出应用性和针对性。大数据人才培养要有鲜明的应用特点，具有明确的行业方向，立足于相关行业领域的实际要求，
　　首先要满足就业岗位任职的需要，以普及性应用为目的，以必需、够用的知识体系为度。提升式教学要加强针对性和实用性，
　　以搭建具体行业场景教学为主，强化实践教学，增加实训比例。开发以企业工作过程为课程设计基础的教学内容，实施以真
　　实工作任务或社会产品为载体的教学方法。
　　加强就业引导和职业能力培养。建立突出大数据职业规划和职业能力培养的课程标准。注重大数据职位、技能、行业、
　　薪酬、岗位升迁和能力素质匹配的衔接，确保教学内容适应对应的职业岗位要求。
　　保证校企师资融合、工学结合。行业、企业参与课程开发、专业教学、职业能力培训、质量标准制订与考核评估等大数
　　据人才培养全过程。积极推行与生产劳动和社会实践相结合的培养模式，引入企业中从事大数据工作的师资，将工作与教学
　　结合作为大数据人才培养模式切入点，并引导课程设置、教学内容和教学方法的实施。重视学习与工作实际的一致性，探索
　　以项目导向的教学模式。
　　（三）未来五年战略目标
　　1.规范培训体系，提高劳动员工的数据能力
　　规范数据分析基本培训和认证项目，为学员和企业基层劳动力员工提供学习机会，通过工具化、便捷化的基础技能培训
　　让普通从业者更多的会使用常用工具，通过通识教育使其高效获得必要的数据准备和分析技能：数据获取能力、简单的数据
　　呈现能力、数据特征描述能力，以及基本的数据统计分析能力。
　　建立规范的培训体系、科学的课程体系、高效的服务体系，依托全国大中专院校和分布在当地的授权机构，在选
　　拔和培训基层劳动力方面取得标志性成果。
　　初步建成交叉培训、更新技能和再就业人才培训生态链，培育若干全国领先的数据分析培训组织和机构。
　　数据人才培养环境进一步优化，将技能考核和工作实践相结合，聚集起一批高潜力的数据人才队伍。
　　2.构建人才智库，持续增加大数据应用骨干
　　打造连贯、系统、实用的知识图谱，在用大数据方法重构大数据学习上实现重大突破，在理论知识的完整联系、行业知
　　识和数据的跨越联系上取得积极进展。
　　复合型应用人才培养体系进一步规范优化，培养出的人才在企业中既有纵向参与和推进，又有横向对比和维护，
　　具备多学科、多领域的大数据综合能力，成为我国企业产业升级和转型的骨干力量。
　　选拔具备大数据应用骨干人才培训资质的社会教育机构，以旅游、医疗、交通、零售、传媒行业应用为课程导向，
　　计算机科学、统计学、机器学习、数据挖掘、可视化、经济学等将通过在这些行业中的广泛应用实现教学。
　　构建人才智库，探索建立大数据人才能力评价体系，完善大数据人才的认定标准，为培养大数据领域创新型领军
　　人才创造条件，吸引海外大数据高层次人才。
　　3.深化平台建设，扩大各领域数据专家群体规模
　　组建跨学科的数据技术团队，建设集大数据实验室、案例、模型、算法代码编写和分享的平台。
　　初步建成覆盖主要行业领域的案例库及根据案例为主的培训实验室。
　　
　　中国大数据人才培养体系（第一版）
　　-21-
　　
　　形成通过培训获得提高企业竞争力的数据和分析能力课程体系，获得数据应用团队必须具备的技术及团队管理运
　　作能力。
　　深入打造数据应用骨干向数据科学家的转换。在真实场景的实战环境中模拟打通行业数据壁垒案例，建模并做深
　　入的讨论学习，通过高参与性和相关性打通行业数据应用。
　　4.发展微课程，提高公众个性化数据技能
　　通过微课程实现公众个性化的学习需求，微课程区别于网络教学视频和传统课堂录像，注重互动性、信息传播性和学习
　　的协作性，通过大数据微课程开拓学员多渠道发展途径，并探索新的数据人才培养课程模式。
　　以数据分析思维、技术和应用为重点，专业性与普适性课程相补充，加快新技术、新领域、促进数据与应用融合课程的
　　研发力度，完善教育培训课程体系。
　　通过与相关部委及知名企业合作优化组合行业教育培训资源，提高教育培训和考试的科技手段，建立拓展行业引导的人
　　才培训基地。
　　大规模开展职业培训、继续教育，构筑大数据从业人员和后备人才的终身教育体系。
　　
　　
　　

贵阳大数据人才
www.gycpda.com
WWW .GYCPDA.COM
CPDA管理中心
关注
联系电话：0851-8861-2627
微信/手机：13984848499

欢迎光临上海财经大学-财大在线 (http://jd.gaoxiaobbs.cn/)