大数据技术在新媒体产业中的应用-建筑论文
大数据技术在新媒体产业中的应用
孟肖虎
（中国电力传媒集团有限公司，中国 北京 100070）
【摘要】大数据采集与分析系统采用云计算架构设计，采集互联网海量信息，
为媒体信息收集工作、内容制作、深度研究类刊物以及手机 APP、微博、微信
等移动端口提供大数据服务，成为行业内媒体融合的催化剂，为传媒行业的发展
提供了有力保障。
关键词 媒体融合；大数据；云计算；中文信息处理
0 概述
近些年部分传媒企业本着为目标受众提供权威信息资讯的目标，并进一步推
进媒体融合，着手建设大数据采集与分析系统，本文根据笔者在中国电力传媒集
团从事相关工作多年的经验，对大数据技术在新媒体产业中的应用进行简要讨论。
媒体的大数据系统要具有信息采集的功能，根据用途的不同，设计系统的日
信息处理量，以及爬虫的采集列表，系统需要具备中文信息处理功能，对信息进
行过滤、去重、相似性聚类、情感分析、文摘、自动分类等处理。
系统基于云计算架构进行设计，硬件以多台服务器虚拟成一个集群，以集群
为单位进行无限扩容。软件总体设计模块化，以功能模块为单位进行程序编码。
编码过程采用主程序、子程序等框架将系统的主要结构和流程进行描述，并定义
和调试各个框架之间的输入、输出链接关系，形成一系列以功能模块为单位的算
法描述。模块化设计使系统的部署、调试和维护等操作规范化。即使某一个模块
发生故障，也不影响到其他模块的正常工作，不会造成整个系统的瘫痪，确保在
资源评论
louis7617
- 粉丝: 3
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
