大数据分为几类?
大数据主要可以分为三类:结构化数据、半结构化数据和非结构化数据。结构化数据是指那些可以被规范和统一格式描述的数据,例如关系型数据库中的表格数据。
半结构化数据则是指那些有一定的格式和规范,但不适合用传统关系型数据库来存储和查询的数据,例如XML文档和HTML页面。
最后,非结构化数据则是指那些没有规范和统一格式描述的数据,例如音频、视频、文本和图像等。因此,不同类型的大数据所涉及的处理方式和技术也会有所不同。
什么是结构化,非结构化?
相对于结构化数据(即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据)而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。
字段可根据需要扩充,即字段数目不定,可称为半结构化数据,例如Exchange存储的数据。
非结构化数据库
在信息社会,信息可以划分为两大类。一类信息能够用数据或统一的结构加以表示,我们称之为结构化数据,如数字、符号;而另一类信息无法用数字或统一的结构表示,如文本、图像、声音、网页等,我们称之为非结构化数据。结构化数据属于非结构化数据,是非结构化数据的特例。
随着网络技术的发展,特别是Internet和Intranet技术的飞快发展,使得非结构化数据的数量日趋增大。这时,主要用于管理结构化数据的关系 数据库的局限性暴露地越来越明显。因而,数据库技术相应地进入了“后关系数据库时代”,发展进入基于网络应用的非结构化数据库时代。所谓非结构化数据库, 是指数据库的变长纪录由若干不可重复和可重复的字段组成,而每个字段又可由若干不可重复和可重复的子字段组成。简单地说,非结构化数据库就是字段可变的数 据库。
如何处理非结构化数据
处理非结构化数据的步骤:
确定一个数据源:在开始收集数据之前调查相关数据源。管理非结构化数据搜索工具:找到一个良好的业务管理工具。消除无用的数据:消除无关紧要的数据。存储数据准备:要处理在数据中删除所有的空白,格式化等问题,并索引非结构化数据。采用数据堆栈和存储技术:使用最新的技术来保存和堆叠数据。保存所有数据直到被存储:在删除任何东西之前,无论是结构化的还是非结构化的数据,必须保存。检索有用的信息:转换非结构化信息之后,需要检索数据。本体评估:需要能够解释其所采取的步骤和流程,以便识别模式,并与流程保持一致。记录统计:对数据进行分类和分段以便于使用和学习,并为将来的使用创造一个良好的流程。分析数据:在所有的原始数据实现结构化之后,就应该分析和做出相关且有益的决策。
非结构化数据库的选型
非结构化数据是数据结构不规则或不完整,没有预定义的数据模型,不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML, HTML、各类报表、图像和音频/视频信息等等。计算机信息化系统中的数据分为结构化数据和非结构化数据。非结构化数据其格式非常多样,标准也是多样性的,而且在技术上非结构化信息比结构化信息更难标准化和理解。所以存储、检索、发布以及利用需要更加智能化的IT技术,比如海量存储、智能检索、知识挖掘、内容保护、信息的增值开发利用等。
什么叫非结构化数据库技术
非结构化数据是数据结构不规则或不完整,没有预定义的数据模型,不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和视频信息等等。
计算机信息化系统中的数据分为结构化数据和非结构化数据。非结构化数据其格式非常多样,标准也是多样性的,而且在技术上非结构化信息比结构化信息更难标准化和理解。所以存储、检索、发布以及利用需要更加智能化的IT技术,比如海量存储、智能检索、知识挖掘、内容保护、信息的增值开发利用等。