营销-SEO-头部优化文字

400-928-0260

上海帝联信息科技股份有限公司

帝联动态
首页 > 帝联动态 > 企业新闻

帝联科技:运营一体化如何保证数据正确性

2017-05-11 12:06:06


运营一体化数据管理采用CMDB(Configuration Management Database 配置管理数据库)方式,目的是为了保证数据在频繁的变更中仍然准确无误。


图片关键词


运营一体化的意义


在各种IT服务和流程都利用基础数据,那么各种IT服务和流程都应该能得到改进,如果不能改进用于提供和支持IT的服务,就没有理由去使用这些基础数据。


运营一体化的目标


使大家的工作变得更加轻松,而不是更加麻烦。我们不断的优化流程,减少运维人员在各系统之间的切换,采用DevOps来减少运维的基础操作。


CMDB简要介绍


`CMDB作用`是存储与管理企业IT架构中设备的各种配置信息,它与所有"服务支持"和"服务交付"流程都紧密相联,支持这些流程的运转、发挥配置信息的价值,同时依赖于相关流程保证数据的准确性。


`CMDB核心`是关于CI和CI之间的关系,无论业务与基础配置之间的关系,业务内部的关系,基础配置内部的关系,都是CMDB的核心,若CMDB中的CI项没有关系,那么CMDB仅仅是一个资产管理系统。


ITIL中与CDMB相关的管理方式


* 事件管理


当发生事件,运维人员可以快速访问CI状况,通过审查CI及其所支持的业务管理来决定其影响,并了解修复服务相关的CI。


* 问题管理

结合事件和问题,通过CI之间的依赖管理,显示出可能造成问题的历史变更。


* 变更管理:

反映了CI的情况,也反映了变更后的即时状态,需要支持配置版本,有效的回滚,恢复策略,提高自动化部署和应用变更。


* 发布管理:

提供软件开发,测试,归档,发布中每个环节的管理,并提供版本控制。


我们遇到的问题:


1.    基础数据分散存在各个系统中,相对较分散不容易维护。

数据存放在:资产管理系统,客户后台管理系统,线下Excel表格,一体化(CDN相关的数据),每个系统只维护着自己关心的那部分数据。


2.    数据入口不唯一,各系统都有自己的数据入口,且无法保持一致。

每个系统中数据的新增和变更都为直接操作,且运维部门,研发部门,IDC部门都可以对数据进行直接操作。当数据发生变更时,会出现变更不及时或忘记做变更的情况。例如:服务器的IP变更。


3.    多数据源存在缺少数据调和和审计环节。

当问题2暴露后,系统无法检查有问题的数据,且没有人对这些问题数据做定期审核和数据的调和。如:服务器IP变更,当真实服务器变更IP后,系统无法及时反馈。


我们解决问题的方法和步骤


1. 制定一体化短期目标

2. 确定一体化关键内容

3. 选择一体化基础数据源

4. 一体化数据构成关系

5. 一体化数据初始化方法

6. 采用数据自动采集方式

7. 建立基础数据管理流程

8. 实施基础数据自动发现&审计

9. 数据安全管理

10. 基础数据管理职责


制定一体化短期目标


`一体化数据管理的目标`是提供业务所需要的基础数据服务


确定一体化关键内容


1. 管理事件,问题,变更和发布的信息流

2. 为业务系统各种功能基础数据

3. 管理服务级别协议(SLA)

4. 管理服务和服务所需要的配件

5. 提供可用性、方便快捷服务


选择一体化基础数据源


序号产品名称数据源类型
1各产品线业务线下数据Excel
2IDC基础数据线下Excel
3资产管理系统数据库
4设备监控系统数据库


一体化数据构成关系


数据库的组成有三种方式,由于关联数据众多,我们采用:中心数据库的联邦数据库。以下是常用的三种数据库构成方式:


1. 即成的多个数据库,IT各系统之间的数据库直接连接。

利:较低的初始化成本,在只有几个数据库是,比较方便快速。

弊:数据库随之增长,数据调和起来非常困难。


2. 独立的中央数据库,类似于数据仓库。

利:一站式提供所有的CI数据。

弊:实施起来,周期非常的长,当数据量慢慢增长,将面临数据库性能问题。


3. 中心数据库的联邦数据库。

利:方便扩展,对哥哥数据库的影响最小,对业务服务的定义提高了CI数据的可控。

弊:数据报表比较困难,需要联邦多个数据源获取数据。


注:整合为一标识,属性和关联数据。


一体化中对应的依赖关系


* 依赖关系:A依赖于B,如一体化中域名信息依赖于客户。


* 应用关系:B是A的被应用的对象,如一体化中编写的每条策略应用于具体的域名。初始化脚本等都是这种关系。


* 父子关系:B时A的孩子,在一体化的域名中,泛域名的关系。


依赖关系还有其他:复制关系,所有者关系,付费关系,支持关系等,注意:理论上有很多关系,但对于一个系统而言,CI之间的关系不是定义的越复杂越好,这样做会增加日后的维护工作量,也会让查询更为复杂,导致系统性能下降。


一体化中制约关系


1. 流程制约关系:机器必须上下架,才能提供平台初始化,策略生成,分发。

2. 机器/IP制约关系:IDC中任何一处IP修改,都能在平台中体现,且需要运维人员确认。

3. 机器/平台制约关系:机器必须选择对应的平台初始化脚本才能进行。

4. 机器/软件制约关系:通过初始化,机器安装的软件,版本,服务端口都被记录,卸载软件操作也会被记录。

5. 边缘/父制约关系:策略的分发,需要明确的边缘和父的关系。

6. 区域制约关系:策略分发中,特殊区域的父策略有明显区别。

7. 父的级别制约关系:策略中走父,需要有一个默认的父级别关系。

8. 状态制约关系:以上操作,都建立机器和IP的状态下进行。


一体化数据初始化方法


1. 采用电子表格倒入数据,电子表格可以从其他应用的数据库中获得或者从现有清单中获得。


2. 将数据直接从数据源同步到CMDB中,单向或双向的同步都需要在初始化和以后的数据同步时使用调和及同步规则


3. 用图形话用户界面手动更新数据。


初始化数据需要通过创建临时数据集,清理数据,导入,验证和不断重复才能完成对CMDB的初始化,目前我们正处于数据整理阶段。


一旦建立和填充了基础数据,将需要对他进行“积极”的维护,如果基础数据中存在很多超出运维需要的数据,意味着需要对这些无用的数据进行维护,这样的浪费是没有意义的(目前CI中还未包含机房带宽资源,交换机资产等)更槽糕的事,如果基础数据后来没有被更新和维护,那么当用户使用了这些质量低和不精准的数据时,将会失去对一体化的信心,这对一体化的推进会造成很大的阻力。


CI数据调和有三种方式,目前我们使用和将要使用的方式。


通过调和规则来设置优先度和自动调和各种差异的设置非常关键的,它保证了数据的精确性和可用性。且调和是一种持续的过程,伴随着一体化的整个生命周期。数据调和围绕着三个重要的活动:识别,比较,合并。


1.    识别模式:

处理来自不同数据源的所有CI数据实例,判断他们是否为相同的数据。

一体化中机器IP数据和EMClient采集的机器IP数据,通过机器IP关系来识别是否同一台机器。


2.    比较模式:

比较来自不同数据源有什么不同。

在一体化初始数据时采用该方式,核对机器的数据。


3.    合并模式:

处理两个来自不同数据源的同一个CI数据,采用优先度的方式合并他们。    在平台架构的IP关系中,通过配置文件的分析结果和数据库的信息做合并,在正式合并前需要人工确认。


采用数据自动采集方式


1. 服务器基础信息数据采集;

2. 应用系统配置信息采集及结构分析;

发现采集工具:EasyMonitor的客户端,Ansible的收集脚本。


建立基础数据管理流程


1. IDC上下架单流程;

2. CDN工单流程;

3. 资产管理系统中IP变更流程。


改变CI状态的任何变化一定要经过变更管理流程。错误数据的常见原因之一就是有人经常打破这个黄金法则。


流程是一体化建设过程中一个非常重要的步骤,如果忽略了这一步,CI数据将会很快“变质”,而且运维可能很快因此失去对一体化的信心而拒绝使用。


实施基础数据审计


验证和审计时确认CI实际存在并且正确的记录在配置管理系统中。目前需要开发的基础数据审计内容包括:


1. 服务器/IP信息审计;

2. 平台架构信息审计;

3. 加速域名信息审计;

4. 客户信息设计。


若要保证一体化数据的正确性,就需要在CI生命周期的各个阶段进行全面的管理,一旦CI发生变化,需要及时处理,让运维很快注意到这些变化,让运维对一体化的数据的准确度更有信心。


加强数据治理,需要业务透明和业务承诺,数据通过报表方式展现出来,这一点不仅仅体现在数据的可视性和信息控制力来持续改善。还需要建立相关的奖惩制度。


开启持续服务改进


1. 每周的数据变更数量;

2. 未授权的变更数量;

3. 实际变更数量;

4. 变更成功率。


有效的状态审计包括几个内容


使用配置管理解决方案的统计报表;

满足业务需求的宏观和详细的报表;

记录与CI相关的重要统计资料;

依照惯例权限过滤的状态审计记录。


我们可以参考:COBIT最佳实践:COBIT是ControlledObjectives for Information and Related Technology的缩写,即信息及相关技术的控制目标。面向过程的信息系统审计和评价的标准。


数据安全管理


1. 数据库密码管理;

2. 数据库权限控制管理;

3. 数据备份/恢复(增量备份,全量备份,主从数据备份);

4. 基础数据管理权限控制。


基础数据管理职责


1. 运维人员:拥有数据的所有权;拥有对数据的处置权利;对数据进行分类与分级;指定数据资产的管理者/维护人;


2. 研发人员:被授权管理相关数据资产;负责数据的日常维护和管理;


3. 管理人员:在授权的范围内访问所需数据;确保访问对象的机密性、完整性、可用性等。


清楚的数据责任要与流程元素结合在一起。我们发现每个人都想要基础数据的信息,但是没有人想要维护它。人们指着研发和管理团队说“都是他们的事”。任何不能被检查或确认的数据很可能损害基础数据正确性产生的价值。


我们的数据如何对外提供服务


1. 开放数据库方式对外提供数据服务;

2. 采用WebService对外提供服务;

3. 采用OSGi方式对外提供服务;

4. 采用消息队列对外提供服务。


总结


* 监控并持续优化一体化数据的质量。

* 推动哪些真正关联一体化项目受益的核心指标的达标。

* 一个优秀的业务案例包括:问题,解决方案,收益,指标测量,对组织的影响。