城域网应急预案

鄂尔多斯电信2009年城域网应急预案2009年8月目录一、总则 31、编制目的 32、编制依据 33、分类分级 34、适用范围 35、工作原则 4二、组织体系 51、领导机构与职责 52、工作机构与职责 53、技术支撑队伍与职责 54、厂商售后服务队伍与职责 6三、运行机制 61、预警机制 62、应急处置 123、应急处置后评估 294、信息发布 30四、应急保障 301、人力保障 302、备件保障 33五、监督管理 331、预案演练 332、宣传和培训 33六、附则 341、预案管理 34七、附件 341、事件分级标准 342、应急管理工作流程 36 一、总则1、编制目的 为了保障数据网络的正常运行，在出现突发性故障或系统瘫痪时，能有效及时的组织相关维护人员，采取紧急措施，在最短的时间内恢复网络的正常通信，将意外事故的损失减少到最低程度，保障网络提供服务的可持续性，确保在服务品质协议（SLA） 定义的时限内恢复所承诺的服务2、编制依据依据《运维[2006]27号-关于组织开展网络安全评估和完善应急保障预案工作的通知(1)》，根据内蒙电信网络发展现状制定本预案。

3、分类分级本预案按照网络层次分级，鄂尔多斯电信数据IP网分为：城域网核心层、业务控制层、汇聚接入层4、适用范围本预案适用于鄂尔多斯电信IP城域网5、工作原则本预案工作原则：优先恢复业务原则；城域网核心优先于业务控制层，业务控制层优先于汇聚接入层原则；按照业务重要等级优先恢复原则；按照用户服务等级优先恢复原则1）业务恢复原则故障发生时，不同等级业务、业务网络按照不同的优先顺序进行恢复的原则2）应急预案体系城域网数据网整体应急预案城域网核心 业务控制层 汇聚接入层路由异常设备故障电路中断 电路中断设备故障路由异常电路中断设备故障路由异常 二、组织体系1、领导机构与职责领导机构：网运部主任：燕龙区公司数据专业主管：狄光职责：1、组织应急预案的定期更新；2、协调处理预案实施、演练等工作2、工作机构与职责工作机构：维护中心数据专业维护人员：王斯日古楞、郝如意、王剑职责：1、负责应急预案定期更新工作的具体实施；2、具体进行预案实施、演练等工作3、技术支撑队伍与职责技术支撑队伍：区公司网运部、鄂尔多斯网运部职责：1、负责应急预案中涉及城域网设备的预案实施；2、解决鄂尔多斯分公司申请支撑的技术问题。

4、厂商售后服务队伍与职责厂家售后服务队伍：华为公司技术支撑队伍中兴公司技术支撑队伍职责：1、配合应急预案定期更新工作的具体实施；2、配合具体进行预案实施、演练等工作三、运行机制1、预警机制（1）网络分析评估鄂尔多斯针对网络安全进行分析的工作机制和相关管理制度如下：规定由网络监控人员通过数据网管7*24小时对全省数据网（城域网BAS设备到省出口间的各级电路流量、设备性能）进行监控；每周/月对全市总出入流量、盟市出入流量、155M电路出入流量、2.5G电路出入流量进行分析,针对带宽能力进行分析、平均流速和峰值流速进行分析，确定是否设备资源使用情况，带宽利用率、是否需要扩容、流量异常增长下降原因等监测人员每班进行三次据链路连通性测试并将测试结果保存以及随时观察网管告警情况结果①数据链路连通性测试A、连通性及时延、丢包测试ping –t >测试（目前我省访问网站的IP地址：220.181.6.18，用于检测鄂尔多斯NE80E与省干设备链路状况）ping 219.150.32.132 –t >天津DNS测试1（用于检测鄂尔多斯NE80E与省干设备链路状况，以及测试天津DNS是否可达，我省主用DNS是天津DNS） ping 219.146.0.130 –t >山东DNS(测试山东DNS是否可达, 我省备用DNS是山东DNS)②路由测试A、tracert 网站：B、 tracert 天津DNS:③网管监控情况鄂尔多斯IP城域网后期可以利用的监控终端有N2000网管做实时监控网络情况，N2000网管可以监控到IP网的城域网核心层、业务控制层以及汇聚接入层所有华为设备，并可通过N2000网管直接管理这些设备；通过Netcool告警平台可以实时监控省骨干层所有设备的运行情况，通过IP三期网管系统可以实时监控鄂尔多斯出城域网流量、鄂尔多斯互联中继流量、以及城域网各汇聚设备的流量的出入平均和峰值流量。

A、正常情况下流量分布情况：鄂尔多斯中心局NE80E至呼市M320 2.5G POS链路正常情况下流量图： 鄂尔多斯中心局NE80E至通辽Cisco 12416 2.5G POS链路正常情况下流量图：鄂尔多斯火车站NE80E至呼市M320 2.5G POS链路正常情况下流量图：鄂尔多斯火车站NE80E至通辽Cisco 12416 2.5G POS链路正常情况下流量图：鄂尔多斯中心局NE80E至鄂尔多斯火车站NE80E 2.5G POS链路正常情况下流量图：鄂尔多斯中心局NE80E至中心局NE40E GE链路正常情况下流量图：鄂尔多斯中心局NE80E至火车站NE40E GE链路正常情况下流量图：鄂尔多斯中心局NE80E至准旗NE40E GE链路正常情况下流量图：鄂尔多斯中心局NE80E至达旗局NE40 GE链路正常情况下流量图：鄂尔多斯火车站NE80E至中心局NE40E GE链路正常情况下流量图：鄂尔多斯火车站NE80E至火车站NE40E GE链路正常情况下流量图：鄂尔多斯火车站NE80E至准旗NE40E GE链路正常情况下流量图：鄂尔多斯火车站NE80E至达旗局NE40-8 GE链路正常情况下流量图：鄂尔多斯中心局NE80E至中心局ME60-16 GE链路正常情况下流量图：鄂尔多斯中心局NE80E至火车站ME60-16 GE链路正常情况下流量图：鄂尔多斯中心局NE80E至准旗ME60-8 GE链路正常情况下流量图：鄂尔多斯中心局NE80E至达旗ME60-8 GE链路正常情况下流量图：鄂尔多斯中心局NE80E至伊旗MA5200G-4 GE链路正常情况下流量图：鄂尔多斯中心局NE80E至棋盘井MA5200G-2 GE链路正常情况下流量图：鄂尔多斯火车站NE80E至中心局ME60-16 GE链路正常情况下流量图：鄂尔多斯火车站NE80E至火车站ME60-16 GE链路正常情况下流量图：鄂尔多斯火车站NE80E至准旗ME60-8 GE链路正常情况下流量图：鄂尔多斯火车站NE80E至达旗ME60-8 GE链路正常情况下流量图：鄂尔多斯火车站NE80E至伊旗MA5200G-4 GE链路正常情况下流量图：鄂尔多斯火车站NE80E至棋盘井MA5200G-2 GE链路正常情况下流量图：鄂尔多斯中心局NE80E至中心局E1000 GE链路正常情况下流量图：鄂尔多斯火车站NE80E至中心局E1000 GE链路正常情况下流量图：B、鄂尔多斯出城域网2.5G电路中断时流量图：以下为相应的A设备D设备之间的流量图。

当中心机房NE80E至呼市M320出现中断时，中心机房NE80E至通辽Cisco 12416流量图：2、应急处置（1）应急管理调动处理流程数据网络主要包括IP网络、基础网络以及相关的后台支撑系统，在以上网络或系统发生紧急网络故障时，网络维护部负责牵头启动应急调动预案进行故障处理的调度，现场维护部分按照相应的紧急故障处理预案处理故障应急调动流程如下图：设备整台故障其他原因路由问题板卡故障电路中断处理流程图如下：（2）应急响应 鄂尔多斯电信IP城域网网络结构如下：① 城域网出口电路中断1、中心机房NE80E至呼市M320 2.5G POS电路故障 立即上报内蒙古区公司网管中心及运维部，如果2.5G POS链路中断后，所有出城域网流量都会通过火车站NE80E至通辽Cisco 12416的2.5G POS链路转发所以此时需密切注意火车站NE80E至通辽Cisco 12416的2.5G POS链路流量情况；查看传输网管，如果是传输电路中断引起的，则协调传输专业尽快处理；如果是NE80E路由器设备或单板故障，应积极区公司的指挥调度，做好现场维护工作，尽快解决问题 2、火车站NE80E至通辽Cisco 12416 2.5G POS电路故障 立即上报内蒙古区公司网管中心及运维部，如果2.5G POS链路中断后，所有出城域网流量都会通过中心机房NE80E至呼市M320的2.5G POS链路转发所以此时需密切注意中心机房NE80E至呼市M320的2.5G POS链路流量情况；查看传输网管，如果是传输电路中断引起的，则协调传输专业尽快处理；如果是NE80E路由器设备或单板故障，应积极区公司的指挥调度，做好现场维护工作，尽快解决问题。

② 城域网内部中继电路中断1、 当SR或者BRAS设备与城域网核心路由器NE80E间链路单条链路出现中断时，由于城域网内部运行动态路由协议OSPF，此时业务会瞬断几秒，待城域网路由收敛完成后，所有业务均从另外一条正常链路上转发数据；此时，应进行以下操作：a.立即上报内蒙古区公司网管中心及运维部，应积极区公司的指挥调度，做好现场维护工作；b.检查互联端口link灯是否处于常亮状态，若处于down状态，此时应该第一时间重新布放尾纤恢复链路，再进行测试；c.若更换尾纤后，物理端口link灯仍不处于常亮状态，则应更换相应的光模块，以免光模口烧坏或者其它情况造成光口不能正常转发数据；2、 当其中一台SR设备的两条上行链路均出现问题时，若短时间内不能恢复链路，应将该台SR设备上的所有业务暂时割接至另一台正常的BRAS设备上，再进行故障排除；此时，应进行以下操作：a.立即上报内蒙古区公司网管中心及运维部，应积极区公司的指挥调度，做好现场维护工作；b.在大汇聚交换机上，将三层业务vlan透传至正常运行的BRAS设备上；c.在BRAS设备上，配置三层业务的网关，同时发布该业务路由段；3、 当其中一台BRAS设备的两条上行链路均出现问题时；此时，应进行以下操作：a.立即上报内蒙古区公司网管中心及运维部，应积极区公司的指挥调度，做好现场维护工作；b.若是单板故障引起，及时将备件单板换上，把原上行2路光纤更换到备板上，配置数据恢复上行c.若是整机故障，第一时间将大汇聚交换机8905跳纤到ODF，通过局间光缆连接至另一局点的BRAS上，将PPPOE业务或者Wlan业务全部强制倒换至另一台正常的BRAS进行认证；为快速切换业务要提前布放8905至ODF和BRAS至ODF的光纤。

此条适用于大汇聚通过裸光纤上行至BRAS）d．若是整机故障，第一时间将另一局点正常运行的BRAS通过光纤连至传输7500/3500，协调传输人员将8905上行业务通道做到此正常的BRAS上，将PPPOE业务或者Wlan业务全部强制倒换至这台正常的BRAS进行认证；为快速切换业务要提前布放BRAS至传输设备的光纤此条适用于大汇聚通过传输上行至BRAS）e.在正常的BRAS设备上，查看用户上线数量，确保业务已经正常；Display access-user domain dslam_pppoeDisplay access-user domain lan_pppoeDisplay access-user domain wlan_web4、 当大汇聚交换机8905至BRAS设备互联链路出现中断时；此时，应进行以下操作：a. 立即上报内蒙古区公司网管中心及运维部，应积极区公司的指挥调度，做好现场维护工作；b. 查看传输网管，如果是传输电路中断引起，则协调传输专业尽快处理；c. 若是光模块烧坏或者其它情况造成光模块不能正常转发数据，则更换光模块，则进行测试；d. 若是尾纤出现问题，则应将提前布放的备用尾纤直接接入传输设备的端口，再进行测试；e. 若是8905或ME60单板故障，立即调用备件，并调整相关数据到备板上5、 当大汇聚交换机与两台BRAS或者两台SR设备互联链路出现中断时；此时，应进行以下操作：a. 立即上报内蒙古区公司网管中心及运维部，应积极区公司的指挥调度，做好现场维护工作；b. 第一时间联系传输人员及数据维护人员进行链路恢复；③鄂尔多斯城域网设备故障1、 NE40E/NE80E出现异常a.按照上面链路故障的方法先将业务恢复至正常的设备上；b.立即上报内蒙古区公司网管中心及运维部，应积极区公司的指挥调度，做好现场维护工作；c.硬件障碍：1)尝试用telnet、远程拨号方式登陆，查看告警路由器告警信息，并根据在现场看到的设备面板告警信息，判断障碍点。

2)若判断为板卡电源模块等硬件故障，需要确认是否有冗余板位，如果有可以将业务调整到冗余板位；如果有可用端口，将故障端口割接到可用端口 3)若为关键板件（如路由引擎、电源等）故障，且启用冗余板位后业务仍不能恢复，立即调拨备件，备件上架后，及时与区公司网运部联系，配置软件信息，恢复业务 4)若由于设备板卡吊死等不明原因引起的故障，则将搜集至的设备告警和板卡状态等信息上报给区公司网运部和网管中心，并将业务割接至备用板卡上在厂商确认、区公司网运部及区公司网管中心认可后，在确定不会对现有业务有更严重影响的前提下，重启部件或设备2、ME60出现异常a.按照上面链路故障的方法先将业务恢复至正常的设备上，b.立即上报内蒙古区公司网管中心及运维部，应积极区公司的指挥调度，做好现场维护工作；c.硬件障碍：1)尝试用telnet、远程拨号方式登陆，查看告警路由器告警信息，并根据在现场看到的设备面板告警信息，判断障碍点2)若判断为板卡电源模块等硬件故障，需要确认是否有冗余板位，如果有可以将业务调整到冗余板位；如果有可用端口，将故障端口割接到可用端口 3)若为关键板件（如路由引擎、电源等）故障，且启用冗余板位后业务仍不能恢复，立即调拨备件，备件上架后，及时与区公司网运部联系，配置软件信息，恢复业务。

4)若由于设备板卡吊死等不明原因引起的故障，则将搜集至的设备告警和板卡状态等信息上报给区公司网运部和网管中心，并将业务割接至备用板卡上在厂商确认、区公司网运部及区公司网管中心认可后，在确定不会对现有业务有更严重影响的前提下，重启部件或设备3、8905出现异常a.按照上面链路故障的方法先将业务恢复至正常的设备上，b.立即上报内蒙古区公司网管中心及运维部，应积极区公司的指挥调度，做好现场维护工作；c.硬件障碍：1)尝试用telnet、远程拨号方式登陆，查看告警路由器告警信息，并根据在现场看到的设备面板告警信息，判断障碍点2)若判断为板卡电源模块等硬件故障，需要确认是否有冗余板位，如果有可以将业务调整到冗余板位；如果有可用端口，将故障端口割接到可用端口 3)若为关键板件（如路由引擎、电源等）故障，且启用冗余板位后业务仍不能恢复，立即调拨备件，备件上架后，及时与区公司网运部联系，配置软件信息，恢复业务 4)若由于设备板卡吊死等不明原因引起的故障，则将搜集至的设备告警和板卡状态等信息上报给区公司网运部和网管中心，并将业务割接至备用板卡上在厂商确认、区公司网运部及区公司网管中心认可后，在确定不会对现有业务有更严重影响的前提下，重启部件或设备。

4、DDOS攻击情况DDOS攻击概念：l DoS的攻击方式有很多种，最基本的DoS攻击就是利用合理的服务请求来占用过多的服务资源，从而使合法用户无法得到服务的响应DDoS攻击手段是在传统的DoS攻击基础之上产生的一类攻击方式其原理如下图一所示单一的DoS攻击一般是采用一对一方式的，当攻击目标CPU速度低、内存小或者网络带宽小等等各项性能指标不高它的效果是明显的随着计算机与网络技术的发展，计算机的处理能力迅速增长，内存大大增加，同时也出现了千兆级别的网络，这使得DoS攻击的困难程度加大了-目标对恶意攻击包的"消化能力"加强了不少，于是分布式的拒绝服务攻击手段（DDoS）就应运而生了DDoS利用了更多的傀儡机来发起DOS攻击，以比从前更大的规模来攻击受害者DDOS攻击现象：l 出现DDOS网络攻击时，被攻击端网络及主机会出现一下的现象：1、被攻击主机上有大量等待的TCP连接 2、网络中充斥着大量的无用的数据包，源地址为假 3、制造高流量无用数据，造成网络拥塞，使受害主机无法正常和外界通讯 4、利用受害主机提供的服务或传输协议上的缺陷，反复高速的发出特定的服务请求，使受害主机无法及时处理所有正常请求 5、严重时会造成系统死机，网络严重拥塞SYN-Flood是目前最流行的DDoS攻击手段，利用了TCP/IP协议的固有漏洞。

据现网监测上的统计，目前网络中存在大量的DDOS攻击，在ChinaNet网络中，平均每天监测到的攻击有500个左右所有的攻击中，TCP SYN攻击占全部DDOS攻击的90%左右，而其中攻击流量较大的类型是TCP SYN、ICMP、TCP RST面向连接的TCP三次握手是Syn Flood存在的基础TCP/IP建立连接需要经过三次握手，而攻击者在发送了第一次Syn后，不再发送第二次Syn信息，导致被攻击者一直等待发送方的Syn信息直到超时，而攻击方通过发送大量的Syn信息，导致被攻击方cpu资源耗尽而无法提供正常服务DDOS检测措施：l 在省骨干网和城域网汇聚层以上网络，可以利用北方IP三期数据网管http://219.150.32.197:2003/nms/login.jsp以及北方DDOS攻检测工具Arbor Networks' Peakflow https://219.150.59.250/ 进行日常监控、当然还可以通过在设备上查看Access-List匹配方式来检测网络攻击在城域网汇聚层以下的网络中，由于IP三期数据网管不能检测到该层面的电路流量情况，因此，可以使用北方DDOS攻检测工具Arbor Networks' Peakflow https://219.150.59.250/和Access-List的检测等方法，还可以采用一些二层网络的检测及使用协议分析技术进行攻击检测。

① 利用北方IP三期数据网管进行日常监控各盟市以及区维护中心网络监控以及维护人员可登录该系统，然后查看网络所监控范围内的电路波动图，如发现流量异常突然增加，则可初步考虑是否受到了DDOS攻击，然后查找被攻击主机以及攻击源，即时上报并实施封堵或者清洗工作下面是包头一用户遭受来至通辽方向省外DDOS 攻击时，包头IP城域网上行呼和以及通辽出口2.5G电路流量检测情况分析流量图可以发现在区呼和出口方向流量正常的情况下，去通辽出口方向入流量突然增加，可以初步判断是包头IP城域网内IP地址遭到了来自通辽方向省外DDOS 攻击InPCore 包头R3-呼和浩特R1 2.5G[流量观察基准端:A端] 启动即时流量监控A端|NM-BT-AE-A-3.163:Pos3/0/0(219.148.165.210) B端|NM-HH-HCZ-A-1.163 :so-7/0/0.0(219.148.165.209)InPCore 包头ML.A1-通辽A1 2.5G[流量观察基准端:A端] 启动即时流量监控A端|NM-BT-ML-A-1.163:Pos1/0/0(219.148.166.94) B端|NM-TL-HP-A-1.163:POS9/0/0(219.148.166.93)InPCore 包头R3-呼和浩特R1 2.5G[流量观察基准端:A端] 启动即时流量监控② 利用北方DDOS攻检测工具Arbor Networks' Peakflow进行检测各盟市以及区维护中心网络监控以及维护人员可登录该系统，查看Alerts菜单下的Summary子菜单，在All Alerts列表中可以监控到已经匹配了Networks设置的过滤特征值的DDOS攻击，其中包括攻击源在北方九省以及被攻击地址在北方九省的所有匹配特征DDOS攻击。

下面是10月8日内蒙电信一用户遭受IP NULL类型DDOS攻击时检测到的结果，我们可以很快速的发现被攻击的IP地址为222.74.34.106，以及攻击源、PPS检测情况、攻击流量BPS情况、攻击开始时间、结束时间、攻击类型等相关信息，这样我们就可以快速的部署针对性的流量封堵以及申请集团NOC进行流量清洗③ 通过Access-List匹配方式进行检测由于Arbor Networks' Peakflow是基于特征值来进行DDOS攻击检测的，所有可能有些攻击不能被检测出来，所以我们可以在拥塞发生的端口上绑定ACL，利用ACL匹配来进行检测④ 利用抓包工具进行协议分析来进行检测定位由于攻击可能会发生在省网或者某个城域网内部，这时我们无法借助北方系统进行检测，这样通过PING、TRACERT等日常工具以及分析设备当时端口流量，将故障定位在小范围内，然后通过使用协议分析工具进行检测定位具体被攻击者或者攻击源如下图所示，可以看到，在局域网中存在一个IP地址向随机的目的IP地址发送ICMP的ECHO信息，因此可以判断该IP地址的主机正在攻击别的主机，需要检查该主机并阻断攻击源DDOS防范措施：l 目前集团公司已经组织各省建立了互联网网络安全事件防范与处理虚拟团队，旨在加强电信公司内部及与外部安全组织间的信息沟通，加强对异常流量的监测和分析，积极防范DDOS 攻击。

并于9 月30 日前在京沪穗的出入口部署完成三套总共6G 容量的异常流量清洗设备，为关键站点（党政军、重要新闻媒体网站和基础域名服务器）提供网络攻击流量清洗手段内蒙电信已在网络边缘部署策略进行虚假源地址流量和常见病毒流量的过滤，以充分遏止采用虚假源地址和蠕虫病毒的攻击行为，并完善了网络安全事件上报流程以及应急处置预案DDOS 攻击应急处理流程：l 当中国电信网内北京区域的重要网站遭受DDOS 攻击时，如果攻击源在内蒙电信网内，则区维护中心应全力配合集团NOC判断攻击特征和溯源，进行流量清洗或者流量限速的方式对攻击流量进行处理当内蒙电信网内的重要网站和域名服务器遭受DDOS 攻击时，受攻击所在盟市公司维护部以及区维护中心应尽快确定被攻击地址、判定攻击特征，确定攻击来源，同时应向集团北京NOC 申请调用京沪穗出入口的流量清洗设备对攻击流量进行清洗如无法对攻击进行有效处理时，在用户同意时可使用“黑洞路由”或流量限速方式对攻击流量进行处理当内蒙电信网内普通站点遭受DDOS 攻击，造成省网、城域网、IDC 拥塞时，可使用“黑洞路由”或流量限速方式对攻击流量进行处理内蒙电信区维护中心负责提供7x24 小时的DDoS 攻击应急响应和技术支撑。

当DDOS 攻击造成大量用户投诉时，各盟市公司应在处理攻击的同时，做好用户解释工作，和政府相关部门保持密切联系，防止事态的恶化应急处理流程图如下： （3）网络复原后的处理故障恢复后首先查看故障点是否完全恢复、确认网络性能正常；其次进行业务测试；在确认业务已恢复后进入观察期并完成故障分析及报告网络正常状态的判别标准（全区NE80E 路由条目18347）根据网络故障发生的层面可通过测试网络连通性测试、网络路由测试来确定网络性能是否恢复正常，下面是正常情况下从鄂尔多斯中心局NE40E到北京以及天津的网络性能及路由鄂尔多斯中心局NE40E到北京：（2009年8月4日测试baidu网站为例）鄂尔多斯中心局NE40E到天津：1、临时抢通的业务电路复原流程如果是通过传输层倒波后恢复的业务，那么在传输故障恢复后，在将电路倒回前需要做以下工作：用仪表确认故障电路性能已经完全恢复 ——>确定电路倒回时可能造成的影响并制定相应处理流程——>根据业务状况网络层面确定操作时间、人员并通知相关部门——>做好倒波前的准备工作,包括端口的确认、尾纤的测试、纤缆的布放等——>按照倒波流程配合传输专业完成割接——>在传输确认倒波完成后检测IP网络连通性、网络路由、网络性能。

2、如果是通过路由调整恢复的业务，那么在将路由复原前需要做以下工作：如果是由于网络病毒或异常流量导致的路由调整，那么确认病毒被查杀或隔离后在进行复原、或是异常流量被抑制或过滤后在进行复员3、如果是一个方向传输故障后通过路由调整将流量引到其他方向恢复的业务，那么需确认故障方向传输恢复后在将流量调整回来4、如果是双节点设备其中一台设备故障，那么在将业务从另一台倒回来前需确认故障设备性能没有问题——>在将故障设备接入网络前先将流量全部调整到那台正常设备上——>将故障设备接入网络并确认端口设备没有问题可以正常转发数据包——>将路由调整复原并观察网络流量、网络路由、网络性能是否恢复 3、应急处置后评估分析故障处理是否启用了相应的预案、为什么没有启用或为什么没有相应的应急预案；分析起用应急预案的效果，是否在规定时间内成功启动了相应的应急预案，重点分析没有成功起用的原因，或者成功了但那些方面还需要改进；分析故障是否在现有应急预案的考虑范围，能否对类似故障制定出相应的应急预案；总结应急预案中不完善的地方并针对故障完善相应应急预案4、信息发布在启动应急预案前按照流程进行对各相关层面部门发送传真的同时通过电子邮件、OSS进行预案的发布。

信息内容应包括：应急预案启动的原因、时间、地点、具体实施人员；针对的网络层面；详细的应急预案；可能影响的范围等在启动应急预案完成后向相关部门、人员发送本次应急的实施过程及分析四、应急保障1、人力保障下面是北方网管中心、省网监中心、各地市网监中心、各设备厂家相应的负责人及通信方式根据不同的流程联系不同层面的人员进行故障处理1、北方网管中心数据网管中心电话序号北方网管联系电话1殷宇晶022-58810231 153201802802杨斌022-58810234 153201808183系统代维022-588102594值班电话022－58810291，58810292, 588102952、内蒙电信省网管中心电话序号内蒙网管联系电话1狄光0471-3337856 133271022172王斯0471-3386959 153355801593郝如意0471-3380000 153355801564值班电话0471-3380000，0471-33800013、内蒙古电信IP网各地市电信分公司24小时值班热线电话：序号单位24小时机房维护值班电话1区维护中心0471-3380000、0471-33800012呼和浩特0471－33865923通辽0475－63890004包头0472－69800005赤峰0476－58800006鄂尔多斯0477－39800017呼盟0470－39900148巴盟0478－79900039乌海0473－699000210乌盟0474－488000111锡盟0479－699551112阿盟0483－399000013兴安盟0482－39800004、内蒙古电信IP网各地市电信分公司数据专业联系人电话：序号单位姓名联系电话1呼和浩特市王学峰15335581228玛西巴雅尔153355812292呼伦贝尔市崔永军133148020003包头市姚程亮133271750624乌海市李刚133847386855乌兰察布市史凉冰133271486686通辽市王辉153329900207赤峰市朴树艳153356661698鄂尔多斯市王剑153356750259巴彦淖尔市许龙1332708212210锡林郭勒盟苑广富1533569002811兴安盟刘丰1533562890812阿拉善盟何伟131348381885、各厂家内蒙古电信IP网值班通讯录：厂家接口人24小时咨询电话华为李杰13904712632金志远13674831060钱小波13754097700王会13848173916800咨询800-8302118中兴赵强15849186818爱立信李嵬15810630650任志坚 13701083674杨震 13911908840系统集成王新乐15326091399（城域网）2、备件保障鄂尔多斯电信分公司目前有一块ME60的BSU备件，当4台ME60中有业务板出现故障时，可以紧急调用；另外中心局、火车站、准旗8905都多配置了一块光口板，当某局点8905出现单板故障，可以临时就近从这几个点拔板子恢复业务。

建议再为MA5200G、NE40、NE40E准备备件，其中NE40E的备件也可用于NE80E五、监督管理 1、预案演练由于预案涉及到的应急处置（设备以及线路操作）在网络正常情况下，操作比较危险，故预案演练内容主要以预警机制、人力保障、备件保障、熟练性学习上2、宣传和培训第一、由于鄂尔多斯网络监控组是故障管控的第一责任人，也是预案启动的关键部门，所以根据预案内容对网络监控组的培训以及与设备维护组的配合上是相当关键的； 第二、由于设备控制层及核心层设备是由区公司维护的，所以加强与区公司网运部及网管中心的配合也是我们宣传和培训的主要工作内容六、附则1、预案管理主要涉及内容有如下两点：（1）预案更新完善条件，当网络拓扑、路由策略、人员保障、备件保障等发生改变时预案需相应进行调整；当在进行预案培训、演练、启动后发现有不正确后不完善的内容时，需进行及时调整；（2）预案内容扩散范围，出于安全性考虑预案内容属于公司网络技术机密，故规定预案内容扩散范围只限预案本身涉及人员七、附件1、事件分级标准重大故障：互联网业务中电话拨号业务阻断影响超过1 万户*小时，专线业务阻断超过500 端口*小时；ATM/FR网、IP网设备等发生大范围故障，影响业务超过30分钟；一级故障：核心环或汇聚环环网倒换超过120分钟仍没有有效措施进行恢复的情况；任何155M级别的在用电路出现阻断或以上级别出现瞬断（业务受阻）的情况；发生100M以上带宽型数据电路中断；二级故障：发生10-100M带宽型数据电路中断；同时发生3个及以上数据用户电路故障；发生非重点客户的单个接入设备（DSLAM、RSA、ONU、SMII等）业务中断； 三级故障：宽带接入设备或语音接入设备单一用户板故障；发生单个普通用户数据业务中断；发生普通客户专线电路中断。

四级故障：单个ADSL用户电路中断2、应急管理工作流程。