故障处理规范

admin发布

一、基本注意原则

  • 通处理重大故障时,以“先抢通、后修复”为原则恢复业务;
  • 当两个以上的故障同时发生时,根据故障的轻重缓急,对重大中断的业务、重要用户故障等予以优先处理;
  • 对于top客户业务中断 及 重大故障 ,根据故障处理时长和影响范围进行上报处理;
  • 故障在规定时限内不能恢复的,网络值班应向领导以及厂家请求技术支持,并跟踪解决;
  • 故障诊断时,应对邮件告警信息、微信告警信息、显示等内容进行认真的分析,避免判断错误;
  • 处理故障时,应不影响正在通信的用户,不任意扩大影响范围,未经主管审批不得对设备进行重启操作;
  • 对于明确需要重点保障的敏感客户,或故障重复频次较高的客户,必须加强对故障处理时限和敏感性,避免引起客户对服务质量的不满;
  • 故障出现后,原则上由当天网络值班对故障进行记录、跟进、通报直到故障修复。 并出具及索要后续的故障报告;如因此等导致值班人员无法保障值班要求(有故障第一时间发现/有消息第一时间响应/有告警邮件第一时间处理)应立即上报,由主管进行协调;
  • 对于主管指派的故障,其记录、跟进、通报、索要故障报告、等后续由被指派人全程负责;

二、故障处理时限及升级规范

  • 对于top客户 或 重大故障 时效和升级规范
    • 0-5分钟:监控到top业务中断/重大故障 → 立即上报到主管和副主管并同步现象给客户
      • 对客户通报格式:您好,监控到贵司A-Z有XX现象,正在紧急处理;
    • 0-30分钟:30分钟内解决的网络部门自行解决
    • 30分钟:30分钟未能处理的 > 立即将故障上报到对应销售的项目群 @对应销售 @毅哥
      • 对内通报格格式(注:第一次信息通报内容应包括:故障发生时间、影响范围评估、初步故障原因等
        • 重要客户:XX项目故障首次通报
        • 故障现象 :
        • 故障原因 :
        • 资 源 方 :
        • 开始时间 :
        • 直接影响 :
        • 处理方法 :
        • 当前进度 : @对应销售 @毅哥
      • 60分钟:故障未修复前,默认每1小时对故障进行一次跟进同步(对内以及对客户)直到故障修复
        • 对内通报格格式(注:跟进通报内容应重点强调故障处理的关键信息和进展,是对首次通报内容的不断完善和处理过程的评估。在出现关键进展或者达到故障通报时间时,需要对故障的处理情况进行通报)
          • 重要客户:XX项目故障跟进通报-1/2/3/4…
          • 故障现象 :
          • 故障原因 :
          • 资 源 方 :
          • 开始时间 :
          • 直接影响 :
          • 处理方法 :
          • 当前进度 : (直到修复前,不用再@人了)
        • 对客户跟进通报格式1:您好,经检查确认由于XX原因导致,目前工程师正在紧急处理中,预计XX分钟后修复。
        • 对客户跟进通报格式2:您好,目前还在排查/已上报或升级,我们会尽快为您处理。
        • 对客户跟进通报格式3:您好,目前正在于运营商/光缆商确认预计修复时间,我们会密切关注处理进展。
      • 故障处理完成后 > 将结果同步(对内及对客户)
        • 对内通报格式(注:结束通报内容应重点强调故障处理的关键信息和前述通报信息的纠正和总结,并对故障提出后续处理方案和措施)
          • 重要客户XX项目故障结束通报
          • 故障现象 :
          • 故障原因 :
          • 资 源 方 :
          • 开始时间 :
          • 直接影响 :
          • 处理方法 :
          • 结束时间 : @对应销售@毅哥
        • 对客户结束通报格式:您好,XX故障已修复完成,详细故障情况会以报告形式给到贵司。
        • 对客户结束通报格式2:您好,与运营商/光缆商确认XX故障/网络已于XX时间恢复,具体故障原因待确认后告知。
    • 对于普通客户 或 普通故障 时效和升级规范
      • 监控到客户业务故障后,立即将现象和客户同步(5分钟内)
        • 对客户通报格式:您好,监控到贵司A-Z有XX现象,正在紧急处理;
      • 值班人员可在60分钟内自行定位及处理
      • 超过60分钟未修复的 → 立即上报到主管和副主管
        • 故障未修复前,默认每1小时对故障进行一次跟进同步(对客户)直到故障修复
          • 对客户跟进通报格式1:您好,经检查确认由于XX原因导致,目前工程师正在紧急处理中,预计XX分钟后修复。
          • 对客户跟进通报格式2:您好,目前还在排查/已上报或升级,我们会尽快为您处理。
          • 对客户跟进通报格式3:您好,目前正在于运营商/光缆商确认预计修复时间,我们会密切关注处理进展。
        • 故障处理完成后 > 将结果同步(对客户)
          • 对客户结束通报格式:您好,XX故障已修复完成,详细故障情况会以报告形式给到贵司。
          • 对客户结束通报格式2:您好,与运营商/光缆商确认XX故障/网络已于XX时间恢复,具体故障原因待确认后告知。

      三、其他注意事项

      • 特殊注意事项
        • 对于出现过crc 或 电路出现丢包后 需要重新回切流量的业务,根据实际情况做好如线路验证工作再进行回切;
          • 确认线路正常流程:1、通过服务器加量iperf测试 2、通过挂表测试 3、 ping大包(9000字节 +500个包) 4、 ping小包(快ping 1万个包)
        • 以下专线,在抢修期间应将接入客户侧端口管理down掉,以避免震荡影响客户业务(操作前提前联系主管确认)
          • 易视腾(福州-无锡,福州侧);祥云(北京-无锡)等…
      • 对于已经处理完成了的 “重大 / 较大” 故障,(如果是资源方问题) 都需要跟资源方申请故障报告;
        • 故障报告申请方式:将故障情况以固定格式整理后发邮件给wangyue@jywx.com并抄送 liuxl@jywx.com/dunsh@jywx.com/wanghm@jywx.com;
        • 注:岷峰所有提供的资源 不再索取故障报告 / 西咸电信提供“经开 – 西咸”的裸光资源 不再索取故障报告 / 壹通提供的 ” 南京遐通 – 上海新业 30G 不需要申报故障及索取故障通告;
        • 资源方未提供故障报告前,需持续跟进(收到故障报告后,内部故障等级表关于“是否已处理完成项 方可填 是 )
      • 客户申报故障/告警产生时 应确认项
        • 具体业务/影响的段落( 客户的DPLC线路编号、源目ip地址等)
        • 故障现象(丢包、中断、时延增大、流量上不去等及相关数据和截图)
        • 当前的状态(故障还在持续 、还是已经结束了、开始和结束时间分别是多久)
      • 跟资源方申报故障格式;
        • 您好,麻烦帮排查下 “具体线路(vlan/资源方提供的线路编号/源目ip等)”“ 有XX故障现象(中断/丢包等)”“故障开始时间 / 结束时间 / 当前状态 “;
      • 故障分类及定义
        • 重大故障:POP节点脱网/双断;2个及以上线路/客户业务出现中断;
        • 较大故障:单个客户/单条线路出现中断,多个客户/多条线路出现丢包;
        • 一般故障:单个客户业务丢包;
        • 其他故障:除上述故障外(如时延增大等);
      • 给到客户的故障报告说明;
        • 故障负责人在24小时内,制定完故障报告(需包含:故障原因、故障详细处理过程、相关改进措施等)并交由主管/副主管审核;
          • 注:报告内容要与实际处理过程一致,内容语句通顺,不能出现错别字;
        • 审核无误后,将故障报告盖章后 以邮件形式给到客户(抄送wangrui@jywx.com、zhaoyi@jywx.com、liuxl@Jywx.com)

      四、重点客户名单

      广州酷狗计算机科技有限公司(爱云)
      北京华夏创新科技有限公司(轻网)
      北京中云融信科技有限公司 (海鲸/海御)
      深圳市光联世纪信息科技有限公司
      北京天地祥云科技有限公司
      九坤投资(北京) 有限公司
      北京观脉通信技术有限公司
      广东睿江云计算股份有限公司
      上海锐速网络科技有限公司
      易视腾科技股份有限公司
      广州瑞铂信息科技有限公司 (朗桥)

      五、客户沟通方式

      1、和客户沟通注意点

      • 回复语气不能太僵硬,不能太直接(一些不能实现的功能或者需要客户经理那边确认等可以看情况说明),不能太口语化,尽量使用专业的术语来保证服务水平
        • 举例:我想知道***功能可以实现吗? / 正面回复:您好,如果您有这方面的需求可以跟客户经理那边沟通。/ 反面教材:恩,这个你问客户经理就知道了(口语化与不专业)
      • 遇到自己不能了解或者无法马上回答的时候,可以先回复客户,然后询问下其他人或者领导,需要怎么处理。有进展的情况需及时跟客户沟通避免引起客户的情绪
        • 举例:****专线什么时候可以好? / 正面回复:您好,这边确认下,麻烦稍等
        • 举例:现在***是什么情况,怎么这么久还没好? / 正面回复:您好,这边已经让网络工程师在检查,请稍等。(这个情况下需要与客户多点互动,整个过程中不能不说话,客户一直等,这样客户容易有情绪,尽量保持与客户的互动)
      • 客户的问题解决或者后续的结果跟进,需要主动向客户进行反馈
        • 举例:您好,麻烦重新测试下 / 举例:您好,请问您现在是否恢复正常呢?
      • 遇到某些即棘手又需要时间排查确认的问题或者出现重大故障时,接到客户的投诉甚至恶言相向时,需保持冷静,严禁与客户发生争吵,耐心和客户做解释,优先安抚客户
        • 举例:您好,由于这边排查需要时间,这边工程师已经加紧排查,给您带来的不便我们深表歉意。/ 非常抱歉,我们正在检查,会尽快确定故障原因并解决,请稍等一下,确定后我们会尽快答复您。注意:当承诺会答复客户后,需严格遵守承诺回复处理结果给客户!
        • 客户发脾气不理解情况的时候,需要我们引导客户,切记不可带有情绪回复客户,换个账号或者人沟通,有利于事情的解决
      • 当客户提出本职工作之外的要求时,尽量优先回复客户,找对应的人处理,需要客户经理出面的时候,可以私下可以跟客户经理沟通
      • 当客户问题解决后,客户表示很感谢的话,例如,谢谢你,应回答:不客气!这些都是我们应该做的,后期您有任何问题可以随时联系我们!
      2、部分回复参考案例1

      您好:因 济南-泰安光缆中断,影响您 北京-上海线路。链路已切换到备线,延时会增大,请您知晓
      您好:因武汉-合肥光缆中断,影响您武汉-上海。链路已切换到备线,延时会增大,请您知晓
      您好:因上海-青浦光缆中断,需要紧急调整,会造成短时间中断,影响您成都-广州。链路已切换到备线,延时会增大,请您知晓
      您好, 长沙-汨罗光缆以修复完成,目前主线路已恢复,业务延时已恢复,请知晓。
      酷狗:您好 漳州-漳浦光缆损耗异常,需要紧急调纤,操作时间12:20-12:50。影响您北京-宁波专线,届时链路会切换到备线,延时会增大,请知悉
      您好:为不影响您业务,目前主线路已临时代通,业务延时已恢复,请知晓。光缆修复完毕后,如需调整,这边会第一时间通知您。
      您好,关于昨天下午您申报的安徽移动的丢包问题,运营商反馈未发现异常。也麻烦您这边继续观察下,如果有问题请及时提供mtr,方便为您排查。
      您好,为方便后期故障排查与定位,贵司方便在北京和广州分别和我们配置下互联吗,用于分段检测。
      您好,目前机房还未确认到 下午UPS 供电异常的问题所在,我们会持续跟进 有消息后我们群里跟您同步。
      您好,经我司排查:东莞节点有台华为S6730疑似出现BUG,导致检测机制异常,出现2-3分钟转发异常 导致部分业务vlan受影响。现观察是正常,可能是跟S6730有兼容问题。目前已经将该设备进行了替换。同时将相关诊断信息给到厂商排查原因,后续有进展我们在群里跟您同步
      北京一到韩国,我们正在协调加,因为涉及运营商配合会稍微慢一点
      您好,这边电信回复我们跟昨天的情况大致相似,因为41局机房被DDOS攻击,造成贵司网络中断发生异常,连续两天出现类似情况,我司深感抱歉,我们也在积极的与电信这边协调,尽量协商出解决办法
      预计修复时间还未确定,我们会跟进,有消息及时告知您
      您好,信息已收到,工程师正在检查中,请稍等。感谢!
      您好,目前还在抢修中,我们会密切关注处理进展,有最新进度马上和您同步;
      您好,您的问题/要求已经处理完毕,请检查一下,如果还有问题请再联系我,谢谢!
      目前正在排查机房网络,请您提供对应的mtr图,我们同步检查,谢谢。
      您好,机房对应骨干网络有波动,已将问题反馈给运营商进行解决
      您好,非常抱歉,我们正在排查到XX某个环节,尽快为您解决问题
      您好,非常不好意思,给您添麻烦了,我们先确认下具体情况,稍后再跟您做个详细说明。
      您好,您上报的问题已反馈给运营商进行紧急处理中,给您带来的不便,非常抱歉,同时,我们已将问题反馈给上级,我们会时刻关注,请您多多谅解
      您好,运营商/现场正在紧急解决中,我们会时刻关注,恢复将第一时间通知您
      您好,您反馈的问题,我们已反馈给运营商进行处理,有进展了我第一时间通知您
      不客气!这些都是我们应该做的,后期您有任何问题可以随时联系我们
      您好,我这边帮您催下,请您稍等下(有进展也进行反馈下)
      您好,您的这个问题/要求需要联系一下您的客户经理,由他来协调解决,我们这边没有这个权限,请您联系一下客户经理,谢谢
      非常抱歉,我们正在检查,会尽快确定故障原因并解决,请稍等一下,具体的故障原因我们正在检查之中,确定后我们会尽快答复您!



      3、部分回复参考案例2
      消极的对应(禁用)
      喂!在么?

      积极的对应
      您好!


      消极的对应(禁用)
      使用俚语(白话):……成吗、行吗?

      积极的对应
      可以吗? 您认为如何?


      消极的对应(禁用)
      使用俚语(白话):……啊、嗯、嘛、喔。

      积极的对应
      好的。可以。谢谢。


      消极的对应(禁用)
      你到底问什么?我听不懂!

      积极的对应
      非常抱歉,请问您现在需要我们为您做些什么?


      消极的对应(禁用)
      我不知道。我不清楚。

      积极的对应
      非常抱歉,您的问题这边需要确认一下,稍后给您答复


      消极的对应(禁用)
      这个事不归我管。这不是我的工作!

      积极的对应
      您好,您的问题已经转给相关人员,我们将会尽快和您联系。


      消极的对应(禁用)
      你听不明白呀?/我不是跟你说过了吗!

      积极的对应
      可能是我没有解释清楚……


      消极的对应(禁用)
      你能快点吗?

      积极的对应
      请问现在什么情况,还请测试完成后及时反馈。


      消极的对应(禁用)
      我不能告诉您!

      积极的对应
      非常抱歉,您的问题这边需要核实一下,稍后给您答复。


      消极的对应(禁用)
      这是公司的规定,我也没有办法!

      积极的对应
      非常抱歉,我非常希望帮助您,但需要您……步。

      分类: 规范类

      0 条评论

      发表回复

      Avatar placeholder

      您的电子邮箱地址不会被公开。 必填项已用 * 标注