返回首页
设为首页
加入收藏
品质圈修炼
最新更新
湖北省局(公司)强化调研指导助
华电福新安砂水电厂举行QC成果发
铜冠黄狮涝金矿资源综合利用率明
宝丰县电业总公司:开展2015年QC
2014年度海宁市市长质量奖企业揭
山东电科院多项QC成果和管理创新
长虹公司视质量为生命 质量管理
法士特集团召开2015年质量工作大
华北制药质量营销树国产好药大旗
新疆油田采气一厂2014年度QC小组
扬子江药业:用品牌质量铸就幸福
汉中供电QC成果促生产检定效率稳
成果发布 主页 > 品质圈修炼 > 成果发布 >
缩短校讯通系统短信下发延时
时间:2014-09-26 16:44来源:未知 作者:mindmap 点击:
字号: [小]   [中]   [大]


目   录

一、小组概况....................................................................3
二、选择课题....................................................................3
三、活动计划....................................................................5
四、设定目标....................................................................6
五、可行性分析..................................................................7
六、原因分析....................................................................8
七、要因确定....................................................................8
八、对策制定...................................................................10
九、对策实施...................................................................10
十、效果检查...................................................................14
十一、巩固措施.................................................................16
十二、总结和下一步打算.........................................................17

活动简介:

         校讯通是南阳市卧龙公司管增值系统中最重要的增值业务之一,是卧龙公司自主建设的用于加强学校和家长之间联系的校园信息化服务管理系统。它将手机短信、电脑和互联网结合,面向中小学生家长提供家校互动服务。
         但是,在校讯通用户数不断增多的同时,其用户体验并没有相应的改善。目前校讯通系统短信下发平均延时为144秒,要远大于一般点对点短信的发送延时约10秒左右,如此长时间的等待对用户感知的影响是非常严重的,不解决的话会给甚至会造成各学校弃用校讯通系统。为尽可能缩短短信下发延时,提升客户感知,保持公司竞争优势,树立公司良好企业形象,2013年8月开展了本次QC活动。
         小组成员紧抓问题症结,群策群力,深入分析,研究对策,经过一系列PDCA循环的过程,有效缩短了校讯通系统短信下发延时,同时也对提高公司的客户满意程度起到了积极的促进作用。

一、小组概况

部门 网络管理中心 小组名称 增值先锋QC小组
本次课题 缩短校讯通系统短信下发延时
成立时间 2010年4月 课题类型 现场型
活动时间 2013年8月-2013年12月 注册登记号 SZ20131146
小组人数 10人    刘备
活动次数 2次/月 小组口号 做增值业务的先行者
小组成员以及分工
成员 姓名 性别 文化程度 岗位职责 组内分工
组长 刘备 硕士 增值室经理 课题管理
顾问 孔明 硕士 网管中心副总经理 项目顾问
庞统 硕士 市级专家 技术顾问
组员 云长 本科 网络运行支撑管理 项目负责
张飞 硕士 网络运行支撑主管 技术攻关
子龙 本科 网络运行支撑主管 数据收集
马超 本科 网络运行支撑管理 数据分析
黄忠 硕士 增值业务组组长 策略实施
黄月英 本科 网络运行支撑管理 资源整理
姜维 本科 网络运行支撑专员 总结推广
2、名词解释
        短信下发延时:
        短信延时计算方法是从系统发送短信到短信中心收到MS返回的接收成功信号,需要在校讯通短信发送平台上查询发送时间T1,在短信中心查询短信成功下发时间T2,计算公式为:
短信下发延时ΔT=成功下发时间T2-发送时间T1

二、选题理由
        2013年1-6月,卧龙校讯通系统短信下发延时平均144秒。公司要求把短信下发延时缩短在34秒以内。
三、活动计划
         本次QC活动的时间为2013年8月-2013年12月:
小组活动计划表
四、设定目标
         校讯通系统短信下发延时小于等于34
         现状和目标如图4-1所示:
图4-1 目标设定
五、可行性分析
        1、分析一:症结分析
        校讯通短信下发流程图如下图所示:
校讯通短信下发流程图
         
         我们QC小组对导致2013年1-6月校讯通短信下发延时的原因进行细分。具体原因如下:
校讯通短信下发延时原因统计分析
各流程短信下发延时 延迟时间(秒) 频率 累计频率
省平台接口延时 115.78 80.40% 80.40%
数据库延时 8.15 5.66% 86.06%
教师WEB系统延时 5.05 3.51% 89.57%
短信代理系统延时 3.34 2.32% 91.89%
移动短信网关延时 1.61 1.12% 93.01%
短信中心延时 1.30 0.90% 93.91%
其他延时 8.77 6.09% 100.00%
           根据统计表,我们绘制了排列图:
校讯通短信下发延时原因排列图
         结论:从数据显示: 市校讯通业务和省平台接口之间的延时占到总延时的 80.4%,小组确认省平台接口是症结所在,是短信下发时间长的主要因素。如果这部分问题能够解决,校讯通短信下发延时能有效缩短。
 
         2、分析二:估算分析
         经过分析,我们认为可以优化与省平台接口的延时,减少与省平台延时的95%,从而通过计算可以得出优化目标为:
          3、分析三:改善空间分析
       (1)小组对具有相似业务流程的手机投注系统短信下发延时和校讯通系统短信下发延时进行对比发现:校讯通系统短信下发延时远高于手机投注系统短信下发延时,存在较大的改善空间。
手机投注和校讯通短信下发延时比较
  1 2 3 4 5 6
校讯通短信下发延时 133 135 155 151 149 141
手机投注短信下发延时 28 30 35 32 34 36
1-6月份手机投注和校讯通短信下发延时比较
          (2)小组对用户规模相当的藏虎公司的2013年1-6月的校讯通短信下发延时进行调查分析,结果如下表:
与兄弟公司的比较
          由上表可以看出,卧龙的校讯通系统短信下发延时明显高于藏虎。深圳校讯通系统的短信下发延时有很大的改善空间。
          总结:我们确定目标是可以实现的。

六、原因分析
         根据前面的可行性分析和工作的实际情况,我们QC小组进行了多次探讨,展开头脑风暴,集思广益,分别从“人”“机”“料”“法”“环”五大方面进行研究,最终找出的末端原因如下图:
导致校讯通短信下发延时过长因果图
七、要因确定
        1. 要因验证与确认计划
要因确认表
序号 末端原因 确认内容 确认方法 确认标准 负责人 完成日期
1 软件版本升级准备不足 软件版本升级影响范围 查看软件版本升级当月短信下发日志中短信下发情况 由于软件版本升级导致下发延时不超过5% 孔明 2013.9.2
2 运维人员相关技术知识不达标 运维人员对相关技术知识掌握情况是否达标 现场调查 1.考试分数≥80分
2.参加培训时长≥3小时/月
庞统 2013.9.2
3 省平台接口短信IOD下发速率设置过小 核查接口的最大下发数和下发鉴权项 核查短信提交到接口的最大下发数和下发鉴权项 增大IOD下发速率,短信发送成功率应在98%以上 云长 2013.9.4
4 接口连接链路使用率过高 检查网络忙时带宽 检查网络忙时带宽利用情况 整体链路中带宽最小的链路在业务忙时使用率不超过85% 张飞 2013.9.5
5 使用TCP作为数据传输层协议不合理 研究传输协议 更改协议类型进行数据传输效率比较 不同协议间数据收发效率不超过10% 子龙 2013.9.5
6 网络设备CPU占用率高 检查网络设备 用TOP指令查看CPU占用率 网络设备CPU占用率应不超过60% 马超 2013.9.5
7 省平台应用服务器负荷高 检查服务器负载 确认应用服务器负荷与短信发送时长的关系 应用服务器负荷与短信发送时长的相关性小于0.1 黄忠 2013.9.6
8 网络丢包率高 检查网络稳定性 ping检查网络丢包率 网络丢包率应低于1% 姜维 2013.9.6
9 未按要求配发运维手册 确认是否按照规定配发业务操作手册 现场调查 一组不低于10本运维手册 黄月英 2013.9.6
           2. 要因验证与确认过程
        (1)关于软件版本升级引起系统故障
         校讯通在5月由于系统版本升级准备不足,导致30万条短信发送出现长时间延迟,不过当月短信量在一亿条左右,受影响比例不超过0.3%。
系统版本升级受影响短信量
【结论:非要因】
         (2)关于运维人员相关技术知识不达标
          QC小组成员云长查询运维人员(9人)在2013年4~6月参加技术知识培训时长记录情况,统计如下表:
2013年4~6月工作人员平均每月培训时长
员工编号 1 2 3 4 5 6 7 8 9 10
2013年4 3 4 3.5 5.5 3 5 4 4.5 5 4
2013年5 4 3.5 4 5 3 3 3 3.5 4 5
2013年6 2 3 4.5 4.5 3 2.5 2 5.5 3 6
平均时长(h 3 3.5 4 5 3 3.5 3 4.5 4 5
           以上数据绘制成折线图如下图:
2013年4~6月平均每月培训时长统计图

工作人员考试分数统计图
           由上图可得出:工作人员平均每月参加培训时长≥3小时,考试分数≥80分,符合判别标准。
【结论:非要因】
         (3)关于省平台接口短信IOD下发速率设置过小
          省平台接口最大下发数限制的目的是防止提交短信超过IOD最大下发数,导致短信下发失败,目前设置最大下发数为350条/秒,但从统计的设置接口最大下发数与短信下发成功率关系图可以看出,最大下发数可以调整到450条/秒,短信下发成功率仍不低于98%。也就意味着,在相近短信下发成功率的前提下,把最大下发数增加到450秒/条,可以缩短校讯通系统短信下发延时。
设置接口最大下发数与短信下发成功率关系

【结论:是要因】
        (4)接口连接链路使用率过高
         本小组成员子龙统计出工作日一天省平台接口连接链路使用率的情况,从图上可以看到在下午4-8点放学期间,校讯通处于忙时(由于放学时间,教师要通过校讯通系统下发短信通知家长接送学生并布置作业,所以校讯通处于忙时),接口连接链路平均使用率达96%,超过了95%,会导致网络拥塞,严重增长了短信下发的延时。扩容接口连接链路,大大有利于缩短校讯通系统短信下发延时。
工作日接口连接链路使用率

【结论:是要因】
        (5)关于使用TCP作为传输协议不合理
         接口协议修改之后,在业务忙时对数据传输进行检测,以10万条短信发送时间进行测试,采用TCP协议传输需要约10分钟,采用UDP方式传输需要约7分钟,数据传输效率提高30%。
TCP与UDP传输效率对比

【结论:是要因】
        (6)关于网络设备CPU占用率高
          小组成员马超随机登上网络设备提取了8月份60个时段的CPU占用率,并绘制了CPU占用率分布的直方图与正态分布曲线,如图5-2所示:
用Excel强大的统计功能算出:样本均值Av=32.58,样本标准差s=7.51,不否认服从正态分布。
CPU利用率直方图与正态分布曲线
          对指标上限TU=6计算过程性能指数PpU=1.22>1,超上限概率PU=0.01%,过程性能满足要求。
【结论:非要因】
        (7)省平台应用服务器负荷高
         9月7日,小组成员子龙将之前选取的500个样本按照应用服务器平均负荷所占各个比例进行分类,计算平均投注响应时长,并作散点图:
服务器负荷与短信下发延时相关性
          图中添加趋势线计算的复相关系数R²仅为0.0009,开平方的r=0.03,远小于自由度=n-2=34、显著性水平α=0.05的相关系数检验临界值=0.3291,表明Y与X两者的相关关系不显著。
【结论:非要因】
       8)网络丢包率高
        丢包率是衡量网络质量的重要指标之一,按照惯例,网络丢包率不应超过1%。丢包率过高,会导致市校讯通平台无法将教师下发的短信消息的完整传送至省校讯通平台, 省校讯通平台校验数据不完整后会要求市校讯通平台重新传送直至数据完整才对短信进行下发,因而加长校讯通系统的短信下发延时。
         小组成员黄月英进行了40组PING包测试,每组PING1000个数据包, 40组PING包测试中仅有5组有丢包情况,且丢包率都远低于1%。并将测试结果绘制了折线图:
网络丢包率测试

【结论:非要因】
        (9)未按要求配发运维手册
         经查证,业务组9人以及校讯通厂家4人人手一本校讯通运维手册,共计13本运维手册。
校讯通系统故障处理方法

【结论:非要因】
          因此,经过QC小组的分析,确认以下三个要因:
         1、省平台短信IOD下发速率设置过小
         2、接口连接链路使用率过高
         
3、使用TCP作为数据传输协议不合理

八、对策制定
         基于发现的三个主要原因,QC小组根据5W1H的方法制定了相应对策:
缩短省平台接口延时的对策
序号 要因 对策 目标 措施 场所 负责人 实施时间
1 省平台接口短信IOD下发速率设置过小 修改接口最大下发数和下发策略 增大IOD下发速率,短信发送成功率应在98%以上 1、  调整接口IOD最大下发数
2、  取消下发策略中的被叫鉴权
国通六楼
孔明
庞统
10月10日-11月15日
2 接口连接链路使用率过高 采用多线程连接,增加连接链路 整体链路中带宽最小的链路在业务忙时使用率不超过85% 1、  增加物理链路,实现双链路负载均衡
2、  增加连接线程,采用4线程并发连接方式
国通六楼 云长
张飞
10月10日-10月20日
3 使用TCP作为数据传输协议不合理 将接口协议由TCP改为UDP 将数据传输效率提高30% 1、将两端通信协议由TCP改为UDP 国通六楼 黄忠
马超
10月15日-12月10日

九、对策实施
         按照对策表指定的相应对策逐一实施情况如下:
        【实施一】修改接口最大下发数和下发策略
         修改接口最大下发数
         中心平台接口最大下发数限制的目的是防止提交短信超过IOD最大下发数,导致下发失败。目前IOD提供的最大下发数为500条,为保证下发成功率,预留30%的资源,市校讯通平台向中心平台提交短信的最大下发数为350条,但目前该数量已经影响到短信下发的实时性。校讯通具有业务突发性很强的特性,短信的拥塞情况在 业务忙是尤为明显。
         取消下发号码鉴权
不同鉴权策略优劣势比较
下发号码鉴权策略 优势 劣势
鉴权 确保接收短信用户都为合法的业务定制用户,避免未开通业务用户通过非正常手段获取额外收益,保证业务收入。 号码鉴权需要维护含有大量用户号码的数据库系统,鉴权过程在短信下发时造成了额外的开销,影响合法用户及时接收学校下发的重要信息,对用户感知造成一定的负面影响。
不鉴权 简化下发流程,用户接收短信的延时能够缩短10%,特别在业务忙时大量学校同时提交批量任务时,效果更为明显,提高用户对业务的使用感知。 具有一定权限的系统管理员能够在数据库后台系统直接添加非法用户,存在一定的业务漏洞,但可以通过加强管理和定期数据清理避免这一风险。
         为了帮助做出决策,我们进行了正交试验,以便得到最佳组合的决策。经上述,中心IOD最大下发数、短信下发成功率、号码是否鉴权3个因素影响校讯通短信下发延时。其中这3个因素相互影响,需要调整好几个因素的参数,才能使短信下发延时最小。QC小组采用正交试验法确定中心IOD最大下发数、短信下发成功率、号码是否鉴权的最佳配置,并组合成一张因素位级表。
         号码下发鉴权策略的配置是在效率与风险之间的一个折衷,不同的鉴权策略对业务影响方面各不相同。
因素位级表
因素 中心IOD最大发数() 短信下发成功率(%) 号码是否鉴权
A B C
位级1 450 98  
位级2 500 100  否

正交试验法记录表
                                     列号
试验号
省IOD最大下发数条
(条)
短信下发成功率
 (%)
号码是否鉴权 短信下发延时(s)
A B C
1 1(450) 1(98) 1(是) 82.6
2 2(500) 1 2(否) 78.5
3 1 2(100) 2 81.8
4 2 2 1 80.5
位级1求和 164.4 161.1 163.1 总和=323.1
位级2求和 159.0 162.3 160.3
极差R 5.4 1.2 3.1
        【阶段效果检查】
         把中心IOD最大下发数修改为500条/s和取消下发鉴权后, 对11月数据进行随机抽样,选取500个样本,我们发现由配置的最大下发数和下发策略导致的短信下发延时平均值下降至79.2秒,比活动之前的144秒下降64.8秒,下降45%,如下所示:
修改最大下发数和下发策略后的短信下发延时

        【实施二】采用多线程连接,增加连接链路
          工作日下午5点放学时段,部分2M的线路使用率超过95%。已经成为数据传输的瓶颈。因此不但需要对在逻辑连接上增加连接线程,还要对物理链路进行进行扩容。系统传输线路出于可靠性设计,已经采用了双线路的主备方式进行,物理链路的扩容可以通过修改两条线路的工作模式实现,将主备方式改变负载均衡模式。
          物理链路扩容后,应用程序多线程设计,将原来的单线程改为为4线程,修改原理由图9-2所示。程序修改后缓解了程序在短信发送突发时段无法处理大量并发数据的问题。
短信下发程序多线程实施
        【阶段效果检查】
         物理链路扩容后,双链路采用负载均衡方式工作,每条链路的最大负载均不超过60%,带宽扩容效果明显。短信下发程序多线程调整后,连接的冗余性进一步加强,系统处理能力也得到显著提高。对11月数据进行随机抽样,选取500个样本,我们发现由接口连接链路导致的短信下发延时平均值下降至43.6秒,比第一阶段实施后的79.2秒下降35.6秒,下降45%:
增加多线程连接和连接链路后的短信下发延时


        【实施三】接口协议由TCP改为UDP
         校讯通短信业务具有请求频繁且数据量小的特点,这种简单的请求-响应通信更适合采用UDP协议。同时由于市平台与省平台的连接采用专线方式,数据传输的的可靠性也能够得到保证。修改两边平台的通信协议字段,将TCP协议改为UDP,完成接口协议修改。由于UDP是不可靠传输,因此需要在应用层增加差错控制和重发机制,由于专线传输可靠性高,应用层的修改对发送效率的影响可忽略不计。
        【运用PDPC决策流程图制定修改传输协议为UDP的方案】
         小组成员为修改传输协议为UDP而创建的PDPC,对修改协议的每一个步骤做了具体的安排,对把握不大的步骤制定了相应的备份措施,保证开发的顺利进行:
PDPC决策流程图
        【阶段效果检查】
         接口协议修改之后,对11月数据进行随机抽样,选取500个样本,我们发现由传输协议不合理导致的短信下发延时平均值下降至31秒,比第一阶段实施后的43.6秒下降12.6秒,下降30%,如图9-3所示:。在数据传输可靠性方面,专线链路UDP传输成功率基本与TCP一致,应用差错控制产生的影响可忽略。
修改传输协议为UDP后的短信下发延时



十、效果检查
        1、目标实施效果检验
        12月-次年3月的统计数据,在三项对策实施之后,已经达到了预期目标:
活动前后校讯通短信下发延时
         统计结果显示,2013年12月至2014年3月期间校讯通短信下发延时下降到31秒,对比未改善前的144秒,下降幅度达到78.47%。该统计结果表明,设定目标达成。
         2、投诉跟踪
         项目实施后,大大减少了由于校讯通短信下发延时过长引起的用户投诉,从下面可以看出,投诉量从活动前的月均193单下降到月均105单,减轻了维护工作的压力。
活动前后投诉情况
2013年 4月 5月 6月 9月 10月 11月-次年3月
投诉量/单 198 187 195 147 116 105(月均)
活动阶段 活动前 实施中 实施后
         3、经济效益分析
         通过统计QC活动实施后(含巩固期)2013年10月-2014年3月的业务使用情况(2014年1月由于放寒假,用户数无增长),自从开展QC活动以来,随着用户使用体验的改善,业务量呈现稳定增长状态。
活动前后校讯通用户数趋势图
        随着QC活动的开展,用户感知逐渐提升,结合业务部门的推广,校讯通用户数稳步上升,相比活动前用户数增加了14万人。假设其中由于业务感知提升而避免流失的用户按10%计算,校讯通业务每用户10元月租进行计算,每年为公司带来的经济效益增加值估算为:
                                                                                           14万人*10/*12个月*10%=168万元/
 
         4、社会效益分析
         项目实施后,用户业务使用体验也会普遍改善,这一方面使得用户的交流通信更为便捷,同时也提升了公司品牌优势和企业形象,因此产生了良好的社会效益。
社会效益分析
         5、项目实施前后团队情况对比
         活动前后,项目小组在团队精神、技术能力、QC应用水平、创新意思、协调组织能力以及质量意识等方面,均有不同程度的提升
小组能力的改善
     
十一、巩固措施

         为了使本QC成果能尽快转换为生产力,产生效益,我们建立了一系列相关条例和技术文档,巩固当前成果。
QC成果文档化
序号 有效措施 标准化 编写人 编写时间
1 增值业务合作商在系统提交网维验收时需按照优化之后的网络接口进行评估,通过评估方能验收 《增值业务接口配置指导规范》 孔明 2014年3月
2 定期对校讯通的业务平台和校讯通各接口进行性能检查 固定到《增值业务组每周巡检报告》 黄月英 2014年3月
3 对每个月的校讯通业务情况进行统计分析,通过日志导出运行数据 《校讯通业务使用报表》 黄月英 2014年3月
           为了使本QC成果能尽快转换为生产力,产生效益,我们建立了一系列相关条例和技术文档,规范QC成果的使用原则。
标准化措施及技术推广

十二、总结和下一步打算
         经过本项目的实施,校讯通系统短信下发时间有明显的下降,改善了客户感知,提高了用户使用校讯通业务的积极性和稳定性,同时也加强了QC小组内部校讯通业务流程、传输及增值网络等专业知识的认识和了解,为后续优化积累的经验。
         本次课题选择的出发点是尽量减少校讯通短信下发的等待的时间,而为了进一步提高用户对增值业务的网络质量感知,经过QC小组的共同讨论,大家一致认为不仅要缩短短信下发的延时,还应该提高短信下发的成功率,实现用户满意度的第二次提升。
         因此,QC小组将下一步的课题定为:提高校讯通短信下发成功率。
网站声明:自公告之日起,未经同意或特别授权,私自链接、转载、改写、传播、报道本网站有关内容的网站、媒体,均被视为侵权行为,将依法追究侵权责任。
关闭 | 打印
上一篇:提高数据产品在线营销成功率
下一篇:提升全球通出账日接通率
友情链接 品冠事业群 国际标准化组织 美国国家标准学会 欧洲质量会 德国质量协会 韩国质量学会 加拿大国家质量研究院 瑞典质量协会 伦敦质量保证研究院 澳大利亚质量组织 新西兰质量组织 美国质量学会 日本科学技术联盟 欧洲质量组织 中国质量协会 台湾品质学会 韩国标准协会 亚太质量组织 新加坡生产力协会 香港品质管理协会
网站首页 | 品质圈介绍 | 品质圈修炼 | 品质圈在行动 | 成果点评 | 专业服务 | 质量新闻 | 专业书籍 | 品质圈系统
Copyright & copy; 2010-2015 品冠事业群 版权所有 Power by DedeCms