Discuz! Board

标题: 运维每日站立会 [打印本页]

作者: yang.liu@whaley 时间: 2016-7-27 13:37
标题: 运维每日站立会
运维每日站立会

7月26日站立会内容：
张董：
1、编写缓存排查文档给MOC，MOC按照步骤进行排查。
2、Umen由于之前使用的2个代理，存在瓶颈。今日做切换redis3.0切换。

周雷：
1、升级日志分析
2、CMS重构部署工作。

鲁剑：
1、定期改密码脚本，通过ansible定期把脚本同步过去修改
2、提供密码读取脚本
3、所有服务器安装MySQL-python模块

MOC：
1、观察Umen切换后监控告警，前端电视猫验证。

作者: yang.liu@whaley 时间: 2016-7-27 13:38
7月27日站立会内容：

昨日完成情况：
张董：
1、编写缓存排查文档给MOC，MOC按照步骤进行排查。【7月27日】
2、Umen由于之前使用的2个代理，存在瓶颈。今日做切换redis3.0切换。【已完成】
临时新增：
1、由于api meta 服务一直挂掉排查。    【已完成】
   原因：PM2启动的服务不释放内存导致。改用node.js启动已解决。

周雷：
1、升级日志分析【已完成】
2、CMS重构部署工作。【已完成】

鲁剑：
1、定期改密码脚本，通过ansible定期把脚本同步过去修改【已完成】
2、提供密码读取脚本    【已完成】
3、所有服务器安装MySQL-python模块    【 85% 】

MOC
1、观察Umen切换后监控告警，前端电视猫验证。【已完成】

今日任务：
张董：
1、编写缓存排查文档给MOC，MOC按照步骤进行排查。(昨日meta故障排查，今日完成)
2、腾讯源解析测试方案后台支持任务最后收尾工作。
3、将Umen中使用较频繁，插入次数比较多了，改用单机redis方式，减缓负载。

周雷：
1、tomcat配置文件修改。

鲁剑：
1、昨天滤除50台左右服务器没key或者不在同一机房的内网不通，今天处理。
2、编写mysql执行脚本，把执行语句入库，要执行的服务器可从库中读取，方便记录和查询

庄友忠：
1、应用统计。

作者: yang.liu@whaley 时间: 2016-7-28 14:40
本帖最后由 yang.liu@whaley 于 2016-7-28 14:42 编辑

7月28日站立会内容
张强君：任务：
1、修改密码的脚本已经完成。
   后续我们所有的机器都是一台机器一个密码。全部都是16位随机密码。45天一更新。密码会加密存储到数据库里。
   目前在做的是使用keyserver连接所有的机器，目前还有50台机器无法连接。
   后续大家的工作都需要无密码化。全部使用堡垒机。ssh01机器会保留到我们把所有的业务分组都区分完成后且连接线上服务器手动操作低频化后去除。

同步消息：
   1、蓝汛的CDN现在有些问题，联通的出口异常。目前没有影响我们的核心业务。
   请大家注意，不要刷新，否则会产生异常。等蓝汛恢复后，再可以做所有的业务。
   2、昨天我们放电视猫的下载，现在电视猫的apk下载在ucloud上，因为ucloud未做一级缓存，导致昨天我们晚上有一段时间出现down.tvmore.com.cn域名下所有的下载都出现下载异常

张董：
昨天的任务：
   1、电视猫云os节目一会老一会新的解决方案    【delay】
   2、为了能准确更新首页推荐的数据，需要在杭州机房部署电视猫cms从库
   3、Ucloud CDN 电视猫下载故障解决【需要给个排期，输出CDN上线的文档，避免下次再出现问题】
   4、配合开发做数据清洗                   【数据清洗的目的是给数据库减压】
   5、电视猫3.0.8全量开放和官网下载文件更新，带宽峰值64GB

今天的任务：
   1、电视猫云os节目一会老一会新的解决方案输出【7月28日】
   2、为开发同步开发环境电视猫和微鲸tvservice
   3、CDN上线方案

周雷：
昨天的任务：
   1、tomcat加监控已经加了一部分主要是现网业务，tomcat有复用的没有加，
   2、tomcat已在论坛录文档

今日任务：
   1、把剩下tomcat加监控的加了，tomcat那个我在论坛写了文档了
   2、一个nginx限制每秒请求数的需求处理。

作者: yang.liu@whaley 时间: 2016-8-1 11:14
7月29日站立会内容

1.自动化规划。

作者: yang.liu@whaley 时间: 2016-8-1 11:14
运维每日站立会

8月1日站立会内容
上周任务：
周雷：
1、tomcat加监控，【完成】
2、一个nginx限制每秒请求数的需求处理。【完成】

张董：
1、为了提高高升服务质量，高升流量已切3G流量到网宿。
2、为开发同步开发环境电视猫和微鲸tvservice【完成】
3、电视猫云os节目一会老一会新的解决方案输出【完成】

鲁剑：
1、Ucloud的API可能因为我们只有2个域名，不愿做。
2、打通所有机器的时候，少增加了一层目录。目前大约有200左右的机器上的文件存放在data目录下。暂不受影响。

杨柳：
1、代码更新。
2、带宽包计划任务。
3、告警处理。

今日任务：
周雷：
1、电视猫3.0.9上长连接，40台需求主机增加。

张董：
1、广告需求配合。
2、工单处理。
3、CDN上线方案文档输出。

鲁剑：
1、看看大家是具体怎么在服务器上找应用的，编写查应用脚本。

杨柳：
1、代码更新。
2、针对有规律的带宽告警增加，带宽包计划任务。
3、告警处理。

作者: yang.liu@whaley 时间: 2016-8-2 13:05

8月2日站立会内容

针对劫持问题：
原因：网宿CDN A记录被劫持。
aginomoto.com.cn/Cname —》网宿上海DNS —》A记录 —》｛上海非网宿节点（68.69.70.71）｝错误被劫持
｛｝

方案：
1、投诉
2、A记录 ——> 源站
3、Cname ——> 蓝汛
4、无缓存
（DNS无缓存）
（t=stamp ） Pic:开发
5、https
6、httpdns
7、DNSPOD升级（从二级升级到一级）

一、方案1、2、3为短期解决方案，需今日开始测试效果。
二、方案4、5、6、7为中长期方案，需研究。

张董：
1、广告需求：Ucloud/ams — 防火墙 — 内网/调度 — 转码ffpeg — FTP — CDN
2、主要完成29例工单处理。
3、劫持问题邮件总结处理方案。

周雷：
1、长连接需求服务器共38台，昨日已完成一半，今天完成剩下的。

作者: yang.liu@whaley 时间: 2016-8-4 11:19
8月4日站立会内容

昨日任务：

鲁剑：
1、编写解析发布系统的配置文件来确认应用的地址【已完成】

张董：
1、工单处理，处理了13个工单【50%】
2、蓝汛的故障报告还没有给。

周雷：
1、自动下线表分区【已完成，待测试】

今日任务：

鲁剑：
1、昨日配置文件解析完成，今日整理串联方案。
2、应用抓取已经完成，可能中间出现数据缺失或者无用数据，需所有同事一起检查。

张董：
1、剩余16个工单处理，针对同类问题整理相关排查文档。
2、继续催促蓝汛故障报告单。

周雷：
1、自动下线表分区测试。
2、凌晨CMS发布程序假死，现已增加java虚拟机内存

杨柳:
1、昨晚现网代码更新邮件。
2、中间件服务器申请。

欢迎光临 Discuz! Board (http://123.59.83.120:8080/)