注意:以下文档只适用于TOP接口,请谨慎使用!

文档中心 > 聚石塔

应用部署常见问题

更新时间:2022/05/20 访问次数:604

1. 容器的健康检查是什么

容器健康检查代表了容器的健康状态,当容器平台判断容器健康检查失败后,会自动重启容器,直到健康检查成功为止。容器重启次数可以在“环境管理->管理资源”看到。


因此,配置正确的健康检查配置至关重要

容器健康检查配置入口如上图所示,主要有两种健康检查类型:

  • http get:系统会定时通过http请求用户配置的URL,注意URL不能包含host字段。例如URL配置为“/checkpreload.htm”,端口配置为"8080",则系统会定时执行检查"curl http://localhost:8080/checkpreload.htm",并判断http的返回码是否为200。若http get返回200,则认为健康检查成功,反之认为健康检查失败。
  • shell script:系统会定时执行脚本内容,若脚本执行的返回值为0(类似 exit 0)则认为健康检查成功,否则认为失败。


2. 如何排查部署一直不成功的问题?

在部署单详情页可以看到当前部署实例的日志。

点击查看日志可以看到当前容器的启动日志。


主要关注两个类型的日志:

  1. [Event]类日志,如下图所示。尤其注意Event日志中的Warning,通常是导致部署不成功的原因所在。如下图所示就是健康检查配置错误导致的启动不成功。


  1. 应用自身的启动日志。这里根据每个应用的不同,需要开发者自行排查。


如果日志中无法定位到问题,请参照下面问题3进行排查


3. 为什么我的应用一直在重启(应用实例远程连接一直闪断)?

原因:容器自动退出, 或者健康检查失败导致容器被集群重启

请检查:

  1. 应用的健康检查配置是否正确
    1. 验证是否是健康检查配置错误:先修改健康检查配置为脚本检查 echo 'success',即健康检查永远返回成功,之后重新发布,如果能成功发布,说明之前就是健康检查失败的原因导致。发布成功后,环境管理-管理资源-远程登录,登录到容器内部进行确认,比如curl -v localhost:port/url(之前的健康检查配置),看是否返回200
    2. 按照a中发布成功后,检查应用日志看报错信息,如java应用的catalina.log或application.log,日志默认在/acs/log路径下
  1. 如果应用健康检查配置没有问题,就是应用自身不可用了,才会导致容器重启。(例如java OOM导致java进程被cgroup干掉)。注:可以结合基础监控,观察容器的资源占用情况
  2. 检查容器的规格要大于进程的资源规格。

(容器规格示例:)


以java为例:检查java应用的部署配置,容器规格和环境变量中JVM的参数。有两个原则,1)容器内存规格要稍大于JVM堆;2)JVM堆建议>=2G,不然容易出现jvm起来后因为内存不足被系统kill,导致健康检查失败,进而容器一直重启。验证方法,登录到ECS主机,执行dmesg | grep java,egrep -i -r 'killed process' /var/log等指令,可以验证是否有java进程被kill。注:例如Java应用

  1. 查看应用基础监控,实例的内存使用量超过了容器规格的上限值,会被cgroup kill,监控上可以看到内存使用量的高点,是否超过了容器上限。
  2. 自定义镜像部署:请检查镜像entrypoint或cmd运行完是否会退出,详情见文档 https://www.yuque.com/fczggw/ec07di/sgaozv#xNeiK


4. 从哪里可以看到容器内的应用日志?

可以在“环境管理->管理资源->远程登录”登录到对应的应用实例内,查看应用日志。

如果选择了官方镜像,官方镜像的应用日志通常在容器内/acs/log/目录下


5. 为什么容器规格无法完全占用ECS的规格?

接入容器集群后,ECS上会额外部署一些管控使用的容器,因此会占用少量资源。但是总体占用资源并不会太大,如果出现容器可使用规格和ECS规格差距太大的情况,请联系技术支持同学。


6. 发布单一直在部署中?

发布记录中,查看发布列表,点击最新发布单的详情,看个示例:

1)创建发布单时,默认是分批发布,会根据总的容器数量自动定好每批发几个

2)发布单提供暂停功能,默认第一批暂定,发完第一批后整个发布单处于“暂停”状态,如果需要继续发布,可以手动点击“恢复”

3)如果发布失败,容器一直在发布中,请根据上面的问题3进程排查。如果想重新发布,则可以手动点击“关闭发布单”将该发布单进行关闭,然后创建新的发布单

7. 发布时,提示当前环境还有未结束的发布单

如问题6所述,当前环境下最新的发布单处于未关闭状态,可以点进去手动关闭掉,再创建新的

 

8. 购买ecs的时候需要购买公网带宽吗?还是公网带宽通过slb购买?

购买ecs的时候可以不购买带宽,公网入方向的话可以通过公网SLB来,出方向通过NAT网关和弹性IP来解决。


9. 程序包管理是什么意思?

这个程序包管理就是使用哪一个代码包发布,如果代码包有更新的话就是在发布管理里新建一个发布单。


10. Insufficient cpu  Insufficient memory

如果提示Insufficient cpu, 则说明集群cpu核数不足以支撑本次发布; 如果提示Insufficient memory, 则说明集群内存资源不足以支撑本次发布; 即添加到集群的ECS上,没有可以调度给容器的资源了。具体剩余资源可以在集群详情-基本信息里看到。

解决方案:

1)添加其他ECS或者垂直升级ECS规格

2)部署配置中,调小容器规格,然后重新提交一次发布单

很多伙伴会有疑惑,为什么我一台或者两台 2核的机器,连1核的容器都部署不起来?

简而言之,机器太少了,资源太少了。由于集群自身需要占用资源,总的大概1.5vCPU 1.5G左右,如果你只有一台机器,那么资源都被集群占用了。后面新加机器就不会了,因为集群的占用基本是固定的


具体计算规则见:

https://www.yuque.com/fczggw/wu7u0k/um02tk


11.获取集群信息失败,集群不存在

1)应用发布时候,选择的环境要和集群环境一样。比如现在只有一个正式环境类型的集群,那么只能部署应用的正式环境;

2)集群内需要有ECS节点

12.当前发布环境下没有可用的集群

1)应用发布时候,选择的环境要和集群环境一样。比如现在只有一个正式环境类型的集群,那么只能部署应用的正式环境;

2)集群内需要有ECS节点






14.部署失败 NetworkPlugin cni failed to teardown pod

集群中的ECS无法出公网,需要保证ECS能访问公网。

1.NAT网关SNAT条目是否正确,比如ECS所在的交换机,没有配置好相应的SNAT条目;NAT网关上绑定的EIP是否正常,是否欠费被锁定;

2.如果没有NAT网关,检查ECS是否有EIP或者公网IP

参考:https://www.yuque.com/fczggw/wu7u0k/hfgo2t .


15.如何登录进容器内

环境管理->管理资源->远程登录;

首次登录时,需要设置免密登录账号密码,设置后之后登录就可以免密直接登录了

16.提交发布单失败,不存在Yaml配置

如果应用类型是“有状态”,暂时只支持Yaml类型的部署配置



17.发布应用失败提示 Unprocessable Entity

1)如果是Yaml类型的部署配置,请检查Yaml的格式以及是否遵守相关CRD资源的配置规则

2)如果是普通类型的部署配置,请检查部署配置:

18.Yaml部署配置指定NodeSelector后报 didn't match node selector

请确定部署配置中,标签Key已经添加了`label.jst.com/`前缀。

为了避免和集群内的节点系统标签冲突,聚石塔会默认在节点标签前加label.jst.com/前缀,且这个前缀在产品化的节点打标界面没有展示。请使用Yaml部署配置的开发者自己在nodeSelector等其他需要节点标签的位置自己添加该前缀标签。



19.Yaml部署配置哪些配置无效?

对于Deployment类型的配置,metadata中只允许labels,其他暂时都不允许

对于StatefulSet类型的配置,metadata中只允许labels和name,其他暂时都不允许

20.如何停止或下线应用容器

不能在ECS直接操作容器,需要在应用发布页面中,将相应的环境缩容;例如想将容器全部下掉,将实例数设置为0

21.(已支持切换tag不清配置)修改部署配置时,切换镜像tag后部署配置信息丢失

可以通过将部署配置保存为模板和加载模板解决。

  1. 新建或编辑部署配置页面,可将配置保存成模板,或从模板中加载配置到当前页面
  2. 保存模板时,先选择镜像,然后在页面将所有需要的配置项填写好,点击右上角“保存为模板”按钮,输入模板名称后即可保存。
  3. 加载模板时,先选择镜像,然后选择一个模板,即可将之前保存过的模板内容加载到页面上


22.get k8s config error

1.集群刚创建还在初始化,请稍等几分钟再试


23.StetefulSet挂载pvc报错:Operation not permitted

参考nas文档,https://help.aliyun.com/document_detail/129698.html,可以在ECS上执行文档给出的命令或者在容器启动前执行给出的命令。若使用的是自定义镜像,则可以执行完命令后,重新打一个镜像。



24.当前应用不存在发布基线

当成功发布后,可以使用扩缩容功能。如果之前没有发布成功过,那么认为当前环境没有基线,请重新提交发布单。特别地,如果是想调整实例数量(比如把容器数量设置为0),先编辑环境,调整实例个数,之后再提交发布单



25.应用如何扩(缩)容

1)对于已经成功发布过的环境,直接调整实例数量

2)对于没有成功发布过的,修改环境的实例数量,重新提交发布单进行发布


26.发布异常 connect time out

原因是无法与集群通信。检查下SLB是否状态异常,看下是否是账号欠费导致


27.程序包管理看不到之前的代码包

1)新的应用视图增加了"只看当前环境"选项,默认选中;

a) 因之前程序包是多环境共享,并没有标记到具体环境,所以应用视图升级后,首次使用时看不到代码包,发布后即可看到新上传的代码包;

b) 如果要使用之前的代码包,请取消选中"只看当前环境",即可看到所有的代码包

2)代码包只保留最近的20次发布,历史的不再保留

28.发布时下载程序包报错403 AccessDenied

解决方案:

这种情况需要重新上传代码包发布一次 或者 在【程序包管理】中选择历史代码包重新发布一次

原因:

聚石塔代码包下载地址的最长有效时长为90天,因此,403错误一般是发生在应用扩容时或容器漂移时,并且距离上次发布成功已经超过了90天导致。


29.容器IP变化,容器漂到其他ECS宿主机

首先,云原生容器集群下,云应用的容器由集群调度,调度算法比较复杂,简单来说就是会根据一定的策略判断选择出最适合的宿主机,在上面创建容器。容器重新创建(IP变化)的场景有:

1)应用发布,新容器会替代老容器

2)被集群驱逐出当前宿主机

注:这里说明下集群驱逐的情况,驱逐原理,当宿主机上的资源使用超过一定阈值时,集群为了保证稳定性,认为当前节点不适合运行这么多容器,会产生驱逐机制,将当前节点上的容器进行销毁,并且将容器重新调度到其他节点。其中,最常见的原因是磁盘空间不足导致的,可以直接升级下系统盘或者减少磁盘占用 (参考这个解决方案:https://www.yuque.com/fczggw/wu7u0k/yrsmk6#pubby)


综上,基于这个集群调度逻辑,云原生场景下,不建议容器依赖具体某个宿主机的数据(即容器只有在某台机器上启动才能正常运行,这显然是不合理的),因为如果发生上述应用发布和集群驱逐的场景,就可能导致业务问题。容器是可移植可弹性的最小单位,充分发挥其弹性能力,从1个实例到N个实例,直接修改实例个数就行,集群帮你自动调度,对于集群来说,这些容器应该提供无差别的服务,不能说一台机器上的容器就正常,运行在另外一台机器上的就无法正常工作。


对于依赖了宿主机目录数据的,有两个方案。1.使用节点标签功能,让云应用的容器固定调度到某一台ECS https://www.yuque.com/fczggw/wu7u0k/gpw7mu 2.使用NAS共享存储,不直接依赖ECS上的数据,容器不管调度到哪台ECS,使用的都是同一份数据 https://www.yuque.com/fczggw/wu7u0k/xbbd5k .



30. 代码包解压失败,exit status 1

1)排查是否是上传部署使用的代码包损坏的原因

可以在本地执行unzip解压代码包(从服务列表-历史版本部署下载最新上传的代码包)看下结果,含有"attemption to process anyway"提示的均是代码包异常

2)如果是代码包异常,请重新打包上传

31. connection not found

1) 请确认当前容器所在的ECS是否过期 或 欠费停机

2) 如果ECS状态正常,请执行以下操作

a) 执行 ps -ef | grep acsagent 找到acsagent的进程id

b) kill -9 <pid> (<pid>为上面找到的进程id)

c) 等待acsagent进程重新自动拉起后,再次发布重试

d) 如果仍未成功,请重启ECS



FAQ

关于此文档暂时还没有FAQ
返回
顶部