博亚体育(中国)官方APP

大博亚体育 博亚体育官方入口数据通用组件故障处理|博亚体育
行业资讯
大博亚体育 博亚体育官方入口数据通用组件故障处理
时间:2023-07-31浏览次数:
 博亚体育 博亚体育app 在线博亚体育 博亚体育app 在线ZooKeeper故障节点的“/etc/hosts”文件中,IP和主机名是否正确,是否有一个IP对应多个主机名,或者一个主机名对应多个IP的情况。  检查本地的“hosts”文件中是否对HostName和IP的对应关系进行了配置。检查该集群是否开放了相应端口。  查看是否有Yarn服务不可用告警产生,并且告警原因为No active

  博亚体育 博亚体育app 在线博亚体育 博亚体育app 在线ZooKeeper故障节点的“/etc/hosts”文件中,IP和主机名是否正确,是否有一个IP对应多个主机名,或者一个主机名对应多个IP的情况。

  检查本地的“hosts”文件中是否对HostName和IP的对应关系进行了配置。检查该集群是否开放了相应端口。

  查看是否有Yarn服务不可用告警产生,并且告警原因为No active instance,参考告警中描述操作。

  检查ZooKeeper服务状态,如果没有告警,说明ZooKeeper服务正常,不用检查。检查网络状态。

  查看集群内每台节点中的“/etc/hosts”文件中是否加入了客户端节点的IP和主机名。如果“/etc/hosts”文件未加入,则修改文件,重试跑应用。

  执行命令强制将任务退出,然后通过修改内存参数的方式解决内存不足的问题,使任务执行成功。

  针对此类数据量大的任务,希望任务不再挂起,遇到内存不足时,直接提示任务运行失败。

  应用程序中,若有shuffle操作时,会将shuffle的数据写到磁盘中。当磁盘空间不够时,便会出现“No space left on device”错误。

  建议在执行Spark开发程序之前,应先根据实际数据量,估算shuffle过程的数据的大小,配置足够的磁盘空间再提交应用程序。

  *博客内容为网友个人发布,仅代表博主个人观点,如有侵权请联系工作人员删除。

Copyright © 2023-2023 博亚科技有限公司 版权所有  备案号:豫ICP备20014533号  
地址:河南省郑州市管城回族区郑汴路39号16号楼22层2213号  邮箱:3508448626@qq.com  电话:18238528218