博亚体育 博亚体育app 在线博亚体育 博亚体育app 在线ZooKeeper故障节点的“/etc/hosts”文件中,IP和主机名是否正确,是否有一个IP对应多个主机名,或者一个主机名对应多个IP的情况。
检查本地的“hosts”文件中是否对HostName和IP的对应关系进行了配置。检查该集群是否开放了相应端口。
查看是否有Yarn服务不可用告警产生,并且告警原因为No active instance,参考告警中描述操作。
检查ZooKeeper服务状态,如果没有告警,说明ZooKeeper服务正常,不用检查。检查网络状态。
查看集群内每台节点中的“/etc/hosts”文件中是否加入了客户端节点的IP和主机名。如果“/etc/hosts”文件未加入,则修改文件,重试跑应用。
执行命令强制将任务退出,然后通过修改内存参数的方式解决内存不足的问题,使任务执行成功。
针对此类数据量大的任务,希望任务不再挂起,遇到内存不足时,直接提示任务运行失败。
应用程序中,若有shuffle操作时,会将shuffle的数据写到磁盘中。当磁盘空间不够时,便会出现“No space left on device”错误。
建议在执行Spark开发程序之前,应先根据实际数据量,估算shuffle过程的数据的大小,配置足够的磁盘空间再提交应用程序。
*博客内容为网友个人发布,仅代表博主个人观点,如有侵权请联系工作人员删除。