【Spark程序在某个stage的最后一个Task卡住--Duration一直增长】

我透泥🐎，先有鸡还是先有蛋呢，你想这个问题能想到你死。不多bb，在我这篇帖子，我只说一种办法，把你正在跑的数据量减少一半（总之就是通过减少数据量来验证是不是内存不足导致Task卡死），然后重新跑Spark任务，成功就是硬件的问题（机器内存不够）；如果不成功那你还是成仁吧。

sanerbaby

782人浏览 · 2023-03-19 18:51:19

sanerbaby · 2023-03-19 18:51:19 发布

Spark任务在某个stage的最后一个Task卡住

我透泥🐎，先有鸡还是先有蛋呢，你想这个问题能想到你死。不多bb，在我这篇帖子，我只说一种办法，把你正在跑的数据量减少一半（总之就是通过减少数据量来验证是不是内存不足导致Task卡死），然后重新跑Spark任务，成功就是硬件的问题（机器内存不够）；如果不成功那你还是成仁吧。
下课，谢谢！

魔珐星云具身智能3D数字人开放平台已上线！

电影级数字人，免显卡端渲染SDK，十行代码即可调用，工业级demo免费开源下载！

更多推荐

AI 开启自我进化时代！Anthropic 重磅报告刷屏，人机协作迎来全新拐点

而 Anthropic 此次爆出的 AI 自我进化成果，相当于为整个行业按下了加速键，当 AI 可以自主优化自身代码、迭代模型，大模型、智能体、具身智能等技术的迭代周期都会大幅缩短，技术落地的速度也会再上一个台阶。能力的人才，会愈发珍贵。结合我自身的工作经历，近期在学习 LangChain、AI Agent 开发以及项目管理知识时，也深刻感受到：当下学习不能再局限于单一技术点，既要掌握和 AI 协

魔珐星云开发社区

共创经济实现路径

共创经济（Co-Creation Economy）的实现路径，本质上是打破“企业生产、用户消费”的传统单向价值链，重构为一个“用户、AI 智能体、柔性工厂、供应链”多方深度对等的全链路分布式协同网络。在数字化、大模型、具身智能与新一代工业物联网（IIoT）的驱动下，共创经济的落地需要从“前端交互、中端调度、后端制造、外围供应链”四大核心环节打通软硬一体化的技术与业务路径。