淘宝项目_异常处理方案-【官方】百战程序员_IT在线教育培训机构

INFO mapreduce.Job: The url to track the job: http://node3:8088/proxy/application_1681182527108_0002/ INFO mapreduce.Job: Running job: job_1681182527108_0002 INFO mapreduce.Job: Job job_1681182527108_0002 running in uber mode : false INFO mapreduce.Job: map 0% reduce 0% INFO mapreduce.Job: map 100% reduce 0% INFO mapreduce.Job: Job job_1681182527108_0002 failed with state FAILED due to: Task failed task_1681182527108_0002_m_000000 Job failed as tasks failed. failedMaps:1 failedReduces:0 killedMaps:0 killedReduces: 0 ERROR mapreduce.ExportJobBase: Export job failed! ERROR tool.ExportTool: Error during export: Export job failed!

如何查找该bug的具体原因？

从上面日志中知道Running job: job_1681182527108_0002，对应application_1681182527108_0002
还知道http://node3:8088方法ResourceManager管理界面
通过ResourceManager管理界面,点击application_1681182527108_0002
具体详细错误日志需要去node2节点中查找。

在node2上进入/opt/hadoop-3.1.3/logs/userlogs/目录


xxxxxxxxxx
[root@node2 ~]# cd /opt/hadoop-3.1.3/logs/userlogs/
[root@node2 userlogs]# ll
总用量 4
drwx--x--- 10 root root 4096 4月  11 11:30 application_1681175906821_0011
drwx--x---  4 root root  106 4月  11 11:18 application_1681182527108_0001
drwx--x---  3 root root   56 4月  11 11:34 application_1681182527108_0002

进入application_1681182527108_0002目录，查看列表：


xxxxxxxxxx
[root@node2 userlogs]# cd application_1681182527108_0002
[root@node2 application_1681182527108_0002]# ll
drwx--x--- 2 root root 139 4月11 11:34 container_e30_1681182527108_0002_01_000001

进入container_e30_1681182527108_0002_01_000001，查看列表：


xxxxxxxxxx
[root@node2 application_1681182527108_0002]# cd container_e30_1681182527108_0002_01_000001/
[root@node2 container_e30_1681182527108_0002_01_000001]# ll
总用量 112
-rw-r--r-- 1 root root 14984 4月  11 11:34 directory.info
-rw-r----- 1 root root 14988 4月  11 11:34 launch_container.sh
-rw-r--r-- 1 root root     0 4月  11 11:34 prelaunch.err
-rw-r--r-- 1 root root   100 4月  11 11:34 prelaunch.out
-rw-r--r-- 1 root root  1729 4月  11 11:34 stderr
-rw-r--r-- 1 root root     0 4月  11 11:34 stdout
-rw-r--r-- 1 root root 73185 4月  11 11:34 syslog

检查日志文件syslog


xxxxxxxxxx
Caused by: java.lang.RuntimeException: Can't parse input data: '\N'
Caused by: java.lang.NumberFormatException: For input string: "\N"

什么原因导致的呢？


xxxxxxxxxx
select * from td_userlog_year_month_day_week
where user_id is null
or cat_id is null
or brand_id is null
or item_id is null
or seller_id is null
or time_year is null
or time_month is null
or time_day is null
or time_stamp is null
or week_day is null
or week_year is null;

修改导出脚步，在该脚步的最后追加以下四行：


xxxxxxxxxx
--input-null-non-string
'\\N'
--input-null-string
'\\N'

然后重新执行即可。

可能出现的异常：

The table 'td_userlog_year_month_day_week' is full

解决办法：


xxxxxxxxxx
ALTER TABLE td_userlog_year_month_day_week MAX_ROWS=1000000000;

Python入门

北京市昌平区回龙观镇南店村综合商业楼2楼226室