永发信息网

hdfs图片能否直接在网页显示

答案:2  悬赏:40  手机版
解决时间 2021-03-11 15:56
  • 提问者网友:火车头
  • 2021-03-10 17:25
hdfs图片能否直接在网页显示
最佳答案
  • 五星知识达人网友:孤独入客枕
  • 2021-03-10 19:02
有些图片不服合网站要求,也是不会显示的 这个有时与你没有关系是网页的原因 打开IE 工具--选项-- 删除 ----删除浏览历史记录 都全对号 删除 插件 右键Internet Explorer,点高级,下拉找到多媒体,看显示图片前是否打...
全部回答
  • 1楼网友:持酒劝斜阳
  • 2021-03-10 20:06
hadoop计算需要在hdfs文件系统上进行,文件上传到hdfs上通常有三种方法:a hadoop自带的dfs服务,put;b hadoop的api,writer对象可以实现这一功能;c 调用otl可执行程序,数据从数据库直接进入hadoop hadoop计算需要在hdfs文件系统上进行,因此每次计算之前必须把需要用到的文件(我们称为原始文件)都上传到hdfs上。文件上传到hdfs上通常有三种方法: a hadoop自带的dfs服务,put; b hadoop的api,writer对象可以实现这一功能; c 调用otl可执行程序,数据从数据库直接进入hadoop 由于存在etl层,因此第三种方案不予考虑 将a、b方案进行对比,如下: 1 空间:方案a在hdfs上占用空间同本地,因此假设只上传日志文件,则保存一个月日志文件将消耗掉约10t空间,如果加上这期间的各种维表、事实表,将占用大约25t空间 方案b经测试,压缩比大约为3~4:1,因此假设hdfs空间为100t,原来只能保存约4个月的数据,现在可以保存约1年 2 上传时间:方案a的上传时间经测试,200g数据上传约1小时 方案b的上传时间,程序不做任何优化,大约是以上的4~6倍,但存在一定程度提升速度的余地 3 运算时间:经过对200g数据,大约4亿条记录的测试,如果程序以io操作为主,则压缩数据的计算可以提高大约50%的速度,但如果程序以内存操作为主,则只能提高5%~10%的速度 4 其它:未压缩的数据还有一个好处是可以直接在hdfs上查看原始数据。压缩数据想看原始数据只能用程序把它导到本地,或者利用本地备份数据 压缩格式:按照hadoop api的介绍,压缩格式分两种:block和record,其中record是只对value进行压缩,一般采用block进行压缩。 对压缩文件进行计算,需要用sequencefileinputformat类来读入压缩文件,以下是计算程序的典型配置代码: jobconf conf = new jobconf(getconf(), log.class); conf.setjobname(”log”); conf.setoutputkeyclass(text.class);//set the map output key type conf.setoutputvalueclass(text.class);//set the map output value type conf.setmapperclass(mapclass.class); //conf.setcombinerclass(reduce.class);//set the combiner class ,if havenot, use recuce class for default conf.setreducerclass(reduce.class); conf.setinputformat(sequencefileinputformat.class);//necessary if use compress 接下来的处理与非压缩格式的处理一样
我要举报
如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息,可以点下面链接进行举报!
点此我要举报以上问答信息
大家都在看
推荐资讯