本demo基于多语言版基础管理系统展示[flash版] ,作为组件整合进系统中
组件的基本功能:
1.文件上传
2.文件读取
3.简单入库
4.简单查询
主要涉及技术或框架:hadoop2.7.x,spark1.6.x,spring,as
数据库:mysql
服务器:tomcat7.x
环境:osX,redhat,fedora
新增入门配置篇: 多语言版基础管理系统展示[es6版]-入门配置篇
该部分源码:https://github.com/394286006/minn-hadoop.git
表结构:
CREATE TABLE `hadoopspark` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(100) DEFAULT NULL, `email` varchar(100) DEFAULT NULL, `qq` varchar(11) DEFAULT NULL, PRIMARY KEY (`id`) )
下图:本系统应用的抽象架构表示
以下图为功能展示:
图1:文件上传
图2:通过命令查看比较文件名
图3:比较文件内容
图4:入库后的数据比较
部分java代码:
package p.minn.spark.jdbc; import java.io.Serializable; import java.util.ArrayList; import java.util.List; import java.util.Properties; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.Function; import org.apache.spark.sql.DataFrame; import org.apache.spark.sql.Row; import org.apache.spark.sql.SQLContext; import p.minn.common.utils.Page; /** * * @author minn * @QQ:3942986006 * @omment */ public class BaseSparkJDBC<T> implements Serializable{ private JavaSparkContext javaSparkContext; private SQLContext sqlContext; private Properties options; public BaseSparkJDBC(String url,String driver,String user,String password) { super(); options=new Properties(); options.put("url", url); options.put("driver", driver); options.put("user", user); options.put("password", password); } public void save(List<T> list,Class<T> clz,String targettable){ JavaRDD<T> jrdd= javaSparkContext.parallelize(list); DataFrame df=sqlContext.createDataFrame(jrdd,clz); df.write().mode("append").jdbc(options.getProperty("url"), targettable, options); } public void save(T hs,Class<T> clz,String targettable) { List<T> list=new ArrayList<T>(); list.add(hs); save(list,clz,targettable); } protected List<T> pageSql(Function<Row,T> rdd,Page page,String targettable,String sqltxt) throws Exception{ DataFrame jdbcDF =sqlContext.read().jdbc(options.getProperty("url"), targettable, options); jdbcDF.registerTempTable(targettable); List<T> list=jdbcDF.sqlContext().sql(sqltxt).limit(page.getTotal()).javaRDD().map(rdd).take(page.getRp()); return list; } public int getTotal(String targettable,String sqltxt){ int count=0; DataFrame jdbcDF =sqlContext.read().jdbc(options.getProperty("url"), targettable, options); jdbcDF.registerTempTable(targettable); Row[] rows= jdbcDF.sqlContext().sql(sqltxt).collect(); if(rows!=null){ count=(int)rows[0].getLong(0); } return count; } public void setJavaSparkContext(JavaSparkContext javaSparkContext) { this.javaSparkContext = javaSparkContext; } public void setSqlContext(SQLContext sqlContext) { this.sqlContext = sqlContext; } }
相关推荐
毕业设计-基于Hadoop+Spark的大数据金融信贷风险控系统源码.zip毕业设计-基于Hadoop+Spark的大数据金融信贷风险控系统源码.zip毕业设计-基于Hadoop+Spark的大数据金融信贷风险控系统源码.zip毕业设计-基于Hadoop+...
Spark安装包:spark-3.1.3-bin-without-hadoop.tgz
linux的spark新版本,匹配hadoop2.7版本,spark-3.2.1-bin-hadoop2.7.tgz
Python毕业设计-基于Hadoop+Spark+Django的LSH电影推荐系统的设计与实现+使用说明+全部资料(优秀项目)Python毕业设计-基于Hadoop+Spark+Django的LSH电影推荐系统的设计与实现+使用说明+全部资料(优秀项目)Python...
文件名: spark-3.4.1-bin-hadoop3.tgz 这是 Apache Spark 3.4.1 版本的二进制文件,专为与 Hadoop 3 配合使用而设计。Spark 是一种快速、通用的集群计算系统,用于大规模数据处理。这个文件包含了所有必要的组件,...
1、内容概要:Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南(详细搭建步骤+实践过程问题总结)。 2、适合人群:大数据运维、大数据相关技术及组件初学者。 3、...
Apache Spark版本3.1.3。Linux安装包。spark-3.1.3-bin-hadoop3.2.tgz
spark-assembly-1.5.2-hadoop2.6.0 在spark编程中使用的一个jar
通过VirtualBox安装多台虚拟机,实现集群环境搭建。 优势:一台电脑即可。 应用场景:测试,学习。...内附百度网盘下载地址,有hadoop+zookeeper+spark+kafka等等·····需要的安装包和配置文件
本资源是spark-2.0.0-bin-hadoop2.6.tgz百度网盘资源下载,本资源是spark-2.0.0-bin-hadoop2.6.tgz百度网盘资源下载
spark-3.2.0-bin-hadoop3-without-hive
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
hadoop-2.6.0.tar.gz + ideaIC-13.1.6.tar.gz + jdk-7u75-linux-i586.tar.gz + scala-2.10.4.tgz + spark-1.0.0-bin-hadoop2.tgz
spark-3.0.0-bin-hadoop3.2下载安装包
毕业设计-基于Hadoop+Spark的大数据金融信贷风险控系统源码(高分项目).zip个人经导师指导并认可通过的高分毕业设计项目,主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计...
spark-2.3.0-bin-hadoop2.7版本.zip
spark-2.4.0-bin-hadoop2.7
spark-2.4.3-bin-hadoop2.7.zip
spark-2.3.1-bin-hadoop2.7.zip
spark-1.6.3-bin-hadoop2.6.tgz