Spark Machine Learning 引入依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-mllib_2.11</artifactId> <version>2.4.5</version> </dependency> 相关系数矩阵相关系数矩阵(i行，j列)的元素是原矩阵i列与j列的相关系数 #身高与体重的相关系数矩阵 SparkSession spark = SparkSession.builder().appName("ml test") .master("local[*]") .getOrCreate(); List<Row> data = Arrays.asList( RowFactory.create(Vectors.dense(17

spark streaming-hello worldnote:http://spark.apache.org/docs/latest/streaming-programming-guide.html 引入依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.11</artifactId> <version>2.4.5</version> </dependency> 安装 Netcat 下载地址：http://netcat.sourceforge.net/ 解压-启动 $ nc -lk 9999 example SparkConf conf = new SparkConf().setAppName("spark streaming").setMaster("local[*]"); JavaStream

spark sql-hello world1.引入依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>2.4.5</version> </dependency> 2.exmple程序 public class Man implements Serializable{ private static final long serialVersionUID = 1L; private String name; private String age; Man(String name,String age){ this.name = name; this.age = age; } pu

spark-hello world1.创建maven项目spark-note,添加Spark依赖,新建TestSpark.java类2.引入依赖和打包插件 <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.11.8</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.5</version> </dependency> <dependency> <groupId>org.apache.hadoop</g

Launching Applications with spark-submit./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --deploy-mode <deploy-mode> \ --conf <key>=<value> \ ... # other options <application-jar> \ [application-arguments] ./bin/spark-submit \ --name "My app" \ --master local[4] \ --conf spark.eventLog.enabled=false \ --conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" \ --con

数据准备1.第一种方式torchvision.datasets.ImageFolder数据集文件需如下结构：rootdir/cat/xxx.pngroot_dir/cat/xxy.jpeg…root_dir/dog/nsdf3.pngroot_dir/dog/asd932.png import torch import torchvision from torchvision import transforms,datasets import os os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE" transform = transforms.Compose([ transforms.Resize([224,224]), transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) ]) dataset = datasets.ImageFolder(root="/Volumes/sto

C++Q： Visual Studio 编译工程报错:error C4996: ‘strtok’: This function or variable may be unsafe. Consider using strtok_s instead 工程属性 —>C/C++ —> 预处理器 —> 预处理器定义,添加宏定义 _CRT_SECURE_NO_WARNINGS Q： pthread.h中报错：C2011“timespec”:“struct”类型重定义 tim.h已定义，pthread.h添加如下代码： #if !defined( PTHREAD_H ) #define PTHREAD_H #define HAVE_STRUCT_TIMESPEC Q：Visual Studio 工程编译dll,接口的定义 A：接口的头文件应如下声明： #define LIB_API __declspec(dllexport) //导出函数 extern "C" { LIB_API char* say(); } Q：C++调用DLL dll的创

概念1.卷积核(Kernel)：滤波矩阵，普遍的卷积核大小为3×3、5×5;2.步长(Stride)：卷积核遍历特征图时每步移动的像素个数;3.填充(Padding)：对特征图边界外进行填充（一般填充为0）;4.通道(Channel)：卷积层的通道数（层数）; 标准卷积单通道多通道 3维卷积 1x1卷积 反卷积（转置卷积）将卷积核转换为稀疏矩阵后进行转置计算如下图，在2x2的输入图像上应用步长为1、边界全0填充的3x3卷积核，进行转置卷积（反卷积）计算 空洞卷积（膨胀卷积） 可分离卷积（Separable Convolutions）将卷积核分解为两项独立的核分别进行操作分解后的卷积计算过程如下图，先用3x1的卷积核作横向扫描计算，再用1x3的卷积核作纵向扫描计算 深度可分离卷积（Depthwise Separable Convolutions）3个卷积核分别对输入层的3个通道作卷积计算并堆叠在一起再使用1x1的卷积（3个通道）进行计算，得到只有1个通道的结果重复多次1x1的卷积操作（如下图为128次） 分组卷积（Grouped Convolution）在分组卷积中，卷积核被分成不同的组

elasticsearch 教程 安装、启动、测试elasticsearch下载地址:https://www.elastic.co/cn/downloads/elasticsearch kibana下载地址:https://www.elastic.co/cn/downloads/kibana 启动 ./elasticsearch-7.5.1/bin/elasticsearch #浏览器访问：localhost:9200 { "name" : "jiaopandeMacBook-Pro.local", "cluster_name" : "elasticsearch", "cluster_uuid" : "5vku_94_SjevMGVYIo3RYg", "version" : { "number" : "7.5.1", "build_flavor" : &q

1.opencv下载：https://opencv.org/releases/ 解压后为OpenCV-android-sdk 2.创建初始Android项目 3.在app/src/main目录下新建jniLibs目录，在app/src/main/cpp目录下新建include目录和src目录 将OpenCV-android-sdk/sdk/native/libs下所有目录复制到jniLibs目录中 将OpenCV-android-sdk/sdk/native/jni/include下的所有目录复制到app/src/main/cpp/include目录中 移动app/src/main/cpp/CMakeLists.txt至app目录下 移动app/src/main/cpp/native-lib.cpp至app/src/main/cpp/src/native-lib.cpp 4.配置文件修改 CMakeLists.txt # For more information about using CMake with Android Studio, read the # document