004.Spark Machine Learning
Spark Machine Learning 引入依赖 12345<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-mllib_2.11</artifactId> <version>2.4.5</version></d
今天的风儿甚是喧嚣 JiaoPan
003.Spark Streaming/Structured Streaming
spark streaming-hello worldnote:http://spark.apache.org/docs/latest/streaming-programming-guide.html 引入依赖 12345<dependency> <groupId>org.apache.spark</groupId> <artifactId>sp
002.Spark Sql
spark sql-hello world1.引入依赖 12345<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>2.4.5</version></depende
001.Spark RDD
spark-hello world1.创建maven项目spark-note,添加Spark依赖,新建TestSpark.java类2.引入依赖和打包插件 123456789101112131415161718192021<dependency> <groupId>org.scala-lang</groupId> <artifactId>scal
000.Spark Basement
Launching Applications with spark-submit12345678910111213141516./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --deploy-mode <deploy-mode> \ --conf <key>
pytorch 自定义数据集/训练/模型保存和加载
数据准备1.第一种方式torchvision.datasets.ImageFolder数据集文件需如下结构：rootdir/cat/xxx.pngroot_dir/cat/xxy.jpeg…root_dir/dog/nsdf3.pngroot_dir/dog/asd932.png 12345import torchimport torchvisionfrom torchvision import
小贴士
C++Q： Visual Studio 编译工程报错:error C4996: ‘strtok’: This function or variable may be unsafe. Consider using strtok_s instead 工程属性 —>C/C++ —> 预处理器 —> 预处理器定义,添加宏定义 1_CRT_SECURE_NO_WARNINGS Q： pt
卷积操作汇总
概念1.卷积核(Kernel)：滤波矩阵，普遍的卷积核大小为3×3、5×5;2.步长(Stride)：卷积核遍历特征图时每步移动的像素个数;3.填充(Padding)：对特征图边界外进行填充（一般填充为0）;4.通道(Channel)：卷积层的通道数（层数）; 标准卷积单通道多通道 3维卷积 1x1卷积 反卷积（转置卷积）将卷积核转换为稀疏矩阵后进行转置计算如下图，在2x2的输入图像上应用步长为1
