今天的风儿甚是喧嚣 JiaoPan 
  • 主页
  • 归档
  • 分类
  • 标签
  •     
self-attention|transformer

self-attention|transformer

attentionX = \begin{bmatrix}x_{1} \\ x_{2} \\x_{3} \end{bmatrix}=\begin{bmatrix}a_{11}&a_{12}&a_{13}&a_{14} \\ a_{21}&a_{22}&a_{23}&a_{24} \\ a_{31}&a_{32}&a_{33}&a_{34} \end{bmatrix}=\begin{bmatrix}1&2&1&2 \\ 1&1&2&2 \\ 1&1&1&-1 \end{bmatrix}x_i = [a_{i1},a_{i2},a_{i3},a_{i4}]词向量: $x_1$(早),$x_3$(上),$x_3$(好) attention = softmax(XX^T)XXX^T = \begin{bmatrix}a_{11}&a_{12}&a_{13}&a_{14} \\ a_{21}&a_{22}&a_{23}&a_{24} \\ a_{31}&a_{32}&a_{33}&a_{34} \end{bmatrix} \begin{bmatrix}a_{11}&a_{21}&a_{31} \
 2022-09-28   深度学习   
nlp paper

nlp paper

embedding compression1.Sparse Word Representation Compressing Neural Language Models by Sparse Word Representations Sparse Word Representation for RNN Language Models on Cellphones
 2021-12-31   深度学习    nlp paper 
PyTorch Tutorials

PyTorch Tutorials

基本计算# 等待...
 2021-06-28   深度学习    pytorch 
opencv-note

opencv-note

1.创建纯色图片 cv::Mat mat(100, 100, CV_8UC3); int es = mat.elemSize(); // 单个数据大小 int size = mat.rows * mat.cols * es; // 所有数据大小 for (int i = 0; i < size; i +=es){ mat.data[i] = 0; // Blue mat.data[i + 1] = 0; // Green mat.data[i + 2] = 0; // Red } cv::imwrite("cv_blue.jpg",mat); 2.opencv颜色转换(RGB-HSV)opencv中HSV的取值范围:H:[0,180],S:[0,255],V:[0,255] #include <iostream> #include <opencv2/opencv.hpp> int main() { //std::cout << cv::getVersionString() <<
 2021-05-13   opencv3    opencv samples 
Java虚拟机

Java虚拟机

Java内存结构程序计数器当前线程锁执行字节码的行号指示器(下一条jvm指令执行地址),每个线程都有独立的程序计数器,各线程间互不影响. 虚拟机栈每个线程执行所需的独立内存空间,生命周期与线程相同,每次方法被执行时会在虚拟机栈中创建一个栈帧(方法执行所需内存),用于存储局部变量表、操作栈、动态链接、方法出口等信息,每一个方法被调用直至执行完毕就对应一个栈帧在虚拟机栈中入栈出栈的过程,每个线程只有一个活动栈帧,对应当前正执行的方法.
 2021-01-13   Java    Java 
Effective C++

Effective C++

1.尽量以const,enum,inline替换#define //.h class Foo{ private: static const int NUM = 5;//class专属常量声明 } //.cpp const int Foo::NUM; char grerting[] = "hello"; char* p = grerting; //non-const pointer non-const data const char* p = grerting;// non-const pointer const data char* const p = grerting;// const pointer non-const data const char* const p = grerting;// const pointer const data std::vector<int> vec; const std::vector<int>::iterator iterator = vec.begin(); *ite
 2021-01-12   C++    C++ 
剑指offer题解

剑指offer题解

1.在一个长度为 n 的数组 nums 里的所有数字都在 0~n-1 的范围内。数组中某些数字是重复的,但不知道有几个数字重复了,也不知道每个数字重复了几次。请找出数组中任意一个重复的数字. 输入: [2, 3, 1, 0, 2, 5, 3] 输出:2 或 3 限制: 2 <= n <= 100000 解法 //#1 int findRepeatNumber(vector<int>& nums) { map<int,int> num_map; for (int i = 0; i < nums.size(); ++i) { if(num_map.find(nums[i]) != num_map.end()){ return nums[i]; } num_map[nums[i]]++; } return -1; } //#2 int findRepeatNumber(vector<int>& nums) {
 2020-12-21   leetcode    leetcode 
Java并发编程

Java并发编程

创建线程Thread thread = new Thread("thread-1"){ @Override public void run() { logger.info("hello world"); } }; thread.start(); Runnable runnable = new Runnable() { public void run() { logger.info("hello world"); } }; Thread thread = new Thread(runnable,"thread"); thread.start(); Runnable runnable = ()->{ logger.info("hello world"); }; Thread thread = new Thread(runnable,"thread"); thread.start();
 2020-12-02   Java    并发 
汇编语言.001

汇编语言.001

基础知识:汇编语言第三版-王爽汇编指令:机器码的助记符,有对应的机器码;伪指令:无对应的机器码,由编译器执行;其他符号:如+、-、*、/,由编译器识别,无对应机器码; 寄存器通用寄存器:AX,BX,CX(循环计数寄存器),DX 段寄存器CS(代码段寄存器):IP(指令指针寄存器) - 提供CPU执行指令的地址DS(数据段寄存器):偏移地址 - 提供数据的存储地址SS(栈顶段寄存器):SP(栈顶指针寄存器)- 提供栈顶元素的存储地址ES(附加段寄存器) Start hello worldDSEG SEGMENT MESS DB 'Hello,World!' ,0DH,0AH,24H DSEG ENDS SSEG SEGMENT PARA STACK DW 256 DUP(?) SSEG ENDS CSEG SEGMENT ASSUME CS:CSEG,DS:DSEG BEGIN: MOV AX,DSEG MOV DS,AX MOV DX,OFFSET MES
 2020-05-18   汇编语言    汇编语言 
设计模式-Java

设计模式-Java

单例模式 饿汉式 #1 class Singleton{ private final static Singleton instance = new Singleton(); public static Singleton getInstance(){ return instance; } } #2 public class Singleton{ private static Singleton instance; static { instance = new Singleton(); } public static Singleton getInstance(){ return instance; } } 懒汉式 #1 线程不安全 public class Singleton{ private static Singleton instance; public static Singleton getInstance(){ if(i
 2020-04-20   笔记   
123…7

検索

Hexo Fluid
 总访问量 次   总访客数 人