Pure Soul

对世界充满好奇

50 篇文章 14 个分类 13 个标签

这里记录算法、工程、系统设计，以及一些认真写下来的生活观察。

Tensorflow代码当中的logits的理解

2020-10-02 · 未分类 / 算法

深度学习源码中经常出现的logits其实和统计中定义的$logit=log(\frac{p}{1-p})$没什么太大关系，就是定义的神经网络的一层输出结果。该输出一般会再接一个softmax layer输出normalize 后的概率，用于多分类。见下图：

2020-10-01

最近由于需求，需要重载Keras的Model类，代码逻辑是好好的，但是最后运行的时候出现了NoImplementError这个错误，现实的是self.compute_output_shape没有在子类当中实现。代码如下：查看keras以及别人的实现，发现很多都是继承的tf.k…

2020-10-01

Tensorflow的变量(Variable)或优化器(Optimizer)当中有一个use_locking的可选参数，一开始以为是字面意思：直接锁定不给更新参数，后来发现并不是，而是在更新参数的时候使用锁，避免受多线程、多进程、以及在分布式模型中参数更新时受到影响，最典型…

2020-09-17

什么是MDN 对于一输入对一的输出的任务，传统的神经网络可以很好地进行预测/回归/分类。然而，对于一对多的问题，传统的网络无法胜任，此时MDN派上用场。 MDN的工作机制与传统的NN不一样的是，MDN的预测输出是特定分布的参数值，例如指定三个正态分布进行叠加模拟，需要6个$\…

2020-07-21

Transfer Learning对于没有大量计算资源，并且需要快速构造现有模型的人而言是极大的福音。我们可以将已经学到的模型参数（也可理解为模型学到的知识）通过某种方式来分享给新模型（对于结构或许有微调）从而加快并优化模型的学习效率不用像大多数网络那样从零开始学习。而Fin…

Python

2020-06-08

最近开始学习Go，记录一下Go语言的学习笔记。基础篇 1- 如果import了没有使用的包，那么会出现红线提醒"、import for side-effects"以及"unused import"，我所使用的GoLand编辑器会在go build之后自动消除这些错误，这挺好的…

Golang 基础知识

2020-04-25

一点碎碎念最近这几天，在搞华为的软件精英挑战赛，虽然比赛打的不咋地，但是好在能把以前的数据结构，图论相关知识复习一下（心态还是要摆正的）。不过话说回来，参加华为软件精英挑战赛，一定要熟悉C++，其他的Python，Java，C都是弟弟，不然时间上吃大亏。今年的初赛考察的是有向…

Python 图论数据结构

2020-04-05

最近增加了一个子域名，结果发现原来根域名下的文章点进去全部都显示404错误，后来上网查了一下，发现是什么Apache服务器的httpd.conf配置文件当中有些配置不对，改过之后还是没用，在此查证，发现是文章链接的问题，之前使用的是时间加标题的方式：2020/03/20/exa…

个人建站

2020-04-01

搭建好服务器之后，随后就可以搭建博客环境，我选择的是LAMP+WordPress。显而易见，LAMP=Linux+Apache+Mariadb+PHP，WordPress就不用说了，它是使用PHP语言开发的博客平台，用户可以在支持PHP和MySQL数据库的服务器上架设属于自己的…

VPS 个人建站

2020-03-29

对于个人建站而言，服务器的选购是十分重要的，一个合适的服务器能够在后期大大减少建站过程当中的烦恼。最常见的服务器大致分为，虚拟机，VPS，独立主机。对于这三种的区别，网上已经有很多的介绍了，可以参考[知乎](https://www.zhihu.com/question/198…

VPS 个人建站服务器