从零开始:你也能创建随时可用神经网络服务器

来源:互联网 / 作者:SKY / 2018-01-11 18:23 / 点击:
本文将使用Clojure和Cortex进行机器学习。你将学习如何从头开始创建易于理解和随时可用的神经网络,以及使用经过训练的网络REPL与LISP获得即时结果。

无论是开始接受还是从事一些新事物,总是不容易的。机器学习是可能需要尽快学习新项目的编程技能之一,但你或许并不知道从哪里开始。当然,在这个大社交媒体、门户网站经常出现的这个词,或许真的是出现在你简历上的一个很好的证明。

本文将使用Clojure和Cortex进行机器学习。你将学习如何从头开始创建易于理解和随时可用的神经网络,以及使用经过训练的网络REPL与LISP获得即时结果。

从零开始:你也能创建随时可用神经网络

Cortex可能会是比较新的概念,但它是现有机器学习框架的一个非常有力的替代方案。它基于Clojure,消除了培养和运行自己的网络所需的大部分代码。

为了突出如何训练和使用网络,本文将介绍一个创建简单的秘密函数(即网络的秘密),训练网络以便能够计算以前从未见过的输入,并迅速获得好的结果。

Cortex本身就是一个Clojure库,它提供API来创建和训练自己的网络,包括自定义输入、输出和隐藏层,并估计当前训练的网络的好坏。

最小的Clojure项目设置是一个相当标准的Leiningen设置,Leiningen成为Clojure的实际构建工具,安装起来很轻松。

 

从零开始:你也可以创建随时可用的神经网络!

我们还将使用REPL之一的Gorilla REPL来绘制Web REPL来绘制函数,稍后会看到。从零开始:你也可以创建随时可用的神经网络!

从零开始:你也可以创建随时可用的神经网络!

Gorilla插件允许运行Web REPL,并可以使用上述project.clj文件中提供的笔记本别名来启动它。 以下是它看起来像一个简单的终端或控制台命令:

从零开始:你也可以创建随时可用的神经网络!

在Clojure命名空间中,将定义以下三件事情:

·网络应该正确映射的秘密功能

·一个随机输入序列的生成器

·数据集生成器,提供网络进行训练。 这将调用secret-fn来产生训练网络所需的输入和输出。

在这个项目中,包含代码的Clojure命名空间在src / tutorial.clj中定义,并将被两个Gorilla笔记本使用。

从零开始:你也可以创建随时可用的神经网络!

在Gorilla REPL启动后,前往以下本地网址:

 

从零开始:你也可以创建随时可用的神经网络!

这是REPL所在的地方,你可以在那里跟随笔记本,直接在浏览器中输入Clojure代码和命令。

准备

第一个任务是导入一些Cortex命名空间。

从零开始:你也可以创建随时可用的神经网络!

网络和图层名称空间将被用来定义网络的内部。 train命名空间采用网络定义和数据集来产生训练有素的网络。 最后,execute命名空间将训练好的网络和一个额外的仅用于输入的数据集与所提供的输入一起运行网络。 tutorial名称空间包含上面编写的代码,带有隐藏函数和数据集生成器。

创建和测试输入生成器将是第一步。 输入生成器会生成许多由两个元素组成的元组。

从零开始:你也可以创建随时可用的神经网络!

随机序列生成器可以提供输入和输出数据集,内部使用隐藏函数。

从零开始:你也能创建随时可用神经网络

现在生成数据的样子已经很清楚了,我们来创建两个数据集:都是20000个元素。 教数据集将被用来告诉网络什么是已知的,应该记住什么是真的,而测试数据集将被用来测试网络的正确性并计算它的分数。 有两个完全不同的集合通常会更好。

从零开始:你也可以创建随时可用的神经网络!

现在有两个强大的、奇妙的数据集,就可以编写网络,网络被定义为由四层组成的共同线性网络。

两层将用于预期的输入和输出,而另外两层将定义内部结构。 定义神经网络的层次本身就是一门艺术。 在这里,我们把双曲正切作为激活函数。实际上一个经过良好训练的网络,它有两个激活层。

看到这里,有一个很好的介绍它的话题。

第一层定义了网络入口和输入,并且有两个元素作为一个输入,并且输入的标签被命名为:x

最后一层定义了网络的输出,只有一个元素,其ID将是:y

使用Cortex API提供了下面的小型网络代码:

从零开始:你也可以创建随时可用的神经网络!

所有需要训练网络的模块都被定义了,就像女王曾说过的一句话:

这一切都和训练有关:如果你训练有素的话,你可以做很多事情。——英国女王伊丽莎白二世

训练

训练的目标是拥有自己的训练网络,你可以立即使用或者提供给其他用户,以便他们可以完全独立使用你的网络。

训练是分步完成的。每个步骤都采用批处理中的教学数据集的元素,并用一些系数缓慢地拟合每个图层的块,以便整个图层组可以给出接近期望输出的结果。我们正在使用的激活功能在某种意义上就是模仿人类的记忆过程。

在每个示教步骤之后,使用提供的测试数据集对网络进行准确性测试。在这个阶段,网络与现有的内部部门一起运行,并与之前的版本进行比较,以了解它是否执行得更好,从而计算出一种被称为网络丢失的情况。

如果发现网络比上一次更好,Cortex会将网络保存为一个NIPPY文件,该文件是网络的一个压缩版本,以地图的形式表示。说够了;让我们最后开始那个训练。

从零开始:你也可以创建随时可用的神经网络!

训练的输出将在日志文件中,如果你看,你可以在日志中看到的第一件事就是网络是如何在内部表示的。 以下是不同的图层,每个图层的输入和输出尺寸以及要适合的参数数量。

从零开始:你也可以创建随时可用的神经网络!

然后,每个步骤/A5都会获得新的分数,以及网络是否更好,并在这种情况下,保存。

从零开始:你也能创建随时可用神经网络

每个步骤的得分都会给出网络的有效性,并且损失越接近零,网络执行得越好。 所以,在训练你的网络的同时,你的目标应该是尽可能地将损失值尽可能接近零。

3000次的全面训练只需要几分钟,一旦完成,就可以立即了解训练的网络是如何运作的。 如果时间比较紧张,1,500-2,000是一个很好的时间范围,可以让你在速度和已经相当精确的训练好的网络之间做出妥协。

培训完成后,将在当前文件夹中找到新的my-fn.nippy文件。 这是一个基于训练的Cortex网络版本的压缩文件。

伴随项目中包含了训练有素的网络mynetwork.nippy的副本。 网络的损失方面让人比较满意,值接近于零,如下所示。

从零开始:你也可以创建随时可用的神经网络!

让我们用手动定义的自定义输入来给新训练的网络一个镜头。

从零开始:你也可以创建随时可用的神经网络!

这非常接近预期的0 * 1 = 0输出。

现在,让我们尝试一下网络从来没有见过的双值元组。

从零开始:你也可以创建随时可用的神经网络!

7.42比预期的结果相当好,5 * 1.5 = 7.5。

使用网络

正如你所见,训练有素的网络被保存在一个NIPPY文件中。 该文件可以被网络的外部“用户”加载和使用。 从现在开始,如果你看看提供的笔记本,你可以加载下面的注释:注释:

从零开始:你也可以创建随时可用的神经网络!

用户需要一些名称空间。 本教将执行命名空间(即util)用于从文件中加载网络,并且由Gorilla插件提供绘图来绘制值。

之后,我们计划绘制预期的结果与网络提供的结果。

从零开始:你也可以创建随时可用的神经网络!

加载训练好的网络是使用Cortex提供的read-nippy-file功能的简单方法。

从零开始:你也可以创建随时可用的神经网络!

我们以前没有看过,但是网络确实是一个地图,你可以检查它的顶级密钥。

从零开始:你也可以创建随时可用的神经网络!

检查网络经历的历元数量以及当前的损失值是一个好主意。

阅读延展

1
3