模型准备

安装 NGC CLI

使用 NGC CLI 来获得预训练模型，关于 NGC 的详细信息可访问 官网 中的 SETUP 了解

【方阵函数】

定义

以往定义的函数 $y=f(x)$ 通常是指自变量 $x$ 为实数，因变量 $y$ 为实数的单值映射，将函数的概念进行拓广，定义方阵函数，即自变量与函数值都是方阵的一种特殊函数

【向量序列的极限】

定义

设存在向量序列 $\{\mathbf{x}_1,\mathbf{x}_2,\cdots,\mathbf{x}_k,\cdots\}\subset V^n$，若 $\exists \mathbf{x} \in V^n$，使得

训练环境设置

文件地址

在使用 Tao 训练模型时，需要设置两套文件地址：

模型加载

导入 NeMo

1
2
3
4
5
6
7
8
9
10
11
12

import nemo
import nemo.collection.asr as nemo_asr
import torch

# 检查 nemo 版本 '1.4.0'
print(nemo.__version__)

# 检查 torch 版本 '1.12.1+cu113'
print(torch.__version__) 

# 检查 GPU 是否被 torch 调用 True
print(torch.cuda.is_available())

数据采集

为制作数据集，寻找了 65 个人单独采集样本，每人录制一个采样率为 44100HZ 的 wav 单声道语音文件

录制内容为下述的 15 句话，在对每个文件进行分割、数据清洗后，按类别存放在 15 个文件夹中，具体数据情况如下：

Reference

• 概率论与随机过程8——特征函数，矩母函数与母函数
• 概率论学习笔记（五）
• 概率论学习笔记（六）
• 公式墙(1)——Laplace Transform(拉普拉斯变换)
• 拉普拉斯变换简介
• 从另一个角度看拉普拉斯变换

【复随机变量】

设 $(\Omega,\mathscr{F},P)$ 为一概率空间，$X,Y$ 为 $\mathscr{F}$ 的实值随机变量，则称

Reference

• 概率论学习笔记（四）
• 可测函数与积分、Stieltjes积分
• 在Stieltjes观点下看“级数”与“积分”
• 初识斯蒂尔杰斯积分（Stieltjes integral）

【引入】

Stieltjes 积分

NeMo 开源工具包

关于 NeMo

NeMo（Neural Modules）是 NVIDIA 发布的基于 PyTorch 的开源工具包，它允许开发者快速构建、训练和微调会话式人工智能模型