工作日记 19/11/14

work vivo daily

0. TODO

• 172.25.71.133 服务器环境 & GPU资源
• 唤醒音频信号提取
• 跑通base line模型：gru，self-attention

1. 服务器环境 & GPU资源

1.1 登陆开发机

• IP：172.25.71.133
• 连接方式：
  
  • 登陆：
    
    1. ssh 11111198@vivoadmin@172.25.71.133@passsh.vivo.xyz -p 22
    2. ssh 11111198@passsh.vivo.xyz -p 22后跳转：
       
       • Target user: vivoadmin
       • Target machine address: 172.25.71.133
  • 传文件（本地目录 -> passsh.vivo.xyz的ssh验证 -> 133目录）：
    scp -r local_dir 11111198@vivoadmin@172.25.71.133@passsh.vivo.xyz:/data04/cxj

1.2 开发机环境

• conda(2选1，第一种文件中带有本地的路径信息prefix):
  
  • conda env export > environment.yaml
conda env create -f environment.yml
  • conda list -e > conda_list.txt
conda create -n new_environment --file conda_list.txt
• pip:
  pip freeze > requirements.txt
pip install -r requirements.txt

1.3 GPU环境

--------- 防踩坑记录 ----------

• nvidis-smi查看驱动和cuda

  NVIDIA-SMI 384.183 Driver Version: 384.183 CUDA Version: 9.0

• 查看conda环境下的cudnn和cuda版本是否与显卡驱动匹配
  conda安装tensorflow-gpu时，版本超过1.10.0之后，cuda版本为9.2，cudnn为7.6.4

  $ conda list | grep -E 'tensorflow|cuda|cudnn'
  WARNING: The conda.compat module is deprecated and will be removed in a future release.
  cudatoolkit               9.2                           0  
  cudnn                     7.6.4                 cuda9.2_0  
  tensorflow                1.12.0          gpu_py36he74679b_0  
  tensorflow-base           1.12.0          gpu_py36had579c0_0  
  tensorflow-gpu            1.12.0               h0d30ee6_0  

• 查看官方的推荐方案

  • 显卡驱动和cuda版本：133开发机上显卡驱动是384.183，与其匹配的是9.0
    

  • tensorflow版本和cuda、cudnn版本：1.5.0到1.12.0和cuda 9兼容，
    

  • conda安装：安装tensorflow-gpu的时候，超过1.10.0时，conda方案安装的版本是9.2，会导致兼容性问题

2. 音频to时频谱(seq)

用文韬给的脚本，提取一个wav文件的filterbank和mfcc特征，后续继续补充知识。

3. 开发机上的模型跑通

import os
# gpu visible
os.environ["CUDA_VISIBLE_DEVICES"]= '0'
# ignore tensorflow information
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

0 = all messages are logged (default behavior)
1 = INFO messages are not printed
2 = INFO and WARNING messages are not printed
3 = INFO, WARNING, and ERROR messages are not printed