Install faiss on GPU

hhhhfaiss

• Author：李英民 | Henry
• E-mail: li_yingmin@outlookdotcom
• $Beijing~~U~of~Posts~and~Telecom$$(BUPT~)$
• Home: https://liyingmin.wixsite.com/henry

• 快速了解我: About Me

• 转载请保留上述引用内容，谢谢配合！

1.检查环境

在这个目录：/usr/local  //看cuda的版本
free -m #内存
df -h 
cat /proc/cpuinfo  #CPU
lspci | grep VGA  #GPU

2.clone

git clone https://github.com/facebookresearch/faiss.git
cp -r faiss faiss.back //备份一份

3.编译CPU版

到faiss主目录下
cp example_makefiles/makefile.inc.Linux makefile.inc #makefile.inc用来辅助Makefile

4.安装intel MKL

scp -r l_mkl_2017.0.098.tgz liyingmin@10.31.33.120:/home/liyingmin/temp
# 如果在bashrc多写了so，进去删除即可
#解压安装MKL
tar -xzf l_mkl_2017.0.098.tgz
bash install.sh
只要输入了serial number（3VGW-N6PJ7GCN）就行，选3用user安装

5.修改makefile.inc编译

#修改makefile.inc
取消MKL的注释
注释掉OpenBlas
修改以下路径
$MKLROOT = /home/liyingmin/intel/compilers_and_libraries/linux/mkl
#完成一些路径设置
echo 'export LD_LIBRARY_PATH="/home/liyingmin/intel/compilers_and_libraries/linux/mkl/lib/intel64:$LD_LIBRARY_PATH"' >> ~/.bashrc
echo 'export LD_PRELOAD="/home/liyingmin/intel/compilers_and_libraries/linux/mkl/lib/intel64/libmkl_core.so:/home/liyingmin/intel/compilers_and_libraries/linux/mkl/lib/intel64/libmkl_sequential.so:$LD_PRELOAD"' >> ~/.bashrc
source ~/.bashrc
make

测试demo

scp sift.tar.gz liyingmin@10.31.33.120:/home/liyingmin/proj/faiss_proj/faiss
tar -zxf sift.tar.gz
mv sift sift1M
make demos/sif..
./demos/demo_sift1M

6.GPU版本

cd gpu
make -j10
echo 'export PATH="/usr/local/cuda-8.0/bin:$PATH"' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH="/usr/local/cuda-8.0/lib64:$LD_LIBRARY_PATH"' >> ~/.bashrc
echo 'export LIBRARY_PATH="/usr/local/cuda-8.0/lib64:$LIBRARY_PATH"' >> ~/.bashrc
source ~/.bashrc

由于这里在make的时候报错了，猜测应该是intel MKL的锅。

7.恢复使用openblas编译GPU版本

GPU机子上都已经安装好了需要的软件源！而且openblas已经装好了！不需要再安装了！
可以通过以下方式检测openblas的安装：

cd /usr/lib64 
//到这个目录下检查是否有libopenblas.so文件

修改makefile.inc文件：

把MKL的注释掉
解除openblas的注释
BLASCFLAGS=-DFINTEGER=int
BLASLDFLAGS?=/usr/lib64/libopenblas.so.0

cd gpu
make clean //clean掉以前的编译结果
make -j10
echo 'export PATH="/usr/local/cuda-8.0/bin:$PATH"' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH="/usr/local/cuda-8.0/lib64:$LD_LIBRARY_PATH"' >> ~/.bashrc
echo 'export LIBRARY_PATH="/usr/local/cuda-8.0/lib64:$LIBRARY_PATH"' >> ~/.bashrc
source ~/.bashrc

编译完成后，出现libgpufaiss.a文件

test:

make gpu/test/demo_ivfpq_indexing_gpu
./gpu/test/demo_ivfpq_indexing_gpu