“这不是真的。”;英特尔&x27;s优化的Tensorflow随Linux上新的2018 Intel Python发行版而来;

“这不是真的。”;英特尔&x27;s优化的Tensorflow随Linux上新的2018 Intel Python发行版而来;,python,tensorflow,installation,intel,Python,Tensorflow,Installation,Intel,在以下网页上: 据称:“英特尔优化Tensorflow的康达软件包随新的2018英特尔Python Linux发行版而来。” 我不认为这是真的 在我们的集群中,我们有: 英特尔并行工作室XE 2018 在单独安装中,我们获得: 英特尔Python部署(IDP)2018(2.7、3.6) 以下是一个屏幕截图,其中包含优化的tensorflow未随IDP 2018提供的证据: [whowell@acf-knl004 ~]$ module load intel-python/2.7/2018.0

在以下网页上:

据称:“英特尔优化Tensorflow的康达软件包随新的2018英特尔Python Linux发行版而来。”

我不认为这是真的


在我们的集群中,我们有:

英特尔并行工作室XE 2018

在单独安装中,我们获得:

英特尔Python部署(IDP)2018(2.7、3.6)


以下是一个屏幕截图,其中包含优化的tensorflow未随IDP 2018提供的证据:

[whowell@acf-knl004 ~]$ module load intel-python/2.7/2018.0.018
[whowell@acf-knl004 ~]$ which python
/global/opt/intel/python/2018.0.018/intelpython2/bin/python
[whowell@acf-knl004 ~]$ python -c 'import tensorflow as tf;print          
tf.__file__;sess = tf.InteractiveSession()'
/global/opt/intel/python/2018.0.018/intelpython2/lib/python2.7/site-   
packages/tensorflow/__init__.pyc
2017-10-09 18:28:23.284004: W 
tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow libra\ry 
wasn't compiled to use SSE4.1 instructions, but these are available on your 
machine and could speed up CPU computations.

2017-10-09 18:28:23.284243: W 
tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library 
wasn't compiled to use SSE4.2 instructions, but these are available on your 
machine and could speed up CPU computations.

2017-10-09 18:28:23.284311: W 
tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library 
wasn't compiled to use AVX instructions, but these are available on your 
machine and could speed up CPU computations.
2017-10-09 18:28:23.284456: W 
tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library     
wasn't compiled to use AVX2 instructions, but these are available on your 
machine and could speed up CPU computations.
2017-10-09 18:28:23.284518: W 
tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library 
wasn't compiled to use AVX512F instructions, but these are available on your 
machine and could speed up CPU computations.
2017-10-09 18:28:23.284579: W 
tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library 
wasn't compiled to use FMA instructions, but these are available on your 
machine and could speed up CPU computations.

优化之一是使用向量指令构建。因为我们得到一个警告,使用的tensorflow不是用向量指令构建的,所以我们不能使用优化版本


我们有生物信息学家要进行大规模的分布式tensorflow运行,而新的KNL正是为此专门设计的。从KNL的优化张量流开始是至关重要的。我们的员工中有个人在至强Phi体系结构和NVIDIA GPU方面具有多年的尖端研究经验。未来可能会有合作机会,以扩展tensorflow产品


你建议我们下一步做什么

我们非常感谢在这方面提供的任何帮助

米奇·霍顿博士 联合计算科学研究所(JICS)
田纳西大学,诺克斯维尔,tn/p>p>>警告可能是不合法的。原因是有两种方法可以让二进制文件使用特定于体系结构的指令

  • 修复架构并使用架构特定的标志构建所有内容(谷歌方式)

  • 使用动态分派在运行时为体系结构选择可用的最佳指令。(以世界其他地区的方式)


  • 警告只检查方式1.,它们无法判断Intel的操作是否使用动态调度逻辑自动为体系结构选择最佳指令。

    检查是否使用运行时调度选择指令集(如@Yaroslav建议),使用
    objdump-drwC-Mintel/usr/lib/../which.so
    并查找
    zmm
    寄存器和/或)如果类似的指令存在于二进制文件中的任何位置,可能会有运行时调度来使用它们。但是,由于KNL的调优与Skylake-AVX512的调优不同,使用
    gcc-O3-march=knl
    (或
    -march=native
    ,如果在knl CPU上运行构建,则编译您自己的版本可能是有意义的。此
    -march=native
    可能是TensorFlow的默认设置)。除非您找到专门为KNL编译的二进制软件包,否则构建自己的库至少比使用可能使用
    -mtune=generic
    的带运行时CPU检测的库略为优化。与SKX不同,KNL在旧版SSE(解码瓶颈)方面表现不佳,因此请确保所有SIMD代码都使用AVX/AVX512。