Continuous integration 如何检查二进制文件是否为;“可运行”;

Continuous integration 如何检查二进制文件是否为;“可运行”;,continuous-integration,cross-compiling,compatibility,cpu-architecture,Continuous Integration,Cross Compiling,Compatibility,Cpu Architecture,在我的CI设置中,我正在将我的C代码编译成许多不同的体系结构(x86_64-linux-gnu,i386 linux-gnu,aarch64-linux-gnu,arm-linux-gnueabihf,x86_64-apple-darwin,i386-apple-darwin,i686-w64-mingw32,。 我可以通过“启用它们”来添加新的体系结构(至少对于*-LinuxGNU) 许多项目(与不同的开发人员)都使用相同的CI配置,并努力做到“零配置”(如:“将此CI配置放在项目中,忘掉它,

在我的CI设置中,我正在将我的C代码编译成许多不同的体系结构(
x86_64-linux-gnu,i386 linux-gnu
aarch64-linux-gnu
arm-linux-gnueabihf
x86_64-apple-darwin
i386-apple-darwin
i686-w64-mingw32
。
我可以通过“启用它们”来添加新的体系结构(至少对于*-LinuxGNU)

许多项目(与不同的开发人员)都使用相同的CI配置,并努力做到“零配置”(如:“将此CI配置放在项目中,忘掉它,其余的将由您处理”)

一些目标是本机编译的,另一些是交叉编译的。一些交叉编译的架构可以在构建机器上运行(例如,我可以在
x86\u 64-apple-darwin
上运行
i386 apple darwin
二进制文件),其他架构则不兼容(例如,我无法在
x86\u 64-linux-gnu构建器上运行
aarch64 linux gnu二进制文件

到目前为止,一切都很顺利

但是,我也希望在CI期间运行单元测试,但前提是单元测试实际上可以在构建机器上执行。 我对很多失败的测试一点也不感兴趣,因为我正在交叉构建二进制文件

让事情有点复杂的是,我正在构建的不是自包含的可执行文件,而是由主机应用程序dlopen()编译的插件(或目标平台上的等效插件)。主机应用程序通常启动缓慢,因此如果它无论如何都不能使用插件,我希望避免运行它。 构建插件也意味着我不能试着运行它们

我使用的是GNU工具链(make,gcc),或者至少是一些兼容的工具(比如clang)。 在我第一次尝试检查是否进行交叉编译时,我将构建过程的目标体系结构(由
${CC}-dumpmachine
返回)与GNU make的体系结构进行比较(GNU make将在使用
-v
标志调用时输出用于构建make自身的体系结构三元组)

至少对于
*-linux-gnu
目标而言,下面这样的方法工作得出奇地好:

如果make--version | egrep${TARGETARCH:-$(${CC:-CC}-dumpmachine)>/dev/null;则
回显“本机编译”
其他的
echo“交叉编译”
fi
但是,它在Windows/MinGW(当进行本机构建时,gcc的目标是
x86_64-w64-mingw32
,但make是为
x86_64-pc-msys
构建的;更糟糕的是,当构建32位二进制文件时,它们当然是完全可运行的)或macOS(gcc说,
x86\u 64-apple-darwin18.0.0
,make说,
i386-apple-darwin11.3.0
(别问我为什么)。 这越来越成为一个问题,因为,当我写这篇文章并进行一些检查时,我注意到即使在Linux上,我也会遇到一些差异,比如
x86_64-pc-Linux-gnu
vs
x86_64-Linux-gnu
;这些差异还没有出现在我的CI构建器上,但我确信这只是时间问题)


因此,我正在寻找一个更健壮的解决方案来检测我的构建主机是否能够运行生成的二进制文件,如果不能,则跳过单元测试。

根据我对您的需求的理解(如果我没有抓住要点,我将删除此答案),您可以分三步进行:

插入构建过程的指令,以便生成所使用的所有(gcc“dumpmachine”,make“build for”)对的精确列表

仅在列表中保留允许执行程序的对

使用收集的信息,从bash确定您是否可以执行二进制文件,或者不执行反映系统的二进制文件对:

#!/bin/bash
# Credits (some borrowed code):
# https://stackoverflow.com/questions/12317483/array-of-arrays-in-bash/35728122
 
# bash 4 could use associative arrays, but darwin probably only has bash3 (and zsh)
# pairs of gcc -dumpmachine 
# ----- collected/formatted/filtered information begins -----
entries=(
  'x86_64-w64-mingw32        x86_64-pc-msys'
  'x86_64-pc-linux-gnu       x86_64-linux-gnu'
  'x86_64-apple-darwin18.0.0 i386-apple-darwin11.3.0'
)
# ----- collected/formatted/filtered information ends -----

is_executable()
{
  local gcc
  local make
  local found=0

  if [ $# -ne 2 ]
  then
    echo "is_executable() requires two parameters - terminating."
    exit 1
  fi

  for page in "${entries[@]}"
  do
      read -r -a arr  <<< "${page}"
      gcc="${arr[0]}"
      make="${arr[1]}"
      if [ "$1" == "${gcc}" ] && [ "$2" == "${make}" ]
      then
        found=1
        break;
      fi
  done

  return ${found}
}

# main
MAKE_BUILT_FOR=$( make --version | sed -n 's/Built for //p')
GCC_DUMPMACHINE=$(gcc -dumpmachine)

# pass
is_executable ${MAKE_BUILT_FOR} ${GCC_DUMPMACHINE}
echo $?

# pass
is_executable x86_64-w64-mingw32  x86_64-pc-msys
echo $?

# fail
is_executable arm-linux-gnueabihf x86_64-pc-msys
echo $?
!/bin/bash
#学分(部分借用代码):
# https://stackoverflow.com/questions/12317483/array-of-arrays-in-bash/35728122
#Bash4可以使用关联数组,但darwin可能只有bash3(和zsh)
#gcc-dumpmachine对
#----开始收集/格式化/过滤信息-----
条目=(
“x86_64-w64-mingw32 x86_64-pc-msys”
“x86_64-pc-linux-gnu x86_64-linux-gnu”
“x86_64-apple-darwin18.0.0 i386-apple-darwin11.3.0”
)
#----收集/格式化/过滤的信息结束-----
是可执行文件()
{
本地gcc
本地制造
本地发现=0
如果[$#-ne 2]
然后
echo“is_executable()需要两个参数-终止
出口1
fi
对于“${entries[@]}”中的页面
做

阅读-r-a arr根据我对您需求的理解(如果我没有抓住要点,我将删除此答案),您可以分三步进行:

插入构建过程的指令,以便生成所使用的所有(gcc“dumpmachine”,make“build for”)对的精确列表

仅在列表中保留允许执行程序的对

使用收集的信息,从bash确定您是否可以执行二进制文件,或者不执行反映系统的二进制文件对:

#!/bin/bash
# Credits (some borrowed code):
# https://stackoverflow.com/questions/12317483/array-of-arrays-in-bash/35728122
 
# bash 4 could use associative arrays, but darwin probably only has bash3 (and zsh)
# pairs of gcc -dumpmachine 
# ----- collected/formatted/filtered information begins -----
entries=(
  'x86_64-w64-mingw32        x86_64-pc-msys'
  'x86_64-pc-linux-gnu       x86_64-linux-gnu'
  'x86_64-apple-darwin18.0.0 i386-apple-darwin11.3.0'
)
# ----- collected/formatted/filtered information ends -----

is_executable()
{
  local gcc
  local make
  local found=0

  if [ $# -ne 2 ]
  then
    echo "is_executable() requires two parameters - terminating."
    exit 1
  fi

  for page in "${entries[@]}"
  do
      read -r -a arr  <<< "${page}"
      gcc="${arr[0]}"
      make="${arr[1]}"
      if [ "$1" == "${gcc}" ] && [ "$2" == "${make}" ]
      then
        found=1
        break;
      fi
  done

  return ${found}
}

# main
MAKE_BUILT_FOR=$( make --version | sed -n 's/Built for //p')
GCC_DUMPMACHINE=$(gcc -dumpmachine)

# pass
is_executable ${MAKE_BUILT_FOR} ${GCC_DUMPMACHINE}
echo $?

# pass
is_executable x86_64-w64-mingw32  x86_64-pc-msys
echo $?

# fail
is_executable arm-linux-gnueabihf x86_64-pc-msys
echo $?
!/bin/bash
#学分(部分借用代码):
# https://stackoverflow.com/questions/12317483/array-of-arrays-in-bash/35728122
#Bash4可以使用关联数组,但darwin可能只有bash3(和zsh)
#gcc-dumpmachine对
#----开始收集/格式化/过滤信息-----
条目=(
“x86_64-w64-mingw32 x86_64-pc-msys”
“x86_64-pc-linux-gnu x86_64-linux-gnu”
“x86_64-apple-darwin18.0.0 i386-apple-darwin11.3.0”
)
#----收集/格式化/过滤的信息结束-----
是可执行文件()
{
本地gcc
本地制造
本地发现=0
如果[$#-ne 2]
然后
echo“is_executable()需要两个参数-终止
出口1
fi
对于“${entries[@]}”中的页面
做

read-r-a arr可能包括一个直接可运行的额外单元测试,只是一个“hello world”或
返回EXIT\u SUCCESS;
,如果失败,则跳过所有其他插件测试