C++ MPI发送和接收的通信成本

我是MPI新手，希望测量两个节点之间MPI_发送和MPI_接收的通信成本。为此，我编写了以下代码：

 /*==============================================================
 * print_elapsed (prints timing statistics)
 *==============================================================*/
 void print_elapsed(const char* desc, struct timeval* start, struct timeval* end, int numiterations) {

  struct timeval elapsed;
  /* calculate elapsed time */
  if(start->tv_usec > end->tv_usec) {

    end->tv_usec += 1000000;
    end->tv_sec--;
  }
  elapsed.tv_usec = end->tv_usec - start->tv_usec;
  elapsed.tv_sec  = end->tv_sec  - start->tv_sec;

  printf("\n%s total elapsed time = %ld (usec)\n",
    desc, (elapsed.tv_sec*1000000 + elapsed.tv_usec)/numiterations );
}


int main(int argc, char **argv) {

  int nprocs, nElements; /* command line args */

  int my_id;

  long double* buffer, *rec_buffer;         
 /* gettimeofday stuff */
  struct timeval start, end;         /* gettimeofday stuff */
  struct timezone tzp;

  MPI_Status status;              /* Status variable for MPI operations */

  MPI_Init(&argc, &argv);
  MPI_Comm_rank(MPI_COMM_WORLD, &my_id); /* Getting the ID for this process */

  /*---------------------------------------------------------
   *  Read Command Line
   *  - check usage and parse args
   *---------------------------------------------------------*/

  if(argc < 2) {

    if(my_id == 0)
      printf("Usage: %s [nElements]\n\n", argv[0]);

    MPI_Finalize();
    exit(1);
  }

  nElements = atoi(argv[1]);
  int numiterations = 64;
  MPI_Comm_size(MPI_COMM_WORLD, &nprocs); /* Get number of processors */

  if(my_id == 0)
    printf("\nExecuting %s: numElements=%d \n",
            argv[0], nElements);


  buffer = (long double *) malloc(sizeof(long double)*nElements);
  rec_buffer = (long double *) malloc(sizeof(long double)*nElements);

  if(buffer == NULL) {
    printf("Processor %d - unable to malloc()\n", my_id);
    MPI_Finalize();
    exit(1);
  }


  MPI_Barrier(MPI_COMM_WORLD);

  if(my_id == 1)
    gettimeofday(&start, &tzp);


  for(int i = 0 ; i < numiterations ; ++i)
  {
    if(my_id == 0)
      MPI_Send(buffer, nElements, MPI_LONG, 1, 0, MPI_COMM_WORLD);

    if(my_id == 1)
      MPI_Recv(rec_buffer, nElements, MPI_LONG, 0, 0, MPI_COMM_WORLD, &status);
  }


  if(my_id == 1) {
    gettimeofday(&end,&tzp);
  }

  MPI_Barrier(MPI_COMM_WORLD);
  if(my_id == 1) {
    print_elapsed("Summation", &start, &end, numiterations);
  }

  free(buffer);

  MPI_Finalize();

  return 0;
} /* main() */

/*==============================================================
*打印时间（打印定时统计）
*==============================================================*/
无效打印时间（常量字符*描述，结构时间值*开始，结构时间值*结束，整数）{
结构时间值已过；
/*计算经过的时间*/
如果（开始->电视节目>结束->电视节目）{
结束->tv_usec+=1000000；
结束->电视秒--；
}
appeased.tv\u usec=end->tv\u usec-start->tv\u usec；
已用时间.tv_秒=结束->tv_秒-开始->tv_秒；
printf（“\n%s总运行时间=%ld（usec）\n”，
描述（经过的.tv\u秒*1000000+经过的.tv\u秒）/numiterations）；
}
int main（int argc，字符**argv）{
int nprocs，neelements；/*命令行参数*/
输入我的id；
长双*缓冲区，*rec_缓冲区；
/*一天的事情*/
struct timeval start，end；/*gettimeofday stuff*/
结构时区tzp；
MPI_Status Status；/*用于MPI操作的状态变量*/
MPI_Init（&argc，&argv）；
MPI_Comm_rank（MPI_Comm_WORLD和my_id）；/*获取此进程的id*/
/*---------------------------------------------------------
*读取命令行
*-检查用法并分析参数
*---------------------------------------------------------*/
如果（argc<2）{
if（my_id==0）
printf（“用法：%s[n元素]\n\n”，argv[0]）；
MPI_Finalize（）；
出口（1）；
}
元素=原子（argv[1]）；
整数=64；
MPI_Comm_size（MPI_Comm_WORLD和NPROC）；/*获取处理器数量*/
if（my_id==0）
printf（“\n正在执行%s:numElements=%d\n”，
argv[0]，元素）；
缓冲区=（长双精度*）malloc（长双精度）*元素的大小）；
rec_buffer=（长双精度*）malloc（sizeof（长双精度）*元素）；
if（buffer==NULL）{
printf（“处理器%d-无法malloc（）\n”，我的id）；
MPI_Finalize（）；
出口（1）；
}
MPI_屏障（MPI_通信世界）；
if（my_id==1）
gettimeofday（&start，&tzp）；
对于（int i=0；i

---

我重复发送和接收

numiteration

次，但我没有关于初始化成本和实时通信时间的信息。我想知道是否有更好的方法或工具可以更详细地衡量通信成本。

如果您想了解您所描述的详细程度，您可能需要深入了解MPI库本身的实现。您要衡量的是沟通对应用程序的影响。但是，通信中可能涉及的内容比取决于您的基础设施的内容更多。有些网络可以在不涉及应用程序的情况下取得进展，有些MPI库也可以使用线程异步地在消息上取得进展

如何度量这些东西将取决于您的系统和上述约束。如果您只关心应用程序在阻塞通信调用上花费了多少时间，那么您或多或少已经做到了这一点。您可以使用其他跟踪工具来完成类似的事情（HPCtoolkit是我在过去使用过的工具）

---

如果您想获得关于引擎盖下正在发生的事情的更详细信息，您必须在实现内部进行探索，并开始在内部进行检测（假设您使用的是开源实现，如MPICH或open MPI）。这是一个更复杂的过程，机制将从一个实现更改到另一个实现。

如果您想了解所描述的详细程度，可能必须深入到MPI库本身的实现。您要衡量的是沟通对应用程序的影响。但是，通信中可能涉及的内容比取决于您的基础设施的内容更多。有些网络可以在不涉及应用程序的情况下取得进展，有些MPI库也可以使用线程异步地在消息上取得进展

如何度量这些东西将取决于您的系统和上述约束。如果您只关心应用程序在阻塞通信调用上花费了多少时间，那么您或多或少已经做到了这一点。您可以使用其他跟踪工具来完成类似的事情（HPCtoolkit是我在过去使用过的工具）

---

如果您想获得关于引擎盖下正在发生的事情的更详细信息，您必须在实现内部进行探索，并开始在内部进行检测（假设您使用的是开源实现，如MPICH或open MPI）。这是一个更复杂的过程，机制将从一个实现改变到另一个实现。

现代性与此无关（尽管MPI仍然存在，并且随着今年新版本的规范的发布）。MPI和线程完成不同的任务，用于解决不同的问题。@WesleyBland，据我所知，TBB用于共享内存系统，不支持分布式系统。现代性与此无关（尽管MPI仍然存在，并且随着今年新版本规范的发布）。MPI和线程完成不同的任务，用于解决不同的问题。@WesleyBland，据我所知，TBB用于共享内存系统，不支持分布式系统。