Tensorflow 如何在Cloud TPU v2中使用2.0班训练BERT模型？

免责声明：我对神经网络和Tensorflow非常陌生

我试图创建一个QA应用程序，其中用户提出问题，应用程序给出答案。我尝试的大多数传统方法都不起作用，或者不够准确，或者需要人工干预。我当时正在研究无监督的QA应用程序，那是我偶然发现的

正如谷歌宣称的那个样，这是最先进的神经网络模型，在2.0队的领队中获得了最高的分数。我希望将此模型用于我的应用程序，并测试其性能

我已经在中创建了Windows 2012数据中心版虚拟机，我已经使用

我有云存储

我如何训练BERT大型无基础模型

如果我错了，请随时纠正我，我理解云TPU只是一个类似CPU或GPU的设备。然而，如果你阅读，他们解释说云TPU是一个虚拟机（“在云TPU上，你可以运行BERT Large as…”）

如中所述，我在哪里跑步

如何为此参数从虚拟机访问存储桶文件

---

外部IP地址是否为

$TPU\U NAME

环境变量的值？

因此TPU当前仅从GCS读取。您下载的模型应该上传到您自己创建的另一个GCS存储桶中。这就是TPU访问

vocab_文件

和其他文件的方式

我如何在VM中说这个示例就是我试图访问的bucket？我试图通过创建一个值为“gs://example”的环境变量来实现这一点。它引发了一个错误。您应该尝试访问由环境变量定义的存储桶。如果您来到这里，您应该会看到，例如，如果您试图使用基本模型，您需要执行导出BERT_BASE_DIR=gs://BERT_models/2018_10_18/uncased_L-12_H-768_A-12。

python run_squad.py \
  --vocab_file=$BERT_LARGE_DIR/vocab.txt \
  --bert_config_file=$BERT_LARGE_DIR/bert_config.json \
  --init_checkpoint=$BERT_LARGE_DIR/bert_model.ckpt \
  --do_train=True \
  --train_file=$SQUAD_DIR/train-v2.0.json \
  --do_predict=True \
  --predict_file=$SQUAD_DIR/dev-v2.0.json \
  --train_batch_size=24 \
  --learning_rate=3e-5 \
  --num_train_epochs=2.0 \
  --max_seq_length=384 \
  --doc_stride=128 \
  --output_dir=gs://some_bucket/squad_large/ \
  --use_tpu=True \
  --tpu_name=$TPU_NAME \
  --version_2_with_negative=True