Javascript Heroku Twitter API应用程序部署

Javascript Heroku Twitter API应用程序部署,javascript,node.js,api,heroku,twitter,Javascript,Node.js,Api,Heroku,Twitter,我最近通过Heroku成功部署了node.js服务器,可以在这里找到该机器: 它基本上是与Twitter的API通信,每次从我预定义的一组参数(在本例中是tweets的ID)接收到tweet时都会更新.csv文件。然后,我使用D3.js显示该CSV以可视化数据 数据正在使用D3 javascript库拉入。。。 d3.queue().defer(d3.csv,“public/data/twitterData.csv”).wait(update) 然后,更新回调函数被传递数据,并创建我的可视化 我

我最近通过Heroku成功部署了node.js服务器,可以在这里找到该机器:

它基本上是与Twitter的API通信,每次从我预定义的一组参数(在本例中是tweets的ID)接收到tweet时都会更新.csv文件。然后,我使用D3.js显示该CSV以可视化数据

数据正在使用D3 javascript库拉入。。。
d3.queue().defer(d3.csv,“public/data/twitterData.csv”).wait(update)

然后,更新回调函数被传递数据,并创建我的可视化

我有两个问题:

  • 我无法让应用程序在后台运行,网页未打开时仍会更新CSV。我希望Twitter API能够继续与我的应用程序通信,这样数据就会随着时间的推移而积累,而不需要有人打开页面。它是通过Twitter的流API获取的

  • 重新加载应用程序会使我的CSV清除回标题下的一行数据,这是我在初始构建中输入的。此外,当我将文件克隆到桌面时,公用文件夹中的CSV不会显示从Twitter获取的任何新数据

  • 在Heroku应用程序页面上,我的日志显示正在添加数据。此时会出现“文件已保存”消息,当fs.appendFile将一行添加到我的CSV时,我会在代码中触发该消息。以下是信息:

    如您所见,CSV文件位于我的应用程序的公用文件夹中。我如何确保在应用程序退出后1)服务器继续运行,2)保存对我的CSV的更改?

    以下是我的部分代码:

    var param = {follow: '21111098,958191744683782144,18061669,21111098,18061669,2891210047,1869975300,19394188,4107251,16056306,259459455,21111098,18061669,2891210047,1869975300,19394188,4107251,16056306,259459455,968650362,343041182,5558312,111671288,476256944,378631423,803694179079458816,30354991,224285242,45645232,235217558,20879626,150078976,278124059,102477372,249787913,381577682,15324851,435500714,823302838524739584,20597460,555355209,15745368,229966028,3001665106,2863210809,1397501864,78403308,253252536,47747074}
    var followIds = ['21111098','958191744683782144','18061669','21111098','18061669','2891210047','1869975300','19394188','4107251','16056306','259459455','21111098','18061669','2891210047','1869975300','19394188','4107251','16056306','259459455','968650362','343041182','5558312','111671288','476256944','378631423','803694179079458816','30354991','224285242']
    
    twitterClient.stream('statuses/filter',param,function(stream) {
     stream.on('data', function(tweet) {
    
     const fields = ["name","text","URL","time"]
    
     for(i = 0; i <followIds.length; i++){
       if(followIds[i] == tweet.user.id_str){ // if so, get contents
    
        // WRITE TO CSV HERE:
       let name = tweet.user.name;
       let text = tweet.text;
       let URL = `https://twitter.com/${tweet.user.screen_name}/status/${tweet.id_str}`
       let time = tweet.created_at;
    
        update = [{name,text,URL,time}]
    
        var toCsv = { 
            data: update, 
            fields: fields, 
            hasCSVColumnTitle: false
        };
    
        var csv = json2csv(toCsv) + "\r\n";
    
        fs.appendFile('public/data/twitterData.csv',csv,function(err){
            if (err) throw err;
            console.log('File Saved')
        })
        }
        }
    });
    
    var参数={如下:'211110989581917446837821441806166211110988180616692891210047186997530019394188410725116056259445521110981806166928912100471869975300193941884107251160562594594559650362341825551611167128476256448631423803694179079481630549912242852445522352175582087961500789762781249102477372,249787913,381577682,15324851,435500714,823302838524739584,20597460,555355209,15745368,229966028,3001665106,2863210809,1397501864,78403308,253252536,47747074}
    变量followIds=['21111098','958191744683782144','18061669','21111098','18061669','2891210047','1869975300','19394188','4107251','16056306','259459455','21111098','18061669','2891210047','1869975300','19394188','4107251','16056306','259459455','968650362','343041182','5558312','111671288','476256944','378631423','803694179079458816','30354991','224285242']
    twitterClient.stream('status/filter',param,function(stream){
    stream.on('data',函数(tweet){
    常量字段=[“名称”、“文本”、“URL”、“时间”]
    对于(i=0;i
    
  • 我认为解决您的问题的方法是启动一个“后台工作”——这使您的长期运行的应用程序逻辑超出了正常的HTTP请求/响应周期

  • Heroku dynos具有短暂的文件系统,这意味着一旦重新启动应用程序,就会丢失任何临时文件,包括CSV。您可能希望在完成作业后将其推送到更永久的存储中


  • 这个答案的第二部分很有帮助,因为我找到了这个关于更新AmazonS3服务器中存储的文件的教程()在Node中。你知道我在哪里可以找到这些信息吗?我只能用Javascript编写服务器端的东西,因为通常我只在前端工作……这里有另一个SO答案,可以稍微分解一下后台工作。基本上,它只是一个节点应用程序/脚本,你可以根据他们的合作伙伴向Heroku注册注册后,您可以通过正常的HTTP请求/响应处理程序以任何方式触发它。(想到的一种方法是只执行
    heroku运行您的后台作业名