用Java实现Google图像的Web抓取

我的任务是制作一个应用程序，用户用它来搜索他们查询的三张图片。它可以用任何语言编写，有人建议使用Python。然而，我的Python GUI技能很差，我最熟悉Java，并且我已经下载了EclipseSWT包，我打算使用它

好的，到目前为止你做了什么

我用他们的示例代码制作了一个简单的web浏览器。我让它将Google图片显示为主页，并打算使用JavaScript/jQuery自动填写他们的查询，并返回前三张图片。（我还计划以某种方式使用JavaScript/jQuery返回这三张图片。）

根据Eclipse SWT的文档，

evaluate（）

，

execute（）

用于评估、执行JavaScript：

以下是我使用的代码：

import org.eclipse.swt.*;
import org.eclipse.swt.browser.Browser;
import org.eclipse.swt.browser.LocationEvent;
import org.eclipse.swt.browser.LocationListener;
import org.eclipse.swt.browser.ProgressEvent;
import org.eclipse.swt.browser.ProgressListener;
import org.eclipse.swt.browser.StatusTextEvent;
import org.eclipse.swt.layout.GridData;
import org.eclipse.swt.layout.GridLayout;
import org.eclipse.swt.widgets.Display;
import org.eclipse.swt.widgets.Event;
import org.eclipse.swt.widgets.Label;
import org.eclipse.swt.widgets.Listener;
import org.eclipse.swt.widgets.ProgressBar;
import org.eclipse.swt.widgets.Shell;
import org.eclipse.swt.widgets.Text;
import org.eclipse.swt.widgets.ToolBar;
import org.eclipse.swt.widgets.ToolItem;
public class BrowserCodeDemo {

    public static void main(String[] args) {
        Display display = new Display();
        final Shell shell = new Shell(display);
        GridLayout gridLayout = new GridLayout();
        gridLayout.numColumns = 3;
        shell.setLayout(gridLayout);
        ToolBar toolbar = new ToolBar(shell, SWT.NONE);
        ToolItem itemBack = new ToolItem(toolbar, SWT.PUSH);
        itemBack.setText("Back");
        ToolItem itemForward = new ToolItem(toolbar, SWT.PUSH);
        itemForward.setText("Forward");
        ToolItem itemStop = new ToolItem(toolbar, SWT.PUSH);
        itemStop.setText("Stop");
        ToolItem itemRefresh = new ToolItem(toolbar, SWT.PUSH);
        itemRefresh.setText("Refresh");
        ToolItem itemGo = new ToolItem(toolbar, SWT.PUSH);
        itemGo.setText("Go");

        GridData data = new GridData();
        data.horizontalSpan = 3;
        toolbar.setLayoutData(data);

        Label labelAddress = new Label(shell, SWT.NONE);
        labelAddress.setText("Address");

        final Text location = new Text(shell, SWT.BORDER);
        data = new GridData();
        data.horizontalAlignment = GridData.FILL;
        data.horizontalSpan = 2;
        data.grabExcessHorizontalSpace = true;
        location.setLayoutData(data);

        final Browser browser;
        try {
            browser = new Browser(shell, SWT.NONE);
        } catch (SWTError e) {
            System.out.println("Could not instantiate Browser: " + e.getMessage());
            display.dispose();
            return;
        }
        data = new GridData();
        data.horizontalAlignment = GridData.FILL;
        data.verticalAlignment = GridData.FILL;
        data.horizontalSpan = 3;
        data.grabExcessHorizontalSpace = true;
        data.grabExcessVerticalSpace = true;
        browser.setLayoutData(data);

        final Label status = new Label(shell, SWT.NONE);
        data = new GridData(GridData.FILL_HORIZONTAL);
        data.horizontalSpan = 2;
        status.setLayoutData(data);

        final ProgressBar progressBar = new ProgressBar(shell, SWT.NONE);
        data = new GridData();
        data.horizontalAlignment = GridData.END;
        progressBar.setLayoutData(data);

        /* event handling */
        Listener listener = new Listener() {
            @Override
            public void handleEvent(Event event) {
                ToolItem item = (ToolItem)event.widget;
                String string = item.getText();
                if (string.equals("Back")) browser.back(); 
                else if (string.equals("Forward")) browser.forward();
                else if (string.equals("Stop")) browser.stop();
                else if (string.equals("Refresh")) browser.refresh();
                else if (string.equals("Go")) browser.setUrl(location.getText());
           }
        };
        browser.addProgressListener(new ProgressListener() {
            @Override
            public void changed(ProgressEvent event) {
                    if (event.total == 0) return;                            
                    int ratio = event.current * 100 / event.total;
                    progressBar.setSelection(ratio);
            }
            @Override
            public void completed(ProgressEvent event) {
                progressBar.setSelection(0);
            }
        });

        browser.addLocationListener(new LocationListener() {
            @Override
            public void changed(LocationEvent event) {
                if (event.top) location.setText(event.location);
            }
            @Override
            public void changing(LocationEvent event) 
            {
                //System.out.println("Something is happening.");
            }

        });
        itemBack.addListener(SWT.Selection, listener);
        itemForward.addListener(SWT.Selection, listener);
        itemStop.addListener(SWT.Selection, listener);
        itemRefresh.addListener(SWT.Selection, listener);
        itemGo.addListener(SWT.Selection, listener);
        location.addListener(SWT.DefaultSelection, new Listener() {
            @Override
            public void handleEvent(Event e) 
            {
                browser.setUrl(location.getText());
                System.out.println("New URL loaded");
            }
        });

        shell.open();
        browser.setUrl(
            "https://www.google.com/imghp?hl=en&tab=wi&ei=m8g4VLndMaz4igKlvoDADg&ved=0CAMQqi4oAQ");
        //browser.setVisible(false);
        boolean jQueryExecuted = browser.execute("$(\'#lst-ib\').val(\'snopes\')");
        if (!jQueryExecuted)
        {
            System.out.println("Your jQuery didn't execute.");
        }
        jQueryExecuted = browser.execute("$(\'[name=btnG]\').click()");
        if (!jQueryExecuted)
        {
            System.out.println("Your jQuery didn't execute.");
        }
        while (!shell.isDisposed()) {
            if (!display.readAndDispatch())
                display.sleep();
        }

        display.dispose();

    }

}

我认为问题不在于代码本身，因为我试图自动设置文本字段，但在Java和我的浏览器中都失败了；/*文本字段的名称为“lst ib”*/

你想在网上搜刮什么？

我正试图通过网络抓取谷歌图片：

---

文本字段是名为“lst ib”的输入。该按钮是一个名为“btnG”的输入。文本字段位于id为“gs_lc0”的div中。（我在那里也看到了多个大小完全相同的其他输入元素）。

噢，哇。已经10个小时了，除了我，没有人在这里发表过如此多的评论。事实证明，问题比我想象的要严重得多：来自EclipseSWT的浏览器无法执行jQuery

幸运的是，我找到了谷歌图像API，它是用JavaScript编写的，虽然已被弃用，但仍然有效。另外，我在页面上找到了一些简单的源代码：

我将

newImg.src=“/image search/v1/result.tbUrl；”

更改为

newImg.src=result.tbUrl以便加载图像。这改变了一切


你的新计划是什么？

我现在计划使用来自Java的代码。我计划将src更改为src，这是JavaScript代码使用的googleimageapi，然后调用代码来获取前三个图像。显然，这就是从Java运行JavaScript的方式：。如果我能找出如何将Java使用的JavaScript引擎的src改为：
val（），出于某种原因，输入字段返回未定义，为什么没有人响应？我甚至可以用HTML编写代码（基于我在这里提到的HTML），让Java将整个文件读入字符串，通过
Browser.setText（HTML）将浏览器HTML设置为该字符串
然后，当用户单击按钮查找图像时，使用
Browser.execute（'userQuery'）显示图像。。。