• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            Benjamin

            靜以修身,儉以養德,非澹薄無以明志,非寧靜無以致遠。
            隨筆 - 397, 文章 - 0, 評論 - 196, 引用 - 0
            數據加載中……

            數據采集搜索平臺 Gather Platform(網絡爬蟲)在win10部署

            1、安裝 JDK 8 以上版本, ORACLE,需要設置環境變量JAVA_HOME; 下載安裝Mvnen,down maven,將mvn路徑加入到環境變量Path
            2、下載并安裝Elasticsearch 5.2.2, elastic.co ,版本必須是5.2.2,不要選最新的。
            3、安裝ansj-elasticsearch插件, github;這里不需要編譯安裝,直接下載插件
                 進入Elasticsearch目錄運行如下命令 ./bin/elasticsearch-plugin install https://github.com/NLPchina/elasticsearch-analysis-ansj/releases/download/v5.2.2/elasticsearch-analysis-ansj-5.2.2.0-release.zip
                 運行Elasticsearch
            4、安裝Tomcat 8, Apache Tomcat,安裝路徑中不能有空格,最好是英文目錄
            5、下載本項目源碼包  spider
                   main/src/resource/staticvalue.json 配置文件, 將 needEs 配置項改為true
                   main/src/resource/mvc-dispatcher-servlet.xml 配置文件,找到輸出源配置項,按照下面進行配置:
                 <property name="pipelineList">
                     <list>
                         <ref bean="commonWebpagePipeline"/>
                         <!--<ref bean="jsonFilePipeline"/>-->
                     </list>
                 </property>
                  這樣的配置就是不再向Json文件進行輸出,而將數據輸出至ES進行存儲.
                  執行 mvn package 編譯打包
            6、將spider.war放入Tomcat下面的webapp文件夾
                 運行tomcat
            7、安裝phantomjs,然后下載腳本https://raw.githubusercontent.com/gsh199449/spider/master/ajaxDownloader/phantomjs_fetcher.js。
                 建議將此腳本放在phantomjs的bin目錄下。需要注意的是,phantomjs需要安裝在不包含空格和中文的路徑下。 
                 安裝完畢之后,使用phantomjs啟動此腳本即可,啟動時需要帶一個端口參數,建議值:7788.啟動命令:phantomjs.exe phantomjs_fetcher.js 7788
                 如果ajax渲染器與采集平臺不在同一臺機器或者不使用此端口(7788),需要在src/resource/staticvalue.json 配置文件中修改。
            8、localhost:8080/spider進入數采頁面(需要啟動Elasticsearch、tomcat、phantomjs)

            注意:Elasticsearch版本必須是5.2.2,tomcat的安裝目錄必須不能有空格。

            posted on 2019-01-05 21:40 Benjamin 閱讀(830) 評論(0)  編輯 收藏 引用 所屬分類: 雜談

            久久热这里只有精品在线观看| AV无码久久久久不卡蜜桃| 久久人人爽人人澡人人高潮AV| 97久久精品人人澡人人爽| 精品99久久aaa一级毛片| 亚洲成av人片不卡无码久久| 综合久久国产九一剧情麻豆| 青青草国产精品久久| 久久久精品视频免费观看| 伊人伊成久久人综合网777| 亚洲va久久久噜噜噜久久男同 | A级毛片无码久久精品免费| 久久一区二区三区免费| 中文字幕热久久久久久久| 久久国产乱子精品免费女| 国产成人综合久久精品红| 大香网伊人久久综合网2020| 久久无码AV一区二区三区| 免费国产99久久久香蕉| 国内精品久久久久影院薰衣草 | 国内精品久久久久久久久电影网 | 精品久久8x国产免费观看| 欧美日韩精品久久久久| 国产99久久精品一区二区| 亚洲中文字幕久久精品无码喷水 | 国产AⅤ精品一区二区三区久久| 久久亚洲国产精品成人AV秋霞| 国産精品久久久久久久| 精品久久久久久综合日本| 狠狠色婷婷久久一区二区三区| 欧美黑人激情性久久| 欧美粉嫩小泬久久久久久久 | 婷婷久久综合九色综合98| 99久久做夜夜爱天天做精品| 久久无码精品一区二区三区| 久久精品一区二区三区不卡| 精品久久久久久久久午夜福利| 婷婷久久久亚洲欧洲日产国码AV| 久久久久久精品久久久久| 7777精品伊人久久久大香线蕉| 久久久这里只有精品加勒比|