• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            Benjamin

            靜以修身,儉以養德,非澹薄無以明志,非寧靜無以致遠。
            隨筆 - 398, 文章 - 0, 評論 - 196, 引用 - 0
            數據加載中……

            數據采集搜索平臺 Gather Platform(網絡爬蟲)在win10部署

            1、安裝 JDK 8 以上版本, ORACLE,需要設置環境變量JAVA_HOME; 下載安裝Mvnen,down maven,將mvn路徑加入到環境變量Path
            2、下載并安裝Elasticsearch 5.2.2, elastic.co ,版本必須是5.2.2,不要選最新的。
            3、安裝ansj-elasticsearch插件, github;這里不需要編譯安裝,直接下載插件
                 進入Elasticsearch目錄運行如下命令 ./bin/elasticsearch-plugin install https://github.com/NLPchina/elasticsearch-analysis-ansj/releases/download/v5.2.2/elasticsearch-analysis-ansj-5.2.2.0-release.zip
                 運行Elasticsearch
            4、安裝Tomcat 8, Apache Tomcat,安裝路徑中不能有空格,最好是英文目錄
            5、下載本項目源碼包  spider
                   main/src/resource/staticvalue.json 配置文件, 將 needEs 配置項改為true
                   main/src/resource/mvc-dispatcher-servlet.xml 配置文件,找到輸出源配置項,按照下面進行配置:
                 <property name="pipelineList">
                     <list>
                         <ref bean="commonWebpagePipeline"/>
                         <!--<ref bean="jsonFilePipeline"/>-->
                     </list>
                 </property>
                  這樣的配置就是不再向Json文件進行輸出,而將數據輸出至ES進行存儲.
                  執行 mvn package 編譯打包
            6、將spider.war放入Tomcat下面的webapp文件夾
                 運行tomcat
            7、安裝phantomjs,然后下載腳本https://raw.githubusercontent.com/gsh199449/spider/master/ajaxDownloader/phantomjs_fetcher.js。
                 建議將此腳本放在phantomjs的bin目錄下。需要注意的是,phantomjs需要安裝在不包含空格和中文的路徑下。 
                 安裝完畢之后,使用phantomjs啟動此腳本即可,啟動時需要帶一個端口參數,建議值:7788.啟動命令:phantomjs.exe phantomjs_fetcher.js 7788
                 如果ajax渲染器與采集平臺不在同一臺機器或者不使用此端口(7788),需要在src/resource/staticvalue.json 配置文件中修改。
            8、localhost:8080/spider進入數采頁面(需要啟動Elasticsearch、tomcat、phantomjs)

            注意:Elasticsearch版本必須是5.2.2,tomcat的安裝目錄必須不能有空格。

            posted on 2019-01-05 21:40 Benjamin 閱讀(838) 評論(0)  編輯 收藏 引用 所屬分類: 雜談

            久久久久久久波多野结衣高潮| 亚洲国产精品无码久久| 91久久精品无码一区二区毛片| 国产成人香蕉久久久久| 日韩影院久久| 77777亚洲午夜久久多喷| 久久国产视频99电影| 伊人久久大香线蕉AV色婷婷色| 久久综合九色综合久99| 欧美日韩精品久久免费| 91精品国产91久久久久久| 2021最新久久久视精品爱| 9999国产精品欧美久久久久久 | 国产A三级久久精品| 久久99精品综合国产首页| 精品多毛少妇人妻AV免费久久| 久久―日本道色综合久久| 精品蜜臀久久久久99网站| 亚洲国产精品无码久久九九| 国产精品激情综合久久| 久久国产乱子伦免费精品| 亚洲人成精品久久久久| 无码8090精品久久一区| 国产精品久久久久久久午夜片| 国产69精品久久久久777| 亚洲香蕉网久久综合影视| 久久91精品国产91| 三级三级久久三级久久| 四虎国产精品成人免费久久| 久久综合九色欧美综合狠狠 | 国内精品久久久久影院免费| 亚洲精品乱码久久久久久按摩 | 亚洲中文字幕无码久久2020 | 国产精品久久成人影院| 97精品伊人久久大香线蕉app| 亚洲AV无码一区东京热久久| 中文无码久久精品| 国产成人精品免费久久久久| 久久久久久久99精品免费观看| 青青青青久久精品国产| 久久精品国产精品亜洲毛片|