青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

Benjamin

靜以修身,儉以養德,非澹薄無以明志,非寧靜無以致遠。
隨筆 - 398, 文章 - 0, 評論 - 196, 引用 - 0
數據加載中……

數據采集搜索平臺 Gather Platform(網絡爬蟲)在win10部署

1、安裝 JDK 8 以上版本, ORACLE,需要設置環境變量JAVA_HOME; 下載安裝Mvnen,down maven,將mvn路徑加入到環境變量Path
2、下載并安裝Elasticsearch 5.2.2, elastic.co ,版本必須是5.2.2,不要選最新的。
3、安裝ansj-elasticsearch插件, github;這里不需要編譯安裝,直接下載插件
     進入Elasticsearch目錄運行如下命令 ./bin/elasticsearch-plugin install https://github.com/NLPchina/elasticsearch-analysis-ansj/releases/download/v5.2.2/elasticsearch-analysis-ansj-5.2.2.0-release.zip
     運行Elasticsearch
4、安裝Tomcat 8, Apache Tomcat,安裝路徑中不能有空格,最好是英文目錄
5、下載本項目源碼包  spider
       main/src/resource/staticvalue.json 配置文件, 將 needEs 配置項改為true
       main/src/resource/mvc-dispatcher-servlet.xml 配置文件,找到輸出源配置項,按照下面進行配置:
     <property name="pipelineList">
         <list>
             <ref bean="commonWebpagePipeline"/>
             <!--<ref bean="jsonFilePipeline"/>-->
         </list>
     </property>
      這樣的配置就是不再向Json文件進行輸出,而將數據輸出至ES進行存儲.
      執行 mvn package 編譯打包
6、將spider.war放入Tomcat下面的webapp文件夾
     運行tomcat
7、安裝phantomjs,然后下載腳本https://raw.githubusercontent.com/gsh199449/spider/master/ajaxDownloader/phantomjs_fetcher.js。
     建議將此腳本放在phantomjs的bin目錄下。需要注意的是,phantomjs需要安裝在不包含空格和中文的路徑下。 
     安裝完畢之后,使用phantomjs啟動此腳本即可,啟動時需要帶一個端口參數,建議值:7788.啟動命令:phantomjs.exe phantomjs_fetcher.js 7788
     如果ajax渲染器與采集平臺不在同一臺機器或者不使用此端口(7788),需要在src/resource/staticvalue.json 配置文件中修改。
8、localhost:8080/spider進入數采頁面(需要啟動Elasticsearch、tomcat、phantomjs)

注意:Elasticsearch版本必須是5.2.2,tomcat的安裝目錄必須不能有空格。

posted on 2019-01-05 21:40 Benjamin 閱讀(850) 評論(0)  編輯 收藏 引用 所屬分類: 雜談

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            国产精品成人播放| 日韩视频一区二区三区在线播放免费观看 | 亚洲综合精品| 亚洲欧美日韩国产综合精品二区| 亚洲精品国久久99热| 欧美成年人网站| 欧美激情bt| 亚洲裸体视频| 亚洲欧美美女| 久久亚洲综合| 欧美日韩亚洲高清一区二区| 欧美精品七区| 国产精品国产三级国产普通话三级| 欧美日韩精品系列| 国产精品一级二级三级| 国产亚洲福利一区| 激情五月婷婷综合| 99精品视频免费| 一区二区三区欧美视频| 中文高清一区| 欧美一区二粉嫩精品国产一线天| 久久久久综合| 午夜影院日韩| 久久精品成人一区二区三区蜜臀 | 亚洲视频在线观看免费| 欧美亚洲视频在线观看| 毛片一区二区三区| 国产精品久久久99| 亚洲大胆视频| 性欧美video另类hd性玩具| 久久亚洲一区| av成人激情| 欧美国产日韩一区二区在线观看 | 亚洲二区在线| 亚洲一二三区精品| 欧美jizz19性欧美| 国产欧美一区在线| 久久先锋资源| 国产精品日韩欧美综合| 亚洲国产日韩欧美| 久久久综合精品| 亚洲午夜精品| 欧美成人午夜免费视在线看片| 亚洲黄色在线观看| 欧美在线视频不卡| 欧美色欧美亚洲高清在线视频| 激情综合电影网| 欧美一级大片在线观看| 最新高清无码专区| 久久久亚洲午夜电影| 国产毛片一区二区| 亚洲深夜福利网站| 亚洲国产精品国自产拍av秋霞 | 欧美大片免费观看| 国产日韩av一区二区| 中日韩视频在线观看| 欧美v日韩v国产v| 性久久久久久久久| 国产精品欧美久久久久无广告| 91久久精品国产91久久| 久热re这里精品视频在线6| 亚洲午夜国产成人av电影男同| 欧美女主播在线| 日韩视频三区| 亚洲日本中文字幕免费在线不卡| 久久久久久亚洲综合影院红桃| 国产精品一区二区久久国产| 亚洲激情第一页| 久久久久久国产精品mv| 午夜精品理论片| 国产欧美综合一区二区三区| 午夜精品久久久久久久| 亚洲深夜福利视频| 国产精品视频一区二区三区| 亚洲欧美日韩国产一区二区| 在线视频日本亚洲性| 国产精品久久久久影院亚瑟 | 欧美成人日韩| 久久一区免费| 亚洲激情国产| 亚洲国产片色| 欧美日韩日本国产亚洲在线| 99亚洲精品| 亚洲天堂第二页| 国产麻豆精品视频| 久久久噜噜噜久噜久久| 久久天天躁狠狠躁夜夜av| 亚洲国产日韩在线| 亚洲美女色禁图| 国产精品视频免费观看| 久久成人18免费观看| 久久久久高清| 亚洲美女av黄| 久久性天堂网| 欧美精品aa| 欧美一区激情| 欧美大片免费看| 亚洲欧美日韩区| 久久综合国产精品台湾中文娱乐网| 欧美午夜电影完整版| 久久综合成人精品亚洲另类欧美| 亚洲激情中文1区| 亚洲精品视频一区二区三区| 欧美午夜激情视频| 久久久久久久久久久久久女国产乱| 久久精品国产免费| 日韩网站免费观看| 久久成人一区二区| 一本色道久久88综合日韩精品 | 国产欧美三级| 亚洲国产精品一区二区三区| 国产精品国产三级国产 | 欧美激情精品久久久久久久变态| 欧美美女福利视频| 久久久美女艺术照精彩视频福利播放 | 91久久中文| 国产一区日韩一区| 日韩一级黄色av| 在线观看日韩av电影| 亚洲视频观看| 亚洲精品日韩激情在线电影| 亚洲欧美精品伊人久久| 99国产精品99久久久久久| 欧美在线精品一区| 亚洲综合成人在线| 欧美精品在线一区二区| 麻豆精品一区二区综合av| 国产精品www色诱视频| 欧美国产一区视频在线观看| 国产亚洲成av人在线观看导航| 91久久精品日日躁夜夜躁欧美| 国产香蕉97碰碰久久人人| 一区二区高清在线观看| 亚洲激情精品| 久久婷婷亚洲| 久久爱www.| 国产欧美69| 亚洲一区欧美| 亚洲欧美日韩一区二区在线| 欧美乱人伦中文字幕在线| 欧美国产亚洲精品久久久8v| 欧美激情片在线观看| 免费在线看一区| 在线精品视频一区二区| 久久久av毛片精品| 久久夜色精品| 在线观看欧美视频| 久久婷婷综合激情| 欧美激情无毛| 99综合精品| 国产精品h在线观看| 99视频精品免费观看| 亚洲五月六月| 国产精品丝袜久久久久久app| 亚洲永久字幕| 久久久久久亚洲精品中文字幕 | 老司机午夜精品| 欧美激情在线狂野欧美精品| 亚洲大片免费看| 欧美不卡视频| 日韩视频永久免费| 亚洲欧美综合另类中字| 国产美女精品视频| 久久国产黑丝| 亚洲国产经典视频| 在线视频中文亚洲| 国产精品海角社区在线观看| 国产精品99久久久久久久女警| 亚洲欧美国产日韩天堂区| 欧美伊人精品成人久久综合97| 久久久精品性| 亚洲欧洲精品一区二区三区不卡| 欧美福利视频一区| 亚洲深夜福利视频| 老牛国产精品一区的观看方式| 91久久嫩草影院一区二区| 欧美精品18+| 亚洲欧美视频一区二区三区| 蜜臀a∨国产成人精品 | 亚洲一区国产| 国产日韩视频| 欧美激情一区| 午夜精品久久久久久久久| 欧美1区2区| 尤物九九久久国产精品的分类| 欧美黄色网络| 久久大香伊蕉在人线观看热2| 亚洲激情在线观看视频免费| 欧美一区二区私人影院日本| 亚洲国产一区二区三区青草影视 | 亚洲一区二区三区视频播放| 精品二区久久| 国产精品乱码人人做人人爱| 女人色偷偷aa久久天堂| 小嫩嫩精品导航| 99精品国产一区二区青青牛奶| 欧美成ee人免费视频| 久久久久久久久久看片| 亚洲色图综合久久| 亚洲人成人一区二区在线观看 |