1. 快捷導航
            本帖最后由 ym 于 2017-2-13 16:19 編輯

            一、什么是相同網頁結構
            相同的網頁結構是指網頁布局、組成、顯示樣式都一樣,只有信息是不同的網頁頁面,這里的比較是針對同一個網站上的網頁,不同網站的網頁結構都是不同的。

            例如:
            下面兩部電影的豆瓣影評頁面就是相同的網頁結構,分別打開兩個網址,可以看到上下左右的布局、組成、顯示樣式都一模一樣,不同的只是一個是泰坦尼克的影評,另一個是這個殺手不太冷的影評,它們都是豆瓣影評的網頁,網頁結構也是相同的,所以可以用一個爬蟲程序(采集規則)來批量采集。
            泰坦尼克號的影評 https://movie.douban.com/subject/1292722/reviews

            這個殺手不太冷的影評 https://movie.douban.com/subject/1295644/reviews


            二、如何批量采集
            2.1,使用數據DIY上面現成的爬蟲程序(選擇目錄:類別->網站->頁面),查看樣本網址就可以知道網頁結構,把相同網頁結構的其他網址點擊“輸入多條網址”就可以批量采集。

            2.2,下載集搜客爬蟲,通過學習《從入門到精通》章節的教程,掌握制作采集規則的技能,就可以對想要采集的網頁做采集規則,再把相同結構的網址添加到規則里,實現批量采集。

            舉報 使用道具
            | 回復

            共 7 個關于本帖的回復 最后回復于 2020-1-3 16:06

            沙發
            mycar001 初級會員 發表于 2017-7-24 17:41:40 | 只看該作者
            詳情頁是相同網頁結構的網頁,有n個,難道要放n個網址嗎?
            舉報 使用道具
            板凳
            shengchengx 金牌會員 發表于 2017-7-24 17:53:59 | 只看該作者
            mycar001 發表于 2017-7-24 17:41
            詳情頁是相同網頁結構的網頁,有n個,難道要放n個網址嗎?

            通過采集列表頁的鏈接,上下級會自動添加線索采集詳細頁
            舉報 使用道具
            地板
            winderflier 初級會員 發表于 2018-7-26 23:38:04 | 只看該作者
            請問如何利用自己的規則來批量采相同網頁信息
            舉報 使用道具
            5#
            Arie-X 中級會員 發表于 2018-7-27 07:07:04 | 只看該作者
            在打數機,右擊主題名,選擇 管理線索-添加,然后把待采集網頁的網址添加進去,可批量添加
            舉報 使用道具
            6#
            CMFRZZ 新手上路 發表于 2020-1-3 15:21:15 | 只看該作者
            如何采集評論數量
            舉報 使用道具
            7#
            CMFRZZ 新手上路 發表于 2020-1-3 15:21:33 | 只看該作者
            只需要顯示評論數量 而不是評論內容 如何采集

            舉報 使用道具
            8#
            wangyong 版主 發表于 2020-1-3 16:06:52 | 只看該作者
            是什么網站的評論數,頁面上有顯示評論數的話直接做采集規則采集評論數就可以了,參考教程:http://www.laborcompanion.com/doc/article-340-1.html
            舉報 使用道具
            您需要登錄后才可以回帖 登錄 | 立即注冊

            精彩推薦

            • 對共詞關系求協方差矩陣后再用Girvan-Newma
            • 社區發現算法Girvan-Newman(GN)是否能應用
            • 使用GooSeeker分詞和Gephi進行中文文本分析
            • Gephi社會網絡分析-網絡圖的統計
            • 范文:亞運短視頻對杭州城市形象的建構研究

            熱門用戶

            GMT+8, 2022-11-23 11:10

            欧美一级午夜福利免费区