├── .idea ├── Spider_XieCheng.iml ├── deployment.xml ├── inspectionProfiles │ └── profiles_settings.xml ├── misc.xml ├── modules.xml ├── vcs.xml └── workspace.xml ├── README.md ├── chromedriver.exe ├── data ├── result_西湖.csv └── 评论数据.png ├── main.py └── requirements.txt /.idea/Spider_XieCheng.iml: -------------------------------------------------------------------------------- 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | -------------------------------------------------------------------------------- /.idea/deployment.xml: -------------------------------------------------------------------------------- 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | -------------------------------------------------------------------------------- /.idea/inspectionProfiles/profiles_settings.xml: -------------------------------------------------------------------------------- 1 | 2 | 3 | 6 | -------------------------------------------------------------------------------- /.idea/misc.xml: -------------------------------------------------------------------------------- 1 | 2 | 3 | 4 | -------------------------------------------------------------------------------- /.idea/modules.xml: -------------------------------------------------------------------------------- 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | -------------------------------------------------------------------------------- /.idea/vcs.xml: -------------------------------------------------------------------------------- 1 | 2 | 3 | 4 | 5 | 6 | -------------------------------------------------------------------------------- /.idea/workspace.xml: -------------------------------------------------------------------------------- 1 | 2 | 3 | 4 | 6 | 7 | 8 | 13 | 14 | 19 | 20 | 21 | 23 | 24 | 26 | 27 | 28 | 31 | { 32 | "keyToString": { 33 | "RunOnceActivity.OpenProjectViewOnStart": "true", 34 | "RunOnceActivity.ShowReadmeOnStart": "true", 35 | "WebServerToolWindowFactoryState": "true", 36 | "node.js.detected.package.eslint": "true", 37 | "node.js.detected.package.tslint": "true", 38 | "node.js.selected.package.eslint": "(autodetect)", 39 | "node.js.selected.package.tslint": "(autodetect)", 40 | "settings.editor.selected.configurable": "com.jetbrains.python.configuration.PyActiveSdkModuleConfigurable", 41 | "vue.rearranger.settings.migration": "true" 42 | } 43 | } 44 | 45 | 46 | 47 | 67 | 68 | 69 | 89 | 90 | 91 | 92 | 93 | 94 | 95 | 96 | 97 | 98 | 99 | 100 | 1684057325864 101 | 108 | 109 | 110 | 111 | 113 | 114 | 115 | 116 | 117 | -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 | # Spider_XieCheng 2 | Python爬取携程景区评论的相关信息，供学习研究 **有问题直接issues或者juanyantangyu@163.com，论文亦可!!** 3 | 4 | **chromedriver.exe**,下载,这个看自己安装的Google的版本， 5 | 下载解压后放到当前代码路径下。下载地址 http://chromedriver.storage.googleapis.com/index.html 6 | 7 | ## 本项目使用chromed版本：Version 103.0.5060.53 (Official Build) (32-bit)版本要和Chromedriver.exe一致，否则不能使用！！！ 8 | ## 本项目chromedriver.exe匹配版本下载链接：https://www.slimjetbrowser.com/chrome/files/103.0.5060.53/ChromeStandaloneSetup.exe 9 | 10 | **例如：时间、ip属地、文本、评分等！** 11 | 12 | ![数据截图](./data/评论数据.png) 13 | 14 | -------------------------------------------------------------------------------- /chromedriver.exe: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/fengzi1013/Spider_XieCheng/9703cbc181d47d1c6119ec51172e88bda346ef93/chromedriver.exe -------------------------------------------------------------------------------- /data/result_西湖.csv: -------------------------------------------------------------------------------- 1 | ,date,ip属地,评分,comments 2 | 0,2024-02-11,上海,5,如果没有来过杭州西湖的小伙伴可以去乘个船上个岛，现在冬天，岛上可能会觉得有点冷，但是风景还是很不错的。标志性的三潭印月其实是在岛的外围，有好多鸟停在三潭上面，生态很好的样子。钱王祠码头上来，左边走过去不远处就是一个很好的观景点。大家第一个登岛打卡的也是那里。岛上是个田字型的布景，走走拍拍还是很不错的。 3 | 1,2024-02-15,河北,5,欲把西湖比西子，淡妆浓抹总相宜，西湖景色秀丽，每隔几年都会来的，杭州的西湖景区是杭州的著名旅游景点，有很多值得游玩的景点。可以选择性地去一些必打卡的景点，如苏堤春晓、平湖秋月、白堤、雷峰塔等1。建议住宿在龙翔桥、凤起路或定安路附近，交通比较方便2。不建议骑单车和打车游西湖，因为单车骑得会很累，打车会很堵车2。可以选择坐船游览西湖，也可以乘坐观光车游览苏堤-白堤观光区间线 3。如果想徒步游览，可以选择在苏堤站、花港站、岳庙站或曲院风荷站下车步行1。最好在日出日落时刻游玩，可以欣赏到美丽的景色欲把西湖比西子，淡妆浓抹总相宜，西湖景色秀丽，每隔几年都会来的，杭州的西湖景区是杭州的著名旅游景点，有很多值得游玩的景点。可以选择性地去一些必打卡的景点，如苏堤春晓、平湖秋月、白堤、雷峰塔等1。建议住宿在龙翔桥、凤起路或定安路附近，交通比较方便2。不建议骑单车和打车游西湖，因为单车骑得会很累，打车会很堵车2。可以选择坐船游览西湖，也可以乘坐观光车游览苏堤-白堤观光区间线 3。如果想徒步游览，可以选择在苏堤站、花港站、岳庙站或曲院风荷站下车步行1。最好在日出日落时刻游玩，可以欣赏到美丽的景色欲把西湖比西 4 | 2,2024-01-01,浙江,5,船很大，稳，！体验感非常棒，来回的游船+登岛的门票，很划算，游船的工作人员讲解也很详细，岛上从湖滨码头返回就是市区，很方便!园林景观非常美，秋色尽收眼底!会推荐家人朋友来坐西湖游船! 5 | 3,2024-02-12,浙江,5,来杭州了，总是要去一次西湖吧，吹一吹西湖的晚风，走一走当年的断桥，坐一坐游船，瞅一瞅三潭印月。但是人是真的多，西湖附近单双号限行，停车要排队😵‍💫😵‍💫😵‍💫 6 | 4,2024-01-17,浙江,5,太赞了👍主要就是当我在三潭印月岛游玩的时候突然收到工作上的通知，呜呜呜………还有西湖这边好多地方也没逛完，就急急忙忙赶回去了 真的很值得带家人朋友一起来游玩 7 | 5,2024-01-28,江苏,5,这次旅行真的很棒🎉！ 在雷峰塔看到了西湖全景非常美丽，而且我们的导游非常的专业，用其丰富的专业知识和历史背景给我们带来了精彩地解说，为大壮导游点赞👍！ 8 | 6,2024-02-21,广西,5,雨天去的，游客也很多，上船得排队，还好排队的时间没有太长，也建有廊子可以避雨。分段乘坐的，可以选择不同的路线走，一定要做好攻略看看自己要去玩哪些景点。 9 | 7,2024-03-03,北京,5,导游热情周到，西湖秘境也是别有一番风味，和大西湖风格完全不同，静谧的氛围加上人少多植被，有一种神秘且雅致的感觉。非常值得购买体验。 10 | 8,2024-03-02,浙江,5,接近四点才到花港码头，赶着最后一班回钱王祠码头。 实话说，觉得岛上没有太大的趣味，离三潭印月还是有一段距离的，坐摇橹船会近很多。 11 | 9,2024-02-18,浙江,4,今天天气很好，西湖景色怡人。拍照很出片。第一天坐的穿上岛看了三潭印月，结果狂风大作加暴雨，体验感不佳，今天逛完钱王祠，看西湖水很看，又做了个穿看三潭印月果然好看多了，谁说晴西湖不如雨西湖的，我还是喜欢晴天，蓝天白云绿水杨柳堤。不过现在杨柳未发芽。荷花杆杆光秃秃，没有赏到极佳景色，希望有机会再来一次。 12 | 10,2024-02-11,上海,5,如果没有来过杭州西湖的小伙伴可以去乘个船上个岛，现在冬天，岛上可能会觉得有点冷，但是风景还是很不错的。标志性的三潭印月其实是在岛的外围，有好多鸟停在三潭上面，生态很好的样子。钱王祠码头上来，左边走过去不远处就是一个很好的观景点。大家第一个登岛打卡的也是那里。岛上是个田字型的布景，走走拍拍还是很不错的。 13 | 11,2024-02-15,河北,5,欲把西湖比西子，淡妆浓抹总相宜，西湖景色秀丽，每隔几年都会来的，杭州的西湖景区是杭州的著名旅游景点，有很多值得游玩的景点。可以选择性地去一些必打卡的景点，如苏堤春晓、平湖秋月、白堤、雷峰塔等1。建议住宿在龙翔桥、凤起路或定安路附近，交通比较方便2。不建议骑单车和打车游西湖，因为单车骑得会很累，打车会很堵车2。可以选择坐船游览西湖，也可以乘坐观光车游览苏堤-白堤观光区间线 3。如果想徒步游览，可以选择在苏堤站、花港站、岳庙站或曲院风荷站下车步行1。最好在日出日落时刻游玩，可以欣赏到美丽的景色欲把西湖比西子，淡妆浓抹总相宜，西湖景色秀丽，每隔几年都会来的，杭州的西湖景区是杭州的著名旅游景点，有很多值得游玩的景点。可以选择性地去一些必打卡的景点，如苏堤春晓、平湖秋月、白堤、雷峰塔等1。建议住宿在龙翔桥、凤起路或定安路附近，交通比较方便2。不建议骑单车和打车游西湖，因为单车骑得会很累，打车会很堵车2。可以选择坐船游览西湖，也可以乘坐观光车游览苏堤-白堤观光区间线 3。如果想徒步游览，可以选择在苏堤站、花港站、岳庙站或曲院风荷站下车步行1。最好在日出日落时刻游玩，可以欣赏到美丽的景色欲把西湖比西 14 | 12,2024-01-01,浙江,5,船很大，稳，！体验感非常棒，来回的游船+登岛的门票，很划算，游船的工作人员讲解也很详细，岛上从湖滨码头返回就是市区，很方便!园林景观非常美，秋色尽收眼底!会推荐家人朋友来坐西湖游船! 15 | 13,2024-02-12,浙江,5,来杭州了，总是要去一次西湖吧，吹一吹西湖的晚风，走一走当年的断桥，坐一坐游船，瞅一瞅三潭印月。但是人是真的多，西湖附近单双号限行，停车要排队😵‍💫😵‍💫😵‍💫 16 | 14,2024-01-17,浙江,5,太赞了👍主要就是当我在三潭印月岛游玩的时候突然收到工作上的通知，呜呜呜………还有西湖这边好多地方也没逛完，就急急忙忙赶回去了 真的很值得带家人朋友一起来游玩 17 | 15,2024-01-28,江苏,5,这次旅行真的很棒🎉！ 在雷峰塔看到了西湖全景非常美丽，而且我们的导游非常的专业，用其丰富的专业知识和历史背景给我们带来了精彩地解说，为大壮导游点赞👍！ 18 | 16,2024-02-21,广西,5,雨天去的，游客也很多，上船得排队，还好排队的时间没有太长，也建有廊子可以避雨。分段乘坐的，可以选择不同的路线走，一定要做好攻略看看自己要去玩哪些景点。 19 | 17,2024-03-03,北京,5,导游热情周到，西湖秘境也是别有一番风味，和大西湖风格完全不同，静谧的氛围加上人少多植被，有一种神秘且雅致的感觉。非常值得购买体验。 20 | 18,2024-03-02,浙江,5,接近四点才到花港码头，赶着最后一班回钱王祠码头。 实话说，觉得岛上没有太大的趣味，离三潭印月还是有一段距离的，坐摇橹船会近很多。 21 | 19,2024-02-18,浙江,4,今天天气很好，西湖景色怡人。拍照很出片。第一天坐的穿上岛看了三潭印月，结果狂风大作加暴雨，体验感不佳，今天逛完钱王祠，看西湖水很看，又做了个穿看三潭印月果然好看多了，谁说晴西湖不如雨西湖的，我还是喜欢晴天，蓝天白云绿水杨柳堤。不过现在杨柳未发芽。荷花杆杆光秃秃，没有赏到极佳景色，希望有机会再来一次。 22 | 20,2024-02-11,上海,5,如果没有来过杭州西湖的小伙伴可以去乘个船上个岛，现在冬天，岛上可能会觉得有点冷，但是风景还是很不错的。标志性的三潭印月其实是在岛的外围，有好多鸟停在三潭上面，生态很好的样子。钱王祠码头上来，左边走过去不远处就是一个很好的观景点。大家第一个登岛打卡的也是那里。岛上是个田字型的布景，走走拍拍还是很不错的。 23 | 21,2024-02-15,河北,5,欲把西湖比西子，淡妆浓抹总相宜，西湖景色秀丽，每隔几年都会来的，杭州的西湖景区是杭州的著名旅游景点，有很多值得游玩的景点。可以选择性地去一些必打卡的景点，如苏堤春晓、平湖秋月、白堤、雷峰塔等1。建议住宿在龙翔桥、凤起路或定安路附近，交通比较方便2。不建议骑单车和打车游西湖，因为单车骑得会很累，打车会很堵车2。可以选择坐船游览西湖，也可以乘坐观光车游览苏堤-白堤观光区间线 3。如果想徒步游览，可以选择在苏堤站、花港站、岳庙站或曲院风荷站下车步行1。最好在日出日落时刻游玩，可以欣赏到美丽的景色欲把西湖比西子，淡妆浓抹总相宜，西湖景色秀丽，每隔几年都会来的，杭州的西湖景区是杭州的著名旅游景点，有很多值得游玩的景点。可以选择性地去一些必打卡的景点，如苏堤春晓、平湖秋月、白堤、雷峰塔等1。建议住宿在龙翔桥、凤起路或定安路附近，交通比较方便2。不建议骑单车和打车游西湖，因为单车骑得会很累，打车会很堵车2。可以选择坐船游览西湖，也可以乘坐观光车游览苏堤-白堤观光区间线 3。如果想徒步游览，可以选择在苏堤站、花港站、岳庙站或曲院风荷站下车步行1。最好在日出日落时刻游玩，可以欣赏到美丽的景色欲把西湖比西 24 | 22,2024-01-01,浙江,5,船很大，稳，！体验感非常棒，来回的游船+登岛的门票，很划算，游船的工作人员讲解也很详细，岛上从湖滨码头返回就是市区，很方便!园林景观非常美，秋色尽收眼底!会推荐家人朋友来坐西湖游船! 25 | 23,2024-02-12,浙江,5,来杭州了，总是要去一次西湖吧，吹一吹西湖的晚风，走一走当年的断桥，坐一坐游船，瞅一瞅三潭印月。但是人是真的多，西湖附近单双号限行，停车要排队😵‍💫😵‍💫😵‍💫 26 | 24,2024-01-17,浙江,5,太赞了👍主要就是当我在三潭印月岛游玩的时候突然收到工作上的通知，呜呜呜………还有西湖这边好多地方也没逛完，就急急忙忙赶回去了 真的很值得带家人朋友一起来游玩 27 | 25,2024-01-28,江苏,5,这次旅行真的很棒🎉！ 在雷峰塔看到了西湖全景非常美丽，而且我们的导游非常的专业，用其丰富的专业知识和历史背景给我们带来了精彩地解说，为大壮导游点赞👍！ 28 | 26,2024-02-21,广西,5,雨天去的，游客也很多，上船得排队，还好排队的时间没有太长，也建有廊子可以避雨。分段乘坐的，可以选择不同的路线走，一定要做好攻略看看自己要去玩哪些景点。 29 | 27,2024-03-03,北京,5,导游热情周到，西湖秘境也是别有一番风味，和大西湖风格完全不同，静谧的氛围加上人少多植被，有一种神秘且雅致的感觉。非常值得购买体验。 30 | 28,2024-03-02,浙江,5,接近四点才到花港码头，赶着最后一班回钱王祠码头。 实话说，觉得岛上没有太大的趣味，离三潭印月还是有一段距离的，坐摇橹船会近很多。 31 | 29,2024-02-18,浙江,4,今天天气很好，西湖景色怡人。拍照很出片。第一天坐的穿上岛看了三潭印月，结果狂风大作加暴雨，体验感不佳，今天逛完钱王祠，看西湖水很看，又做了个穿看三潭印月果然好看多了，谁说晴西湖不如雨西湖的，我还是喜欢晴天，蓝天白云绿水杨柳堤。不过现在杨柳未发芽。荷花杆杆光秃秃，没有赏到极佳景色，希望有机会再来一次。 32 | 30,2024-02-11,上海,5,如果没有来过杭州西湖的小伙伴可以去乘个船上个岛，现在冬天，岛上可能会觉得有点冷，但是风景还是很不错的。标志性的三潭印月其实是在岛的外围，有好多鸟停在三潭上面，生态很好的样子。钱王祠码头上来，左边走过去不远处就是一个很好的观景点。大家第一个登岛打卡的也是那里。岛上是个田字型的布景，走走拍拍还是很不错的。 33 | 31,2024-02-15,河北,5,欲把西湖比西子，淡妆浓抹总相宜，西湖景色秀丽，每隔几年都会来的，杭州的西湖景区是杭州的著名旅游景点，有很多值得游玩的景点。可以选择性地去一些必打卡的景点，如苏堤春晓、平湖秋月、白堤、雷峰塔等1。建议住宿在龙翔桥、凤起路或定安路附近，交通比较方便2。不建议骑单车和打车游西湖，因为单车骑得会很累，打车会很堵车2。可以选择坐船游览西湖，也可以乘坐观光车游览苏堤-白堤观光区间线 3。如果想徒步游览，可以选择在苏堤站、花港站、岳庙站或曲院风荷站下车步行1。最好在日出日落时刻游玩，可以欣赏到美丽的景色欲把西湖比西子，淡妆浓抹总相宜，西湖景色秀丽，每隔几年都会来的，杭州的西湖景区是杭州的著名旅游景点，有很多值得游玩的景点。可以选择性地去一些必打卡的景点，如苏堤春晓、平湖秋月、白堤、雷峰塔等1。建议住宿在龙翔桥、凤起路或定安路附近，交通比较方便2。不建议骑单车和打车游西湖，因为单车骑得会很累，打车会很堵车2。可以选择坐船游览西湖，也可以乘坐观光车游览苏堤-白堤观光区间线 3。如果想徒步游览，可以选择在苏堤站、花港站、岳庙站或曲院风荷站下车步行1。最好在日出日落时刻游玩，可以欣赏到美丽的景色欲把西湖比西 34 | 32,2024-01-01,浙江,5,船很大，稳，！体验感非常棒，来回的游船+登岛的门票，很划算，游船的工作人员讲解也很详细，岛上从湖滨码头返回就是市区，很方便!园林景观非常美，秋色尽收眼底!会推荐家人朋友来坐西湖游船! 35 | 33,2024-02-12,浙江,5,来杭州了，总是要去一次西湖吧，吹一吹西湖的晚风，走一走当年的断桥，坐一坐游船，瞅一瞅三潭印月。但是人是真的多，西湖附近单双号限行，停车要排队😵‍💫😵‍💫😵‍💫 36 | 34,2024-01-17,浙江,5,太赞了👍主要就是当我在三潭印月岛游玩的时候突然收到工作上的通知，呜呜呜………还有西湖这边好多地方也没逛完，就急急忙忙赶回去了 真的很值得带家人朋友一起来游玩 37 | 35,2024-01-28,江苏,5,这次旅行真的很棒🎉！ 在雷峰塔看到了西湖全景非常美丽，而且我们的导游非常的专业，用其丰富的专业知识和历史背景给我们带来了精彩地解说，为大壮导游点赞👍！ 38 | 36,2024-02-21,广西,5,雨天去的，游客也很多，上船得排队，还好排队的时间没有太长，也建有廊子可以避雨。分段乘坐的，可以选择不同的路线走，一定要做好攻略看看自己要去玩哪些景点。 39 | 37,2024-03-03,北京,5,导游热情周到，西湖秘境也是别有一番风味，和大西湖风格完全不同，静谧的氛围加上人少多植被，有一种神秘且雅致的感觉。非常值得购买体验。 40 | 38,2024-03-02,浙江,5,接近四点才到花港码头，赶着最后一班回钱王祠码头。 实话说，觉得岛上没有太大的趣味，离三潭印月还是有一段距离的，坐摇橹船会近很多。 41 | 39,2024-02-18,浙江,4,今天天气很好，西湖景色怡人。拍照很出片。第一天坐的穿上岛看了三潭印月，结果狂风大作加暴雨，体验感不佳，今天逛完钱王祠，看西湖水很看，又做了个穿看三潭印月果然好看多了，谁说晴西湖不如雨西湖的，我还是喜欢晴天，蓝天白云绿水杨柳堤。不过现在杨柳未发芽。荷花杆杆光秃秃，没有赏到极佳景色，希望有机会再来一次。 42 | 40,2024-02-11,上海,5,如果没有来过杭州西湖的小伙伴可以去乘个船上个岛，现在冬天，岛上可能会觉得有点冷，但是风景还是很不错的。标志性的三潭印月其实是在岛的外围，有好多鸟停在三潭上面，生态很好的样子。钱王祠码头上来，左边走过去不远处就是一个很好的观景点。大家第一个登岛打卡的也是那里。岛上是个田字型的布景，走走拍拍还是很不错的。 43 | 41,2024-02-15,河北,5,欲把西湖比西子，淡妆浓抹总相宜，西湖景色秀丽，每隔几年都会来的，杭州的西湖景区是杭州的著名旅游景点，有很多值得游玩的景点。可以选择性地去一些必打卡的景点，如苏堤春晓、平湖秋月、白堤、雷峰塔等1。建议住宿在龙翔桥、凤起路或定安路附近，交通比较方便2。不建议骑单车和打车游西湖，因为单车骑得会很累，打车会很堵车2。可以选择坐船游览西湖，也可以乘坐观光车游览苏堤-白堤观光区间线 3。如果想徒步游览，可以选择在苏堤站、花港站、岳庙站或曲院风荷站下车步行1。最好在日出日落时刻游玩，可以欣赏到美丽的景色欲把西湖比西子，淡妆浓抹总相宜，西湖景色秀丽，每隔几年都会来的，杭州的西湖景区是杭州的著名旅游景点，有很多值得游玩的景点。可以选择性地去一些必打卡的景点，如苏堤春晓、平湖秋月、白堤、雷峰塔等1。建议住宿在龙翔桥、凤起路或定安路附近，交通比较方便2。不建议骑单车和打车游西湖，因为单车骑得会很累，打车会很堵车2。可以选择坐船游览西湖，也可以乘坐观光车游览苏堤-白堤观光区间线 3。如果想徒步游览，可以选择在苏堤站、花港站、岳庙站或曲院风荷站下车步行1。最好在日出日落时刻游玩，可以欣赏到美丽的景色欲把西湖比西 44 | 42,2024-01-01,浙江,5,船很大，稳，！体验感非常棒，来回的游船+登岛的门票，很划算，游船的工作人员讲解也很详细，岛上从湖滨码头返回就是市区，很方便!园林景观非常美，秋色尽收眼底!会推荐家人朋友来坐西湖游船! 45 | 43,2024-02-12,浙江,5,来杭州了，总是要去一次西湖吧，吹一吹西湖的晚风，走一走当年的断桥，坐一坐游船，瞅一瞅三潭印月。但是人是真的多，西湖附近单双号限行，停车要排队😵‍💫😵‍💫😵‍💫 46 | 44,2024-01-17,浙江,5,太赞了👍主要就是当我在三潭印月岛游玩的时候突然收到工作上的通知，呜呜呜………还有西湖这边好多地方也没逛完，就急急忙忙赶回去了 真的很值得带家人朋友一起来游玩 47 | 45,2024-01-28,江苏,5,这次旅行真的很棒🎉！ 在雷峰塔看到了西湖全景非常美丽，而且我们的导游非常的专业，用其丰富的专业知识和历史背景给我们带来了精彩地解说，为大壮导游点赞👍！ 48 | 46,2024-02-21,广西,5,雨天去的，游客也很多，上船得排队，还好排队的时间没有太长，也建有廊子可以避雨。分段乘坐的，可以选择不同的路线走，一定要做好攻略看看自己要去玩哪些景点。 49 | 47,2024-03-03,北京,5,导游热情周到，西湖秘境也是别有一番风味，和大西湖风格完全不同，静谧的氛围加上人少多植被，有一种神秘且雅致的感觉。非常值得购买体验。 50 | 48,2024-03-02,浙江,5,接近四点才到花港码头，赶着最后一班回钱王祠码头。 实话说，觉得岛上没有太大的趣味，离三潭印月还是有一段距离的，坐摇橹船会近很多。 51 | 49,2024-02-18,浙江,4,今天天气很好，西湖景色怡人。拍照很出片。第一天坐的穿上岛看了三潭印月，结果狂风大作加暴雨，体验感不佳，今天逛完钱王祠，看西湖水很看，又做了个穿看三潭印月果然好看多了，谁说晴西湖不如雨西湖的，我还是喜欢晴天，蓝天白云绿水杨柳堤。不过现在杨柳未发芽。荷花杆杆光秃秃，没有赏到极佳景色，希望有机会再来一次。 52 | -------------------------------------------------------------------------------- /data/评论数据.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/fengzi1013/Spider_XieCheng/9703cbc181d47d1c6119ec51172e88bda346ef93/data/评论数据.png -------------------------------------------------------------------------------- /main.py: -------------------------------------------------------------------------------- 1 | # -*- coding: utf-8 -*- 2 | """ 3 | @Time ： 2023/5/14 17:42 4 | @Auth ： fengzi 5 | @File ：main.py 6 | @IDE ：PyCharm 7 | @Describe:爬取携程景点评论等信息 8 | """ 9 | 10 | import time 11 | import re 12 | import random 13 | import pandas as pd 14 | from selenium import webdriver 15 | from selenium.webdriver.common.by import By 16 | 17 | import warnings 18 | warnings.filterwarnings('ignore') 19 | 20 | timeList = [] # 发表时间 21 | ip = [] # ip属地 22 | scoreList = [] # 评分 23 | comments = [] # 评论文本 24 | def getData(driver, ddl1, j): 25 | '''获取数据''' 26 | times = driver.find_elements(By.CSS_SELECTOR, '.commentTime') 27 | scores = driver.find_elements(By.CSS_SELECTOR, '.averageScore')[1:] 28 | comment = driver.find_elements(By.CSS_SELECTOR, '.commentDetail') 29 | 30 | for c, t, s in zip(comment, times, scores): 31 | 32 | try: 33 | timeList.append(re.findall(r'(\d{4}-\d{1,2}-\d{1,2})', t.text)[0]) 34 | ip.append(re.findall(r"：(.*)", t.text)[0]) 35 | scoreList.append(re.findall(r"(.*)分", s.text)[0]) 36 | comments.append(c.text) 37 | except: 38 | pass 39 | 40 | print(f"共{int(ddl1)}页，第{j}页下载完成...") 41 | 42 | if __name__ == '__main__': 43 | # id = input("请输入景点名称：") #西湖 44 | id = '西湖' 45 | # url = input("请输入下载链接：") 46 | url = 'https://you.ctrip.com/sight/hangzhou14/49894.html' 47 | i = 50 48 | 49 | options = webdriver.ChromeOptions() 50 | options.add_argument('--headless') 51 | options.add_argument('--disable-gpu') 52 | options.add_argument('user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36') 53 | driver = webdriver.Chrome(options=options) 54 | driver.maximize_window() 55 | 56 | try: 57 | driver.get(url) 58 | time.sleep(4) 59 | 60 | # 获取总的页码 61 | ddl = driver.find_elements(By.CSS_SELECTOR, '.ant-pagination') 62 | for t in ddl: 63 | ddl1= t.text.split("\n")[-2] 64 | j = 1 65 | 66 | while True: 67 | t1 = random.uniform(2, 3) 68 | 69 | getData(driver, ddl1, j) # 获取数据 70 | j += 1 71 | # 翻页 72 | element = driver.find_element(By.CSS_SELECTOR, '.ant-pagination-next') 73 | element.click() 74 | 75 | if j == int(ddl1) +1 or j > i: 76 | break 77 | 78 | time.sleep(t1) 79 | 80 | finally: 81 | driver.close() 82 | 83 | # save 84 | data = pd.DataFrame({ "date": timeList, "ip属地": ip, "评分": scoreList, "comments": comments }) 85 | data.to_csv(f"./data/result_{id}.csv", encoding='utf8') 86 | print("**********done***********") 87 | 88 | 89 | # 有问题可以直接视频留言！！！论文选题、修改等问题也可以！！！ 90 | 91 | -------------------------------------------------------------------------------- /requirements.txt: -------------------------------------------------------------------------------- 1 | pandas==1.3.5 2 | pandas==0.23.4 3 | selenium==3.141.0 4 | --------------------------------------------------------------------------------