CrawlAPornWeb

KO | EN

gitlite — search

#hacktoberfest #react #ai #android #nodejs #java #awesome #cli #kubernetes #vue #awesome-list #pytorch #ios #openai

(★ 10)

爬全站视频，拿到m3u8文件，下载解密合并，转码

CrawlAPornWeb 최신버젼 다운로드

최종 버전 다운로드 (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# CrawlAPornWeb

爬全站视频，拿到m3u8文件，下载解密合并，转码

**开发完毕**

下载了一部分，已关掉爬虫

因为视频普遍是720p，渣渣

另外每个视频都有菠菜业的水印，渣渣

不过代码继续公开，就当提供思路做好事

## 该项目

偶然发现一个网站，需要翻墙访问，但是发现数据都在国内，视频比较新
然后就萌生采集全站的想法

该网站用的是视频流

因此需要拿到每个视频的 m3u8 文件

然后还原然后下载合并，需要AES解密的还需要解密

## 目录

.
    ├── README.md
    ├── already_crawl.txt
    ├── config.py
    ├── config_real.py
    ├── list
    │   ├── 4K岛国_list.csv
    │   ├── JAV高清_list.csv
    │   ├── VR资源_list.csv
    │   ├── 丝袜美腿_list.csv
    │   ├── 中文字幕_list.csv
    │   ├── 亚洲情色_list.csv
    │   ├── 人妖人兽_list.csv
    │   ├── 人妻熟女_list.csv
    │   ├── 伦理三级_list.csv
    │   ├── 制服师生_list.csv
    │   ├── 卡通动漫_list.csv
    │   ├── 国产自拍_list.csv
    │   ├── 强奸乱伦_list.csv
    │   ├── 无码专区_list.csv
    │   ├── 欧美性爱_list.csv
    │   ├── 热门女优_list.csv
    │   ├── 男同女同_list.csv
    │   └── 韩国资源_list.csv
    ├── list_downloader.py
    ├── m3u8
    |   ├── 国产自拍
    │   |   ├── 在课前与性爱的小女生发生性关系
    │   │   |   ├── index.m3u8
    │   │   |   ├── url.txt
    ├── m3u8_downloader.py
    ├── video
    ├── video_downloader.py
    └── video_tmp
        └── 国产自拍
            └── 在课前与性爱的小女生发生性关系
                ├── 1.ts
                ├── 2.ts
                └── 3.ts

## 启动说明

关于 list 我已经整理好了， 截止 2020/04/14 的

就不用启动 list_downloader.py 去下载列表

首先是下载 m3u8文件

python3 m3u8_downloader.py

文件放到 m3u8/ 这个目录
    按照分类存储
    每个视频文件里有两个文件
        index.m3u8 文件
        url.txt 
    对于无效的视频连接，同样会创建目录
    但是在执行完毕时候，会去做筛查，删除没有文件的目录

然后是下载视频流

python3 video_downloader.py

tmp文件会放到 video_tmp 里，按照  1.ts 2.ts .....
    这样保存
    下载完毕会自动核验完整性
    如果是完整的就会把 1.ts->n.ts 合并为一个文件
    同时放入 video这个目录，同时删除video_tmp里目录

CrawlAPornWeb

CrawlAPornWeb 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

CrawlAPornWeb

CrawlAPornWeb 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README