SearchEngineScrapy - GitLite

KO | EN

gitlite — search

#javascript #python #typescript #go #golang #android #machine-learning #cli #kubernetes #awesome-list #pytorch #security #mcp #openai

SearchEngineScrapy

(★ 58)

Scrape data from Google.com, Bing.com, Baidu.com, Ask.com, Yahoo.com, Yandex.com

파일 탐색기

최종 버전 다운로드 (.zip)

- - __init__.py
  - items.py
  - middlewares.py
  - pipelines.py
  - settings.py
- scrapy.cfg
.gitignore
_config.yml
README.md
requirements.txt

# 설치 가이드

1. 코드 내려받기

git clone https://github.com/naqushab/SearchEngineScrapy

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd SearchEngineScrapy

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. Python

쉬움 추천

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).

pip install -r requirements.txt

requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# SearchEngineScrapy - Scrape data from Google.com, Bing.com, Baidu.com, Ask.com, Yahoo.com, Yandex.com,

[![Python 2](https://img.shields.io/badge/Python-2.7-brightgreen.svg)](https://docs.python.org/2) [![Travis](https://img.shields.io/travis/rust-lang/rust.svg)]()

## Intro

SearchEngineScrapy is a web crawler and scraper for scraping data off
various search engines such as Google.com, Bing.com, Yahoo.com,
Ask.com, Baidu.com, Yandex.com It is based on Python Scrapy project and is developed
using Python 2.7

## Setup

```
    virtualenv --python="2" env
    env/bin/activate
    git clone https://github.com/naqushab/SearchEngineScrapy.git
    cd SearchEngineScrapy
    pip install -r requirements.txt
```

## Usage

***Prefix*** : `-a`

**Params**

searchQuery="<your search query>" [Required Parameter]

searchEngine="<your search engine>" [Options: Google/Bing/Ask/Yandex/Baidu/Yahoo] [Optional  Parameter] [Default: Bing]

pages=<pages to crawl> [Number of pages to crawl] [Optional Parameter : Default- 3]

***Prefix*** : `-o`

***Params***

<filename> [Output the resulta to a file] [Optional Parameter] [Supported:json/jsonl/csv/xml]

### Examples 
```
scrapy crawl SearchEngineScrapy -a searchQuery="I'm Batman"
scrapy crawl SearchEngineScrapy -a searchQuery="I'm Batman" -o filename.json 
scrapy crawl SearchEngineScrapy -a searchQuery="I'm Batman" -a searchEngine="Google" -o filename.xml 
scrapy crawl SearchEngineScrapy -a searchQuery="I'm Batman" -a searchEngine="Google" -a pages=5 -o filename.csv
```

## TODO

-   Add support for DDG
-   Ability to provide parameter of what to save
-   Ability to export to various formats (currently limited to JSON,
    JSONLINES, CSV, XML)
-   Contributing section