catgrad - GitLite

KO | EN

gitlite — search

#javascript #python #typescript #rust #deep-learning #linux #docker #macos #nodejs #java #awesome-list #security #pytorch #openai

catgrad

(★ 209)

a categorical deep learning compiler

파일 탐색기

최종 버전 다운로드 (.zip)

- - functor.py
  - operation.py
- - __init__.py
  - operation.py
- - definition.py
  - parameter.py
- - __init__.py
  - ast.py
- __init__.py
- combinators.py
- compile.py
- layers.py
- signature.py
- get-iris-data.sh
- iris.csv
- - api_reference.rst
  - catgrad-logo.png
  - catgrad-logo.svg
  - conf.py
  - index.rst
- make.bat
- Makefile
- requirements.txt
- iris.py
- - __init__.py
  - test_linear_regression.py
- - test_definition.py
- - __init__.py
  - test_python_numpy.py
  - test_python_op.py
- __init__.py
- strategies.py
- test_bidirectional_ops.py
- test_canonical_bidirectional_ops.py
- test_functor.py
- test_parameters.py
- test_strategies.py
- utils.py
.gitignore
conftest.py
LICENSE
pyproject.toml
README.md

# 설치 가이드

1. 코드 내려받기

git clone https://github.com/statusfailed/catgrad

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd catgrad

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. 공식 설치 스크립트

쉬움 추천

사전 준비물

Python 3 pip 명령어를 쓰려면 Python이 필요합니다.

pip install catgrad

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

✅ 설치 후 새 터미널을 열고, 프로그램의 버전 확인 명령(예: --version)으로 정상 설치됐는지 확인하세요.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

3. Python

쉬움

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).

pip install catgrad

PyPI에 배포된 패키지를 바로 설치합니다. 소스 클론이 필요 없습니다.

python3 -m examples.iris (linear|simple|dense|hidden)

파이썬 스크립트(또는 모듈)를 실행합니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

<div align="center">
<img src="https://raw.githubusercontent.com/statusfailed/catgrad/master/docs/source/catgrad-logo.svg" height=200 />
<h1>catgrad</h1>
</div>

<h2> ⚠️ NOTE: Catgrad is now a Rust project maintained by Hellas.AI: <a href="https://github.com/hellas-ai/catgrad">github.com/hellas-ai/catgrad</a> ⚠️</h2>

You like category theory? You like tinygrad? You love catgrad! ❤️

catgrad is a bit different: instead of using autograd to train, you *compile*
your model's reverse pass into static code.
This means your training loop can run without needing a deep learning framework
(not even catgrad!)

Here is a linear model in catgrad:

```python
model = layers.linear(BATCH_TYPE, INPUT_TYPE, OUTPUT_TYPE)
```

catgrad can compile this model...

```python
CompiledModel, _, _ = compile_model(model, layers.sgd(learning_rate), layers.mse)
```

... into static code like this...

```python
class CompiledModel:
    backend: ArrayBackend

def predict(self, x1, x0):
        x2 = x0 @ x1
        return [x2]

def step(self, x0, x1, x9):
        x4, x10 = (x0, x0)
        x11, x12 = (x1, x1)
        x16 = self.backend.constant(0.0001, Dtype.float32)
        # ... snip ...
        x18 = x17 * x5
        x2 = x10 - x18
        return [x2]
```

... so you can train your model by just iterating `step`; no autograd needed:

for i in range(0, NUM_ITER):
        p = step(p, x, y)

Catgrad doesn't just compile to Python: I'm working on support for other targets like C++ (ggml), CUDA, FPGAs, and more!

Catgrad uses [reverse derivatives](https://arxiv.org/abs/1910.07065)
and [open hypergraphs](https://github.com/statusfailed/open-hypergraphs/)
to transform a model into its backwards pass.
For details, see [this paper](https://arxiv.org/abs/2305.01041).

# Install

pip install catgrad

# Examples

Train simple MLPs for the
[iris dataset](https://archive.ics.uci.edu/dataset/53/iris):

./data/get-iris-data.sh
    python3 -m examples.iris (linear|simple|dense|hidden)

# Compilation Targets

Target backends we plan to support soon:

- [x] Python/numpy
- [x] Python/torch
- [ ] Python/[tinygrad](https://github.com/tinygrad/tinygrad/)
- [ ] C++/[GGML](https://github.com/ggerganov/ggml)