from transformers import AutoModelForSequenceClassification, AutoTokenizer
from transformers import pipeline
MODEL_PATH = "Cleighton071/autotrain-detection-for-product-location-44269111684"
model = AutoModelForSequenceClassification.from_pretrained(MODEL_PATH)
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
classifier = pipeline("sentiment-analysis", model=model, tokenizer=tokenizer)
classifier('i love you')
# [{'label': 'Location', 'score': 0.9967827796936035}]
Читать далее «Использование предобученной модели transformers» Запуск Label Studio на Windows 10
pip install label-studio
pip show label-studioНаходим путь к пакету и его имя:
Переходим в каталог label_studio и запускаем скрипт:
python3 server.pyДалее ожидаем запуска сервиса на хосте http://localhost:8080
Инструкция по запуску: https://labelstud.io/guide/install
Генерация изображений
Исходный код библиотеки https://github.com/aleju/imgaug
Пример из документации: https://imgaug.readthedocs.io/en/latest/source/installation.html
Читать далее «Генерация изображений»Установка cuda
С официального сайта ставим CUDA (предварительно убедившись, что видеокарта поддерживает это)
https://developer.nvidia.com/cuda-toolkit-archive
Примечание: на данный момент pytorch поддерживает версию 11.8
После установки Nvidia Cuda переходим на сайт https://pytorch.org/get-started/previous-versions/
conda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 pytorch-cuda=11.8 -c pytorch -c nvidiaДалее
pip install cuda-python
Использование cudf в jupyter notebook
Устанавливаем cudа на WSL2 по инструкции.
- Проверяем, что установлены поcледние драйверы Nvidia, если нужно обновить, то ставить с официального сайта https://www.nvidia.com/Download/index.aspx
- Проверяем последнюю версию wsl
wsl.exe --update- Ставим cuda
sudo apt-key del 7fa2af80
wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin
sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/12.0.0/local_installers/cuda-repo-wsl-ubuntu-12-0-local_12.0.0-1_amd64.deb
sudo dpkg -i cuda-repo-wsl-ubuntu-12-0-local_12.0.0-1_amd64.deb
sudo cp /var/cuda-repo-wsl-ubuntu-12-0-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cudaJupyter Notebook на Windows
Устанавливаем jupyter notebook
pip install notebook
Примечание: если у Вас не установлен python, то ставим его, у меня версия на момент установки 3.10
Ставим расширения:
pip install jupyter_nbextensions_configurator jupyter_contrib_nbextensionsЧитать далее «Jupyter Notebook на Windows»
Описание лога: Состояние серверов
Информация делиться на 4 группы:
- данных от утилиты top (top -bi -n 1)
- данные от утилиты vnstat (vnstat -d)
- данные от утилиты df (df -k)
- данные от утилиты iostat (iostat -d -k -z)
Анализ логов с от RPC-сервиса на NodeJS
В одной из последних версий RPC-сервиса на NodeJS реализовано хранение логов в формате совместимом с CSV (разделителем выступает табуляция \t).
Читать далее «Анализ логов с от RPC-сервиса на NodeJS»Добавление собственной библиотеки в Jupyter Notebook
- На сервере создаем каталог и помещаем туда файлы *.py
- В тетрадке Jupyter нужно импортировать ссылку на каталог:
import sys sys.path.insert(0, '/rootfolder/utils')
Далее импортируем имя файла:
import lib # в каталоге должен быть файл с именем lib.py
Примечание: если Вы обновите содержимое файла lib.py, то результат не будет отображаться, так как нужно выполнить «Restart kernel»
Jupyter Notebook
python -m notebook