Рубрика: data science

Установка выполняется из под Ubuntu 22.04

pip install jupyterlab
jupyter lab --generate-config

Переходим в файл /home/username/.jupyter/jupyter_lab_config.py

Находим параметр c.ServerApp.notebook_dir и устанавливаем место для хранения файлов от тетрадок

Запускаем:

jupyter lab

from transformers import AutoModelForSequenceClassification, AutoTokenizer
from transformers import pipeline
MODEL_PATH = "Cleighton071/autotrain-detection-for-product-location-44269111684"
model = AutoModelForSequenceClassification.from_pretrained(MODEL_PATH)
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)

classifier = pipeline("sentiment-analysis", model=model, tokenizer=tokenizer)
classifier('i love you')

# [{'label': 'Location', 'score': 0.9967827796936035}]

pip install label-studio

pip show label-studio

Находим путь к пакету и его имя:

Переходим в каталог label_studio и запускаем скрипт:

python3 server.py

Далее ожидаем запуска сервиса на хосте http://localhost:8080

Инструкция по запуску: https://labelstud.io/guide/install

Исходный код библиотеки https://github.com/aleju/imgaug

Пример из документации: https://imgaug.readthedocs.io/en/latest/source/installation.html

С официального сайта ставим CUDA (предварительно убедившись, что видеокарта поддерживает это)

https://developer.nvidia.com/cuda-toolkit-archive

Примечание: на данный момент pytorch поддерживает версию 11.8

После установки Nvidia Cuda переходим на сайт https://pytorch.org/get-started/previous-versions/

conda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 pytorch-cuda=11.8 -c pytorch -c nvidia

Далее

pip install cuda-python

Сделайте так, чтобы ваша машина лучше понимала данные

В этом цифровом мирекодирование»- это мощное слово, его применение и присутствие распространены во всех аспектах. В целом,кодированиеэто процесс преобразования данных из одной формы в другую требуемую форму. Один из лучших примеров кодирования относится к эпохе, предшествовавшей появлению Интернета, — использованию азбуки Морзе, которая представляла собой схему кодирования символов, которая кодирует текстовые символы в виде стандартизированных последовательностей двух разных длительностей сигнала, называемых точками и тире или точками и тире.

Мир данных также использует кодирование для шифрования, передачи данных и т. Д. Чтобы машина понимала тенденции и близость данных, необходимо, чтобы данные были числовыми. Почти весь алгоритм ML требует данных в числовой форме. В этой истории мы рассмотрим методы кодирования, которые необходимы компьютеру для интерпретации данных (точнее, категориальных данных) и извлечения из них уроков.

Устанавливаем jupyter notebook

pip install notebook

Примечание: если у Вас не установлен python, то ставим его, у меня версия на момент установки 3.10

Ставим расширения:

pip install jupyter_nbextensions_configurator jupyter_contrib_nbextensions

Информация делиться на 4 группы:

• данных от утилиты top (top -bi -n 1)
• данные от утилиты vnstat (vnstat -d)
• данные от утилиты df (df -k)
• данные от утилиты iostat (iostat -d -k -z)