data science — Записки архитектора

Установка и настройка Jupyter Lab

Установка выполняется из под Ubuntu 22.04

pip install jupyterlab
jupyter lab --generate-config

Переходим в файл /home/username/.jupyter/jupyter_lab_config.py

Находим параметр c.ServerApp.notebook_dir и устанавливаем место для хранения файлов от тетрадок

Запускаем:

jupyter lab

Использование предобученной модели transformers

from transformers import AutoModelForSequenceClassification, AutoTokenizer
from transformers import pipeline
MODEL_PATH = "Cleighton071/autotrain-detection-for-product-location-44269111684"
model = AutoModelForSequenceClassification.from_pretrained(MODEL_PATH)
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)

classifier = pipeline("sentiment-analysis", model=model, tokenizer=tokenizer)
classifier('i love you')

# [{'label': 'Location', 'score': 0.9967827796936035}]

Запуск Label Studio на Windows 10

pip install label-studio

pip show label-studio

Находим путь к пакету и его имя:

Переходим в каталог label_studio и запускаем скрипт:

python3 server.py

Далее ожидаем запуска сервиса на хосте http://localhost:8080

Инструкция по запуску: https://labelstud.io/guide/install

Генерация изображений

Исходный код библиотеки https://github.com/aleju/imgaug

Пример из документации: https://imgaug.readthedocs.io/en/latest/source/installation.html

Установка cuda

С официального сайта ставим CUDA (предварительно убедившись, что видеокарта поддерживает это)

https://developer.nvidia.com/cuda-toolkit-archive

Примечание: на данный момент pytorch поддерживает версию 11.8

После установки Nvidia Cuda переходим на сайт https://pytorch.org/get-started/previous-versions/

conda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 pytorch-cuda=11.8 -c pytorch -c nvidia

pip install cuda-python

Использование cudf в jupyter notebook

Устанавливаем cudа на WSL2 по инструкции.

Проверяем, что установлены поcледние драйверы Nvidia, если нужно обновить, то ставить с официального сайта https://www.nvidia.com/Download/index.aspx
Проверяем последнюю версию wsl

wsl.exe --update

Ставим cuda

sudo apt-key del 7fa2af80

wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin
sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/12.0.0/local_installers/cuda-repo-wsl-ubuntu-12-0-local_12.0.0-1_amd64.deb
sudo dpkg -i cuda-repo-wsl-ubuntu-12-0-local_12.0.0-1_amd64.deb
sudo cp /var/cuda-repo-wsl-ubuntu-12-0-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda

Руководство для начинающих по кодированию данных

Сделайте так, чтобы ваша машина лучше понимала данные

В этом цифровом мирекодирование»- это мощное слово, его применение и присутствие распространены во всех аспектах. В целом,кодированиеэто процесс преобразования данных из одной формы в другую требуемую форму. Один из лучших примеров кодирования относится к эпохе, предшествовавшей появлению Интернета, — использованию азбуки Морзе, которая представляла собой схему кодирования символов, которая кодирует текстовые символы в виде стандартизированных последовательностей двух разных длительностей сигнала, называемых точками и тире или точками и тире.

Мир данных также использует кодирование для шифрования, передачи данных и т. Д. Чтобы машина понимала тенденции и близость данных, необходимо, чтобы данные были числовыми. Почти весь алгоритм ML требует данных в числовой форме. В этой истории мы рассмотрим методы кодирования, которые необходимы компьютеру для интерпретации данных (точнее, категориальных данных) и извлечения из них уроков.

Jupyter Notebook на Windows

Устанавливаем jupyter notebook

pip install notebook

Примечание: если у Вас не установлен python, то ставим его, у меня версия на момент установки 3.10

Ставим расширения:

pip install jupyter_nbextensions_configurator jupyter_contrib_nbextensions

Описание лога: Состояние серверов

Информация делиться на 4 группы:

данных от утилиты top (top -bi -n 1)
данные от утилиты vnstat (vnstat -d)
данные от утилиты df (df -k)
данные от утилиты iostat (iostat -d -k -z)

Анализ логов с от RPC-сервиса на NodeJS

В одной из последних версий RPC-сервиса на NodeJS реализовано хранение логов в формате совместимом с CSV (разделителем выступает табуляция \t).