Рубрика: Data Science

Опубликовано

Использование предобученной модели transformers

from transformers import AutoModelForSequenceClassification, AutoTokenizer
from transformers import pipeline
MODEL_PATH = "Cleighton071/autotrain-detection-for-product-location-44269111684"
model = AutoModelForSequenceClassification.from_pretrained(MODEL_PATH)
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)

classifier = pipeline("sentiment-analysis", model=model, tokenizer=tokenizer)
classifier('i love you')

# [{'label': 'Location', 'score': 0.9967827796936035}]
Читать далее «Использование предобученной модели transformers»
Опубликовано

Запуск Label Studio на Windows 10

pip install label-studio

pip show label-studio

Находим путь к пакету и его имя:

Расположение

Переходим в каталог label_studio и запускаем скрипт:

Скрипт server.py
python3 server.py

Далее ожидаем запуска сервиса на хосте http://localhost:8080

Инструкция по запуску: https://labelstud.io/guide/install

Опубликовано

Установка cuda

С официального сайта ставим CUDA (предварительно убедившись, что видеокарта поддерживает это)

https://developer.nvidia.com/cuda-toolkit-archive

Примечание: на данный момент pytorch поддерживает версию 11.8

После установки Nvidia Cuda переходим на сайт https://pytorch.org/get-started/previous-versions/ 

conda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 pytorch-cuda=11.8 -c pytorch -c nvidia

Далее 

pip install cuda-python
Опубликовано

Использование cudf в jupyter notebook

Устанавливаем cudа на WSL2 по инструкции.

  • Проверяем, что установлены поcледние драйверы Nvidia, если нужно обновить, то ставить с официального сайта https://www.nvidia.com/Download/index.aspx
  • Проверяем последнюю версию wsl
wsl.exe --update
  • Ставим cuda
sudo apt-key del 7fa2af80

wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin
sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/12.0.0/local_installers/cuda-repo-wsl-ubuntu-12-0-local_12.0.0-1_amd64.deb
sudo dpkg -i cuda-repo-wsl-ubuntu-12-0-local_12.0.0-1_amd64.deb
sudo cp /var/cuda-repo-wsl-ubuntu-12-0-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda
Читать далее «Использование cudf в jupyter notebook»
Опубликовано

Добавление собственной библиотеки в Jupyter Notebook

  1. На сервере создаем каталог и помещаем туда файлы *.py
  2. В тетрадке Jupyter нужно импортировать ссылку на каталог:
import sys  
sys.path.insert(0, '/rootfolder/utils')

Далее импортируем имя файла:

import lib # в каталоге должен быть файл с именем lib.py

Примечание: если Вы обновите содержимое файла lib.py, то результат не будет отображаться, так как нужно выполнить «Restart kernel»

Либо вызвать соответствующие команды из меню

Опубликовано

Основы Python

Список — это структура данных. Чтобы создать список, его элементы перечисляют через запятую в квадратных скобках и присваивают переменной. Например, вот список из пяти первых значений столбца installs из таблицы с данными «Книжного грызуна»:

installs = [29486, 33968, 30830, 34361, 33968]

Да! Индексы могут быть отрицательными — это называется обратная индексация. Такая программа покажет на экране значение 36.8, то есть последний элемент списка.

temperature = [36.6, 37.2, 36.5, 36.8]
print(temperature[-1])

Обратная индексация

Индексы могут быть отрицательными. Чтобы получить последний элемент списка, в квадратных скобках указывают -1. Индекс предпоследнего элемента — -2, третьего с конца элемента — -3 и так далее. Обратиться к одному и тому же элементу можно как по обычному, так и по отрицательному индексу:

russian_cities = ['Москва', 'Санкт-Петербург', 'Томск', 'Екатеринбург', 'Владивосток', 'Смоленск', 'Барнаул', 'Сочи', 'Красноярск']

print(russian_cities[6])
print(russian_cities[-3])

Что такое срезы

Срезы — почти как индексы. Только они позволяют получить не один, а сразу несколько идущих подряд элементов списка. Чтобы сделать срез, в квадратных скобках через знак : указывают начало и конец желаемого диапазона. Например, data[1:5], some_list[7:9].

Срезы начала и конца списка

Срезы конца списка работают аналогично. Последний элемент среза совпадает с окончанием списка, поэтому достаточно указать индекс первого элемента. Удобнее делать это через отрицательный индекс. Так можно получить последние три элемента prime_numbers:

prime_numbers = [2, 3, 5, 7, 11, 13, 17]
print(prime_numbers[-3:]) 
Скопировать код[11, 13, 17]

Сайт работает на WordPress