Нейросетевые забавы

Подняли тут на работе InvokeAI.
Для запуска такой развлекухи потребовалось 16 Гб основной оперативки, одна видеокарта GeForce GTX 1080 Ti, жесткий диск на 250 Гб, Fedora 36 и немного терпения.
В саму ОС ничего ставить не пришлось, всё делалось от обычного пользователя. После установки запустить, не забыть открыть порт 9090 в файерволе.

На проц нагрузки нет вообще никакой (Celeron G3900 @ 2.80GHz даже не греется особо, LA ~ 0.3 — 0.4), основной памяти занято около 10 Гб.
Видеопамяти занимается гиг в фоне чуть больше гига, в момент генерации картинки — до 8 Гб.
Диск мы юзаем старый ноутбучный, сейчас там файлы InvokeAI занимают 120 Гб.

Довольно интересный комбайн для потыкаться в готовые нейросети и приценить, что же оно умеет в настоящее время.
Я бегло посмотрел генерацию картинок из текста. Запрос ей надо писать на английском.
Вот некоторые примеры выхлопа по простым, не особо детальным запросам:

Конечно, артефакты генерации есть и они вполне заметны. Но для генерации всяких картинок-к-новостям, заглушек и фоновых абстрактных рисунков можно использовать уже сейчас как есть.

Конечно, полноценно «думать» нейросети не умеют, и до «интеллекта» там ещё как до Луны пешком, но на месте «ХУДОжникофф» и всратых «дизигнеров-трудяг-палёного-фотожопа» я бы начал волноваться — создание абстрактной графической куиты упростилось невероятно.

P.S. Работа нашего отдела несколько встала на паузу — всем интересно, чего может сгенерить своя персональная нейросеть по всяким диким запросам 😀 .

P.S.S. Помимо ХУДОжникофф и ПЕЙСателей нехилый баттхёрт обязательно словят всякие тупые SJW и прочие борцуны-с-виртуальным_насилием/порно/прочим. Теперь каждый может генерить себе картинки любой степени жуткости и упоротости. Оффлайн, без цензуры, смс и регистрации -)

Ящик Пандоры открыт и весело помахивает открытой крышечкой =)

Искры прошлого

Знакомый IT-археолог, ранее озадачивший меня запуском софтины 1996 года под виндовс-3.11, снова раскопал редкий раритетный софт на пятидюймовых дискетах. На этот раз под хтоническую советскую машину Искра-1030.

Саму машинку найти в живом состоянии невероятно трудно, но благодаря совместимости с IBM PC/XT и использованию IBM-ского формата дискет, дискеты от Искры-1030 можно на старом компе с 5.25″-дисководом без проблем сдампить или прочитать под любой ОС. Я попробовал DOS 6.22 и Ubuntu 18.04 — всё читается. Было интересно вытащить такой софт и попробовать пускануть его на современной виртуальной машине.

полтерабайта мозгов

Серверное железо тоже стареет. Даже не очень старые комплектующие могут становиться относительно редкими, и поиск некоторых из них может превратиться в небольшой квест. Когда вроде и на рынке много такого железа, и даже стоит оно вполне внятно, но вот сразу найти в нужном количестве нужное железо бывает трудновато.

И нет, я не про видеокарты.

DDR3 ECC Registered Buffered 14900L

Вот эти полтерабайта не самой свежей, но всё ещё вполне боевой оперативки очень приободрят один наш сервачок.
Диски к сервачку в процессе поиска.

Слегка упоротый сброс BIOS-пароля.

Попросили тут посмотреть ещё один древний ноут — Toshiba Satellite 4020CDT.
Первой проблемой оказался пароль BIOS на загрузку.
Для его сервисного сброса разработчики тошибы придумали «хитрый план» — при включении опрашивать LPT-порт (sic!), и если там определённым образом соединены линии — то пароль снимается.

http://www.tilman.de/sonstiges/toshiba/
http://www.laptoprepair101.com/remove-clear-toshiba-laptop-bios/

Ключевое там — соединить выводы порта LPT вот по такой схеме:

1+5+10
2+11
3+17
4+12
6+16
7+13
8+14
9+15


Что касается выводов с 18 по 25 — то тут в мануалах расхождения.
В немецком мануале пишут, что надо также соединить выводы 18 и 25, а выводы c 19 по 24 не трогать.
В английском же мануале пишут, что все выводы с 18 по 25 надо соединить между собой (18+19+20+21+22+23+24+25), но не присоединять к земле.

После чего ноут надо один раз включить с такой заглушкой — пароль будет снят, больше заглушка не понадобится.

Оказалось, что такой пароль мог появиться и сам по себе, при резком обесточивании или нештатном выключении.

Сервис тошибы такое втыкание анального плуга делал не бесплатно, как вы понимаете.
Мне же паять отдельный LPT-разъём было лениво (да и найти такую древность уже надо постараться), так что я сделал проще, применив обрезки витой пары:

Я пробовал первый вариант из немецкого мануала, и запрос пароля исчез. Хотя насколько я понимаю, второй вариант тоже рабочий. Ноут, правда, пока полностью не ожил, там ещё ряд проблем есть, но пароль он больше не спрашивает.

Разработчики ноутбука — редкостные извращуны, однако. Но такой способ хорош тем, что не требует разборки ноута.

Спонтанно пароль может появиться на вот этих моделях:
Satellite A100, A105, A130, A135, A200, A205, L35, M200, M205, P100, P105, P200, P205 и ряде других.

Метод в целом применим к целому семейству ноутов:
Portégé 200er, 300er, 400er, 600er, 700er, 3410, 3440, 3490, 7000, 7010, 7020, 7200, 7220 u.a.
Libretto 50, 70, 100, 110
Satellite 100er, 200er, 300er , 400er, 1800er, 1900er, 2000er, 2100er, 2200er, 2500er, 2600er, 2700er, 2800er, 4000er
Satellite Pro 400er, 4000er
Tecra 500er, 700er, 8000er, 9000er
T1900, T3600

Fedora @i5-11thGen :: MBR-2-UEFI

Всем привет.
Понадобилось тут апгрейднуть одну старую машинку.
Core 2, честно трудившийся с 2007 года и очень достойно тогда выглядевший, к 2021 году уже не мог тащить 4К-видосы на ютубчике и переваривать современные всратые приложения на «электроне» и сайты с тоннами js-фреймфорков.
Блокировщики рекламы помогали лишь частично, и оба ядра частенько вставали «в полочку».

День бэкапа !

Угрозы разные и злые,
Придут оттуда, где не ждёшь.
Блюди ты правила простые
И не впадай при краше в дрожь.

Бэкапь всегда, бэкапь везде
От данных до конфигов.
Угрозам, взломам и беде
Тогда покажешь фигу.

Одни лишь данные бэкапить —
Почти что преступление.
Чтобы прод не профакапить,
Копируй окружение.

Обновляй бэкапы данных
Регулярно и везде.
Если нет их актуальных
Непременно быть беде.

Проверять восстановление
Данных из бэкапа
Не привыкло поколение —
Это грешновато.

По расписанию бэкапь
И не забудь проверить.
Машина тоже может встать,
Не нужно слепо верить.

Не доверяй бэкап коллеге,
Не доверяй его скриптам.
Верна одна лишь из стратегий:
Бэкапы есть? Проверь их сам!

Делай реплики БД
Серьёзно и синхронно.
Это фору даст тебе
В случае урона.

Делай дампы SQL —
Перебдеть не бойся.
Если что они тебе
Уменьшат беспокойство.

Если в облако загружен
Весь коммерческий массив,
То бэкап как воздух нужен, —
В облаках бывает слив.

Снятый с базы каждый дамп
Не откладывай устало.
В жизни может статься так:
Дампы есть, а данных мало.

Дампы в базу ты залей,
Прочекай актуальность.
Нет иных других путей,
Прими совет как данность.

Скорость доступа к бэкапам
Познаётся в форс-мажоре.
Так не будь головотяпом —
Протестируй априори.

Во избежание факапов
Помни про три-два-один:
Сделай ровно три бэкапа,
На два носителя закинь.
Одну копию бери
И вне офиса храни.

Если прод на хостинг А
Разместил культурно,
Не тащи бэкап туда,
Это не секьюрно.

Потащи на хостинг Б,
Застрахуйся, друже,
Избежишь вагон проблем
И кидков похуже.

Я не поэт, но я скажу стихами:
Бэкапы есть — не будете лохами.

выдрал отсюда: https://habr.com/ru/company/regionsoft/blog/494938/?utm_campaign=494938&utm_source=habrahabr&utm_medium=rss

Сделайте бэкап сегодня. Да, вот прямо вот сейчас.

🍏 самые гламурные никсы 🍏

Сегодня мы посмотрим одну весьма известную операционку взглядом доброго админа. Да, речь идёт про MacOS X — проприетарную ось для современных яблочных компьютеров. Если вам это интересно — продолжение под катом.

🐧 KSysGuard + NVidia GPU

Всем привет. Если на вашей машине стоит линух, и вы хоть раз заглядывали в мониторинг тулзой ksysguard, то могли заметить, что кроме списка процессов и общих графиков по загрузке CPU, памяти и сети можно добавлять ещё и свои вкладки. Но по умолчанию там есть только внутрисистемные датчики и те аппаратные сенсоры, которые видит ядро (это прежде всего всякие сенсоры материнской платы о температурах, оборотах кулера и напряжениях питания).
Однако туда можно прикрутить и датчики от других устройств, самое интерсное из которых — видеокарта.

музей Яндекса

Всем привет ! Сегодня мы снова немного затронем IT-археологию и старое железо. Еcли интересно — жмём ссылку ниже.
Фотки — конечно же, будут.

Supermicro IPMI — ISO не монтируется

Ситуация: IPMI сервера supermicro не монтирует ISO-образ с SMB-шары, если монтировать его из веб-морды IPMI — «Virtual Media» — «CD-ROM Image».

Были попробованы разные размеры бубнов, логины/пароли и методы авторизации, расковыряны разные настройки сосамбы. Помог обходной путь — сперва открыть ява-апплет для местной KVM-консоли, и уже из этого апплета выбрать «Virtual Media» — «Virtual Storage» и подключить ISO из своей локальной файловой системы, без всякой самбы.

Похоже на баг веб-морды IPMI, из файлового менеджера самба-ресурс доступен.

Вот такой вот обходной путь. Возможно, это решается обновлением прошивок на блейде, но про это я напишу позже, если не забуду.

по-быстрому пережать видос (максимально быстро из доступного дома)

Задача — быстренько пережать видосы (видео -> h264, звук -> mp3), например, чтобы смотреть их на старой хумаксовской приставке (не умеющей mp4a / ogg в звуке), где-нибудь на даче. У «Твое ТВ» как раз такая приставка.

Волшебные ингридиенты: Fedora 28 x64, nvidia-driver-390.67, ffmpeg 4.x, доброкарта GTX 1070, проц не совсем тухлый.

Собственно магия:
ffmpeg -i input_file.avi -c:v h264_nvenc -acodec mp3 -vcodec h264_nvenc output_file.avi

И на скорости в несколько десятков раз выше скорости воспроизведения быстренько получаем наши видосы в новом формате.
Вывод будет примерно такой:

frame=13720 fps=1578 q=33.0 Lsize= 147246kB time=00:09:31.83 bitrate=2109.4kbits/s speed=65.8x

Добро-девайсина 1070 от этого даже не потеет — GPU_Util 7-12%, VideoEngine Util — 35-45%.

Если надо понизить качество (генерация превьюшек):
ffmpeg -i input_file.avi -c:v h264_nvenc -acodec libvorbis -ab 64k -vcodec h264_nvenc -b:v 100k -vf scale=240:-1 output1_gpu.avi
Тут мы делаем ширину видео 240 точек, битрейт видео режем до 100к, звук конвертим в OGG с низким битрейтом (64к на звук, аудиофилов предварительно убрать от монитора).

Для подобной конвертации на процессоре делаем так:
ffmpeg -i input1.flv -vf scale=240:-1 -acodec libvorbis -ab 64k output2_cpu.avi

Ещё интересности:
https://habr.com/en/post/262507/
https://habr.com/en/post/262563/
https://developer.nvidia.com/ffmpeg

P.S. при очень низких битрейтах аппаратный GPU-кодек можно заметно сильнее упороть видео, чем софтварный. Тут каждый сам выбирает отношение скорости, размера и качества, благо комбинаций настроек тут необъятно.

Для работы всего этого счастья надо поставить nvidia-драйвер и CUDA Toolkit. Если у вас драйвер уже стоит, и он сильно новее, чем то, то идёт с CUDA-тулкитом, то в инсталлере тулкита снимаете опции, относящиеся к драйверу, оставляете только CUDA ! Примеры и документация тоже не нужны, если только вы не пишите код для GPU.

Заглянем в музей…

Всем привет. Сегодня я немного расскажу про один классный музей.
Находится он в городе Таллине, в Эстонии. Если будете в тех краях — очень рекомендую сходить. Вычислительная техника развивается и устаревает необычайно стремительно, отчего даже есть ощущение другого течения времени. Если в привычной исторической науке 70-е прошлого века — это «Новое время»/»наши дни», то у IT-археологов это — глубокая античность.

USB WatchDogs — небольшой обзор

Сегодня я расскажу о паре устройств, предназначенных для аварийной перезагрузки зависших компьютеров — аппаратных вотчдогах. Если вам интересно, что это и как подключать — прошу под кат.

Космические нано-технологии

Пользуясь всякими девайсами, даже специалисты редко задумываются, насколько же они сложны, и какое громадное количество труда, разработок, технологий и отраслей промышленности задействуется, чтобы сделать очередную железячную штуку.
Усложнение и миниатюризация компонентов приближают технологию к магии, но делают её всё более трудной в реализации, и всё менее пригодной к ремонту в случае чего. Один из наглядных примеров настоящего технологического чуда — под катом.

IT-археологии пост

#Windows-3.11 #Win16 #FoxPro

Думаю, уже для довольно многих читателей эта картинка покажется совершенно незнакомой, и не вызовет никаких значимых эмоций. А кто-то с ностальгией вспомнит те времена, когда жесткие диски и память измерялись мегабайтами, на дискету в 360 килобайт влезало два десятка игрушек, а видеокарты были без радиаторов.

Если интересно — просим в избу-читальню.

NVMe дома, ня

Всем привет !

Постоянные читатели моего блога наверняка могли заметить, что я могу быть довольно консервативен в плане апгрейдов компьютерного железа, а сменить систему почти 10-и летней давности меня смогла сподвигнуть только сдохшая видеокарта.

UEFI — хронология печали.

Начну с одной относительно малоизвестной цитаты.
«Вообще сама идея нажимать кнопки в том же самом месте, где должны появляться буквы (на экране) — нищебродна чуть более, чем полностью. На мой взгляд, совмещать устройство ввода и вывода — это как заваривать чай в унитазе.»

Это в качестве вступительной шутки.

ProxMox — уменьшаем диск в LXC.

Задача : после переноса данных в другой mount_point, капитальной расчистки внутри LXC-контейнера или ошибочного задания слишком большого размера файла диска требуется этот диск ресайзнуть в меньшую сторону.

Веб-интерфейс такого не предоставляет (там можно только увеличить размер), поэтому переведу одну рекомендацию с форума проксмокса (https://forum.proxmox.com/threads/shrink-disk-size.24808/#post-124343), чтобы не потерялась.

Для примера, у нас будет LXC-контейнер № 366, проксмокс 4.2, надо уменьшить размер диска с 8 Гб до 2 Гб, пути стандартные.

По шагам, поехали:

1). Останавливаем контейнер.

2). Делаем бэкап.
3). Проверяем, что бэкап есть.

4). Дополнительно копируем файл с дисковым образом ( /var/lib/vz/images/366/vm-366-disk-1.raw ) в другой каталог, если что-нибудь пойдёт не так. Такой образ закопировать назад поверх битого может быть в ряде случаев быстрее, чем разжать из бэкапа.

5). Заходим в каталог с образом диска:
# cd /var/lib/vz/images/366

6). Проверяем файловую систему:
# e2fsck -f vm-366-disk-1.raw
Видим вот такое:

e2fsck: MMP: fsck being run while checking MMP block
MMP check failed: If you are sure the filesystem is not in use on any node, run:
‘tune2fs -f -E clear_mmp {device}’

7). Делаем исправление:
# tune2fs -f -E clear_mmp vm-366-disk-1.raw

8). Снова проверяем, что файловая система внутри теперь в норме:
# e2fsck -f vm-366-disk-1.raw
Должен быть примерно такой вывод:

e2fsck 1.42.12 (29-Aug-2014)
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information
vm-366-disk-1.raw: 21325/524288 files (0.4% non-contiguous), 240360/2097152 blocks

9). Уменьшаем размер самой структуры файловой системы внутри дискового образа:
# resize2fs -M vm-366-disk-1.raw 2G
Размер ФС будет сильно уменьшен:

resize2fs 1.42.12 (29-Aug-2014)
Resizing the filesystem on vm-366-disk-1.raw to 318585 (4k) blocks.
The filesystem on vm-366-disk-1.raw is now 318585 (4k) blocks long.

Обратите внимание на число блоков — 318585 !

10). Обрежем лишнюю часть файла до размера 2 Гб:
# truncate -s 2G vm-366-disk-1.raw

11). Расширим размер структуры файловой сисемы до нового размера файла-образа:
# resize2fs vm-366-disk-1.raw
Это нужно, чтобы внутри файла выделенное пространство полностью было задействовано файловой системой.

resize2fs 1.42.12 (29-Aug-2014)
Resizing the filesystem on vm-366-disk-1.raw to 524288 (4k) blocks.
The filesystem on vm-366-disk-1.raw is now 524288 (4k) blocks long.

Обратите внимание на число блоков — 524288 !

12). Исправим размер образа в конфиге контейнера:
# vi /etc/pve/nodes/vps3/lxc/366.conf
Если vi вызывает у вас аллергию — используйте любой другой редактор, их много. Правим параметр size в свойствах диска:

rootfs: local:366/vm-366-disk-1.raw,size=2G

Сохраняем, обновляем страницу со свойствами контейнера в веб-интерфейсе, убеждаемся, что размер поменялся.

13). Запускаем контейнер.

14). Заходим в него по SSH, проверяем, что всё работает, смотрим на свободное место :
# df -h -t ext4

Filesystem Size Used Avail Use% Mounted on
/dev/loop1 1.9G 677M 1.1G 39% /

1.9 Гб вместо 7.8 Гб места при 677М данных. Это очень позитивно сказывается на скорости переноса контейнера (при отсутствии общего хранилища), времени бэкапа/восстановления и глубине / объёмах бэкапов.

Занимательные новости

На этот раз меня порадовала статистика данного блога и, как ни странно, компания Микрософт.
А вовсе не Путин с Обамой и Порошенко, как кто-то мог предположить по заголовку =)
Поехали!

GRUB — Загрузка дискетных образов

Задача: Есть тестовый стенд для жестких дисков (старый 433-й дохлерон + PCI-SATA-контроллер), на котором помимо линукса со всякими страшными тулзами (из которых особо опасны mkfs, parted, dd и особенно — hdparm ) иногда надо грузить дискетные образы с Victoria / MHDD или подобным низкоуровневым DOS-софтом. Можно, конечно, найти старый дисковод, положить рядом пачку дискет — но это медленно, ненадёжно, неудобно и криво.

Правильный путь — воспользоваться функциями загрузчика GRUB, который умеет необычайно гибко управлять загрузкой.

Screenfetch

Заметил тут в обзоре 22-й федоры такую утилиту, как screenfetch.
Это портабельный bash-скрипт весом около 150 Кб, который в ASCII-графике рисует логотип дистриба и основные параметры машины. Пользы не сильно много, но выглядит забавно и работает как на десктопных машинках, так и на всяких серверах и виртуалках.
В федоре есть в репозитории, так что софт доверенный.

screenfetch.sh

А вот и самая старая из машинок, на которой у меня стоит федора:

Именно с неё я и начну смотреть на Fedora-22, пожалуй =)

Тестим свой SSL / TLS.

Наткнулся на полезный сайтик — https://www.ssllabs.com/

Можно проверить как свои браузеры, так и свои сервера, на предмет всяких новых модных уязвимостей типа Heartbleed и Poodle, наличия поддержки устаревших и небезопасных режимов шифрования и тому подобное. Проверил на некоторых сайтах — результаты удручают.

Так что если будете переставлять веб-сервер / обновлять систему — не забываем отключать SSL, отдавая предпочтение TLS, тестим свои веб-серверы и если есть возможность — сертификаты лучше сменить. Если у вас обнаружилась heartbleed — ключи сервера и сертификат почти стопроцентно скомпрометированы.

Работа долгая, нудная и противная, но делать её надо. Конечно, бардака с СА это не отменяет, но и оставлять слабые системы глупо.

FreeBSD 8.1 Kernel Panic

Выглядит сей крайне редкий зверь примерно так:

VLC — это не только плеер =)

В этой заметке я немного расскажу про VLC — продукте бесспорно уникальном. В основном он известен как медиа-плеер, причем умеющий и понимающий почти все существующие форматы и источники медиа. Аудио- и видео- файлы, видео-устройства, RTP-потоки, мультикастовое и уникастовое (HTTP-stream) вещание, и всё это — с нативной (sic!) поддержкой кучи кодеков и контейнеров. Но плеер — это лишь одна грань возможностей VLC. …