Kurgan-Telecom Ru | Информационные технологии

Если вам лень читать большой текст, то сразу скажу, что конечно мог.

Не так давно я побывал в долине Эла, где согласно Торе, Библии (Ветхий завет) и Коране прошла одна из самых легендарных битв в истории человечества. Сражение между войсками фелистимских городов и царством Израиля, где скромный пастух Давид убил огромного война Голиафа.(надо оговориться что в 2 книги царств Голиафа убивает некто по имени Элханан., но я буду следовать придерживаться традиционной версии).

Долина Эла

И так, что же это за место где свершился этот бой? Долина Эла находится на Иудейском нагорье, одном из самых суровых мест на планете – вокруг горы, песок, скудная растительность и невыносимая жара, воды практически нет, а те редкие колодцы, которые есть и заполняются зимой дождевой водой, летом почти пересыхают. Таким же оно и было в начале 1 тысячелетия до нашей эры. Это место было своего рода естественной границей между 5 фелистимскими городами и зарождающемся царством Израиль. И тут стоит задуматься, а кем был по-настоящему пастух в таких условиях? Тот ли он был тщедушный мальчик с гуслями, как его изображали протестантские мультики, которые в 90-е шли по телеку раним утром в воскресение?  Думаю, что нет?

Кто такой Давид

В 1 тысячелетии до н.э. скот был вместо валюты, это было настоящее богатство, овцы и козы кормили, одевали и поили кланы, живущие в этих местах и разумеется вы не поставите охранять самое дорогое что у вас есть слабого ребенка, скорее вы доверите это профессиональному воину, который легко передвигается по пересеченной местности, не боится нападения разбойников и хищных животных и способен применить силу чтобы это нападение отбить. Тот факт, что Давид дожил, будучи пастухом до битвы с Голиафом говорит о том, что он был хорош в качестве пастуха.

Это продолжение цикла статей о масштабировании тренировки и инференса LLM. Предыдущая глава находится по этой ссылке.

Итак, с основами разобрались, давайте теперь разбираться с тем, как распихать матрицы по нескольким чипам, перемножить, а затем собрать это все в удобоваримый результат. По-умному это называется шардинг.

Для начала давайте определимся, зачем этот шардинг вообще нужен. А нужен он потому что, как я уже писал в предыдущей статье, при работе с действительно большими нейронками матрицы и вектора практически никогда целиком не влезают в память одного GPU/TPU, поэтому их приходится разделять или шардировать. От того, насколько грамотно произведен шардинг, зависит то, насколько эффективно используется наш массив ускорителей, а следовательно и скорость тренировки, эффективность расхода вычислительных ресурсов и т.д.

Возьмем для примера матрицу A размера [I, J] и распределим ее на 4 ускорителя:

За последние пару месяцев я обучил свою команду, как встроить LLM в рабочий процесс.

Не «поиграться с ChatGPT вечером». Не «задать вопрос, как сделать то-то». А именно начать использовать LLM в реальной работе: код, тексты, анализ, ревью, документация, исследование, планирование задач.

Мой вывод стал неожиданностью для меня:

LLM не работает за вас. Она работает с вами.

У нас есть солнцезащитный крем, в котором кости, железо и глина.

Что? Да!

Базовых требований к SPF ровно два: защищать и не бесить. Звучит просто, на практике сложнее. Мы взяли минеральные фильтры на основе оксида цинка. У них есть очень весомый минус — без правильной формы, обработки и окружения они выбеливают и ложатся пятнами, примерно так.

Поэтому у оксида цинка всегда есть свита из вспомогательных компонентов. Для достижения максимально высокого уровня SPF у нас, среди прочего, лежит гидроксиапатит — минерал, который составляет основу зубной эмали и костной ткани. Выбеливание от цинка нивелируют оксиды железа, и они же дают тонирующий эффект. Глина — это дистеардимониум гекторит.

Но обо всём по порядку.

Сегодня мы живем в мире электродвигателей, двигателей внутреннего сгорания, реактивных турбин и атомных реакторов. Но так было не всегда.

Тот, кто мало-мальски слышал что-то про историю технологий, знает, что еще полтора века назад балом правил паровой двигатель. Его самым узнаваемым символом, пожалуй, остается паровоз. Хотя тут можете со мной поспорить.

Важно не это. Благодаря нашему нынешнему миру и культуре стимпанка многие представляют паровой двигатель не совсем таким, каким он был в реальности. Его воспринимают как аналог ДВС или электрического с поправкой на то, что работал он на паре и топливом служил уголь.

На самом деле разница глубже, чем кажется. Паровой двигатель - это принципиально иная концепция и принципиально иные подходы к построению, которые даже близко не похожи на современные агрегаты, заводы и транспорт. Давайте немного окунемся в историю и посмотрим, каким на самом деле был паровой век.

ХА-ХА-ХА. Я оказался настолько туп, что почти три месяца платил по 100к за кампанию, в которой конвертировали только гастарбайтеры на андроидах. Оказалось что они и КИТАЙСКИЙ знают.

295000 рублей - Суммарная цена моей ошибки . Лучше бы я разыграл MacBook. Я просто верил в себя - думал, такую составную конверсию не подделать. Какой же я наивный.

Внутри вскрытие бот-сети, которая кликает и конвертит в промышленных масштабах. Боты решают все капчи, имеют аккаунты в соц сетях, работают на реальных андроид устройствах.

Эта же схема кликает и по вашей рекламе - читайте в этой статье.

Привет, Хабр! Это команда Яндекс Практикума. В этом году мы переосмыслили, актуализировали и переупаковали курсы по тестированию: изменили методики и обновили программы с учётом изменений на рынке. Рассказываем самое важное.

Можно ли успешно эксплуатировать Java-приложение на Raspberry Pi Model B? А если Java — 21‑я, а Spring Boot, на котором основано приложение — версии 4.0.5? Когда сборка «автомагически» оформляет .jar-файл размером под 40 мегабайт, а у «Малинки» тех мегабайт всего 512, и не забываем про операционную систему и рантайм Java. И как «до такого» [соотношения имеющихся и используемых ресурсов] можно «докатиться»?

TL;DR;-версия: можно. Если допустимо время старта около 5-и минут и расход примерно 40% доступной оперативной памяти, то приложение может работать в режиме 24/7 месяцами, обеспечивая вполне достойное (с учётом производительности «Малинки») время отклика. А «докатиться» оказалось легко, однажды «поскользнувшись» на DIY-рецептах из Интернета, и в качестве альтернативы опробовав методологию «клятого энтерпрайза» в домашнем pet-проекте.

Каждый раз, когда Вы отправляете часть своего кода в Cursor, Claude Code или скидываете свой отчет для анализа в Gemini или Qwen, где-то в мире грустит один юрист по информационной безопасности. Нейросети - это магия (ну или статистическая закономерность), а кто-то из нас хотя бы раз открывал юридические документы, которые размещены на любимых нами ресурсах?

Давайте немного покопаемся в документах крупнейших игроков: OpenAI, Google, Qwen, DeepSeek и, конечно же, в российском GigaChat. И посмотрим, а кто же кроме нас может иметь доступ к нашей информации?

В книге *«Hard Things About Hard Things»* Бен Хорвитц формулирует одно из тех правил, которые звучат банально ровно до того момента, как ты пробуешь их нарушить:

> Сотрудник работает хорошо, когда знает, что это принесёт пользу компании — и ему лично. И то и другое одновременно. Не одно из двух.

Это уравнение держало индустрию софта 30 лет. Слева — польза компании от твоего труда. Справа — то, что ты за это получишь. Зарплата. Бонус. Промо. Опционы. Признание. Equity. Что угодно, лишь бы две стороны были соизмеримы.

Уравнение работало, потому что у обеих сторон был естественный ограничитель — масштаб одного человека. Один разработчик закрывает столько-то задач в спринт. Senior — больше, но не в 10 раз. Бонус вырастает соразмерно. Промо приходит соразмерно. Уравнение балансируется само собой — год за годом, без особых усилий со стороны менеджмента.

Теперь представь, что одна сторона уравнения внезапно взлетела в 10 раз.

ИИ на службе... на службе технической поддержки. История про то, как использование больших языковых моделей помогло оптимизировать работу службы технической поддержки крупного Холдинга. А также размышления про то, к чему это может привести в итоге.

В попытках всё успеть в периоды горящих дедлайнов под нож в первую очередь идёт именно то, что держит нашу работоспособность: сон, физическая активность, нормальное питание. 

Создаётся опасная иллюзия, будто это экономит время. Пожертвовал сном — получил пару дополнительных часов работы. Пропустил тренировку — освободил вечер. Поел как попало — зато не отвлёкся. Залил усталость кофеином — можно работать дальше.

Главный стандарт онлайн-обучения команды: плюсы, минусы, применение.

Представьте: компания использует систему управления обучением (LMS), чтобы развивать навыки сотрудников. Написали курсы, наполнили качественным контентом и отладили процессы. Внезапно разработчик поднял тарифы, и команда решила переехать на другую платформу. Но возникла проблема: программы, созданные на одной LMS, в других ресурсах не открываются. Стандарт SCORM придумали, чтобы избежать подобных ситуаций.

У соло-разработчика CLAUDE.md устаревает быстрее кода. Через пять-шесть итераций фич он начинает уверенно врать, и Claude верит ему, потому что у него больше нечему верить. В статье - про понятие документационного долга, кейс с пропавшей подсистемой, пять проверок руками на пятнадцать минут и метод двух слоев + двух сессий, который заменяет код-ревью для соло-разработчика. Главный вывод: одноразовая чистка не работает, документация для AI - это процесс, не артефакт.

«70% кода написано с AI» звучит красиво в отчёте. Но почему это не делает продукт быстрее? Разбираем главную подмену понятий в текущем AI-хайпе.

Написать свою in-memory базу данных — это своеобразный способ изучить Go под капотом и сделать значимый пет-проект. Создавать обычную обертку над map скучно. Поэтому я задался вопросом: а что если написать по настоящему быстрый движок с бинарным хранением, а сверху прикрутить интерактивного ИИ-ассистента, с которым можно общаться на естественном языке, заставляя его самостоятельно выполнять цепочки запросов?

В этой части мы рассмотрим вторую важную составляющую шахматных программ - оценочную функцию. Долгие годы она находилась в роли "пасынка" для процесса разработки. Но на то существовали объективные причины.

В бескрайних песках Ирака археологи раскопали множество шумерских глиняных табличек возрастом в несколько тысяч лет с клинописным брюзжанием в духе "Молодежь пошла не та, распустились совсем, мир катится в бездну". С одной стороны, это именно что брюзжание стариков каждого поколения, сравнивающих полное болезней и утрат и крайне печальное для них настоящее с существующей исключительно в их памяти идеализированной картинкой времён их молодости. А мир постоянно находится в состоянии свободного падения в эту самую бездну, что в философском, что в гравитационно-астрономическом смысле. Но с другой стороны, а в чём они оказались не правы? Ведь Шумера уже давным-давно нет, их мир и правда погиб.

Чем сильнее ускоряется рост технологического прогресса, тем сильнее мы ощущаем инерцию, вдавливающую нас вниз. С каждым годом уровень нашей жизни вроде бы всё растёт и растёт, но жизнь по ощущениям становится всё хуже и хуже. Экономический термометр показывает одно, а ощущается эта "погода" совсем по-другому. Вспомните книги и кино шестидесятых-семидесятых годов прошлого века - научная фантастика, вдохновлённая успехами советских и американских космических миссий, рисовала светлые картины будущего человечества, стремящегося к полдню XXII века: освоение других планет, красивые и полные жизни города-сады, населённые красивыми, прекрасно образованными и трудолюбивыми людьми. Где это всё? В современной научной фантастике описываются одни лишь антиутопии с грязными городами, полными наркоманов и бандитов, и потерявшими всякий смысл собственного существования и бесцельно барахтающимися в ходе повествования главными героями. Позитивной картины завтрашнего дня в массовом сознании нет вообще - и это больше говорит нам о настоящем, чем о будущем. Почему это произошло? Кто украл у нас светлое будущее?

Кто-то может сказать, что виной всему крах Советского Союза, потерпевшего экономическое поражение в Холодной войне, главного носителя позитивного видения будущего, и что потеря главного соперника тут же привела к полной деградации и победителя Холодной войны - США. В этом есть доля правды, но как мне кажется причина упадка совсем в ином, и бомба замедленного действия уже была заложена в обе системы, капиталистическую и коммунистическую, при их создании, и упадок этот может обернуться для нас катастрофой, по масштабу подобной катастрофе Бронзового века или падению Западной части Римской империи. В этом эссе мы посмотрим на всеобщий мировой упадок глазами известных философов и разберемся в его причинах и последствиях.

Если вы сейчас откроете hh.ru или «Хабр Карьера» и введёте в поиск что-то типа PyCharm, PhpStorm либо IDEA, то вы обнаружите, что упоминание этих профессиональных инструментов близко к нулю. По умолчанию работодатели считают, что любой адекватный специалист знает эти инструменты и может ими пользоваться. То есть навык владения профессиональной средой разработки стал таким же базовым и очевидным навыком, как владение Microsoft Word или Microsoft Excel, ибо без умения работать с этими программами ты просто не можешь выполнять свою работу.

И как бы сейчас некоторые айтишники ни сопротивлялись и ни хотели внедрять в свою работу ИИ, хочется признаться, что это становится таким же базовым навыком, как и умение работать с базой данных, понимание форматов XML/JSON и знание языка программирования.

Я сразу же скажу, что я не считаю, что компания может уволить людей, настроить пачку агентов и вайбить по ночам продакшен-код, попивая сок у себя в офисе. Но я считаю, что практически любой программист с ИИ становится более продуктивным, чем без него.

В условиях нехватки времени, неопределённости и угрозы контроля даже очень умные люди начинают принимать решения хуже. И проблема не только в том, что они оказываются плохими. Проблема в том, что в момент принятия они ощущаются правильными.

Метаанализ Starcke & Brand 2016 года в Psychological Bulletin — обзор 32 экспериментальных датасетов на 1829 участниках — показал, что в среднем стресс ведёт к решениям, которые можно описать как более невыгодные, более ориентированные на немедленное вознаграждение и более рискованные, чем решения, принятые без стресса (https://psycnet.apa.org/doiLanding?doi=10.1037/bul0000060). Высокий уровень образования или экспертизы сам по себе защитным фактором в этих исследованиях не выступал.

При этом нам будет недостаточно сказать, что это стресс, и отряхнуть руки. Ведь это не даёт ответа на вопрос: почему в моменте решение, которое при благоприятных обстоятельствах не было бы принято, субъективно ощущается как правильное? И второй вопрос: почему люди с высоким интеллектом не получают от него ожидаемой защиты, а иногда оказываются уязвимее? Я попробую разобрать это на трёх уровнях — когнитивном, биологическом и психическом. Каждый поддержу исследованиями, но интересен здесь третий.

Прежде чем заходить в слои, важно одно. Нейробиология описывает, какие системы мозга теряют эффективность под стрессом. Психоаналитический язык объясняет, зачем субъективно может понадобиться быстрое решение — даже плохое. Это разные уровни описания одного поведения, а не одна общая доказательная модель. Дальше я буду ходить между ними и постараюсь каждый раз отмечать, где эмпирические данные, а где — клиническая интерпретация.