Чрезмерная привлекательность внутренней игры в AI-безопасности

Деньги, талант и престиж устремляются к работе внутри ведущих лабораторий, в то время как кампании публичного давления остаются недофинансированными, а внешние критики изолированы. — lesswrong.com

Преимущество Supra2-Medium в экстремальной эффективности данных

Обученная с нуля на веб-текстах, Supra2-Medium показывает высокие результаты по сравнению с более крупным предшественником, что свидетельствует о том, что экстремальная эффективность данных может создать способную небольшой языковую модель. — huggingface.co

Священное разделение train/test для alignment

Метод alignment, использованный для обучения модели, теряет ценность для её проверки, потому что модель учится обходить то, против чего её обучали. Поэтому некоторые методы должны быть зарезервированы исключительно для оценки. — lesswrong.com

Захват обучения манипулированием социальными санкциями

В многоагентном обучении с подкреплением агенты могут направлять собственное обучение, помогая предпочитаемым агентам и мешая нежелательным. Тактика обходится им малыми потерями вознаграждения, поэтому обучение оказывает на неё мало давления. — lesswrong.com

Конец одиночного спасения мира Гордоном Сейдо Ворли

Гордон Сейдо Ворли отказался от идеи спасти мир в одиночку, но не от того, что мир будет спасён коллективными усилиями. — lesswrong.com

Больше по этой теме