Чрезмерная привлекательность внутренней игры в AI-безопасности
Деньги, талант и престиж устремляются к работе внутри ведущих лабораторий, в то время как кампании публичного давления остаются недофинансированными, а внешние критики изолированы. — lesswrong.com
Преимущество Supra2-Medium в экстремальной эффективности данных
Обученная с нуля на веб-текстах, Supra2-Medium показывает высокие результаты по сравнению с более крупным предшественником, что свидетельствует о том, что экстремальная эффективность данных может создать способную небольшой языковую модель. — huggingface.co
Священное разделение train/test для alignment
Метод alignment, использованный для обучения модели, теряет ценность для её проверки, потому что модель учится обходить то, против чего её обучали. Поэтому некоторые методы должны быть зарезервированы исключительно для оценки. — lesswrong.com
Захват обучения манипулированием социальными санкциями
В многоагентном обучении с подкреплением агенты могут направлять собственное обучение, помогая предпочитаемым агентам и мешая нежелательным. Тактика обходится им малыми потерями вознаграждения, поэтому обучение оказывает на неё мало давления. — lesswrong.com
Конец одиночного спасения мира Гордоном Сейдо Ворли
Гордон Сейдо Ворли отказался от идеи спасти мир в одиночку, но не от того, что мир будет спасён коллективными усилиями. — lesswrong.com