Разработка приложений Apache Spark на языке Scala


День начала:6 Апрель 2017 10:00
День окончания:6 Апрель 2017
Место проведения:   1-й Волоколамский проезд, д. 10, стр. 3 (бизнес-центр Диапазон)
Проводит:   Luxoft Training, Юлиан Драгос
Логотип Apache Spark
 

Мастер-класс посвящён возможностям крупномасштабной распределенной обработки больших данных с помощью Apache Spark. На тренинге участники будут использовать язык Scala для разработки Spark-приложений и познакомятся с различными типами развертывания Spark и интерфейсами Spark API. Также будет рассмотрена основа основ Spark — восстанавливаемые распределенные наборы данных (RDDs), затем использование Spark SQL через DataFrame и DataSet API, а также способы настройки производительности Spark и внутренних компонентов Spark. (далее…)

Программа решает визуальный тест на IQ лучше людей


Пример матриц Равена — классического визуального теста.
Пример матриц Равена — классического визуального теста.

Исследователи из Северо-Западного университета (Northwestern University) разработали вычислительную модель, которая решает задачи визуального теста (который ещё используют для оценки IQ) лучше, чем средний американец. Результаты работы опубликованы в журнале Psychological Review. (далее…)

Язык программирования для живых клеток


Язык программирования для живых клеток
Биоинженеры MIT разработали язык программирования, который можно использовать для придания клеткам новых функций.

Биоинженеры MIT создали язык программирования, позволяющий быстро разрабатывать сложные закодированные в ДНК схемы, придающие новые функции живым клеткам.

Используя этот язык, любой желающий может запрограммировать какую-либо функцию, например — обнаружения и реакции на определённые условия окружающей среды. Затем можно генерировать последовательность ДНК, которая будет выполнять поставленную задачу.

«Это буквально язык программирования для бактерий, — говорит Кристофер Войт (Christopher Voigt), профессор биологической инженерии в Массачусетском технологическом институте. — Вы можете использовать текстовый язык, так же, как вы программируете компьютер. Затем вы берёте этот текст, компилируете его и превращаете его в последовательности ДНК, которые вы помещаете в клетку, и схема работает внутри клетки». (далее…)

Начато производство первого российского блейд-сервера на отечественном процессоре


Сервер "Эльбрус"
Сервер «Эльбрус 4.4» работает под управлением ОС «Эльбрус» на основе Debian Linux. В окне видна работа ПО, моделирующего поведение нефтегазового месторождения.

Запущена в производство первая серия серверов «Эльбрус 4.4», работающих на базе процессоров «Эльбрус-4С», разработанных в МЦСТ. По заверениям создателей сервера, это первый случай создания российского сервера, построенного вокруг отечественного центрального процессора.

Разработчик вычислительных комплексов ПАО «ИНЭУМ им. И. С. Брука» впервые публично заявил о начале производства серверов собственной разработки «Эльбрус 4.4».

«ИНЭУМ им. И. С. Брука» входит в холдинг «Объединённая приборостроительная корпорация», принадлежащий госкорпорации «Ростех». Работа над сервером велась в кооперации с ЗАО «МЦСТ», разработчиками процессоров «Эльбрус».

«Эльбрус 4.4» построен вокруг четырёх (или, опционально, двух) четырёхъядерных процессоров «Эльбрус-4С», выполненных по технологическому процессу 65 нм. Это самая современная модель процессоров, разрабатываемых МЦСТ. Начало серийного выпуска его будущего преемника, восьмиядерного «Эльбрус-8С» по технологии 28 нм ожидается в начале будущего года.

Сервер «Эльбрус 4.4» выполнен в 19-дюймовом корпусе высотой 1Unit с возможностью поставок в корпусах 2Unit и 3Unit. Он обладает производительностью до 200 гигафлопс в пике и поддерживает до 384 ГБ оперативной памяти. (далее…)

Continuations


Данная статья не содержит никаких масштабных метафор, тонких ассоциаций или суровой сатиры. Поэтому интересна она будет только программистам. Да и то не всем.

Целью данной статьи является объяснение момента, который вызывает массу вопросов, а не обучение годному стилю написания программ и не рекомендация всё тут описанное в обязательном порядке использовать.

«Продолжения». Вопросы, что это такое, и зачем оно может понадобиться в Scala, имеются в изобилии практически в любом месте, где Scala обсуждается в постоянном режиме. А вот ответы на эти вопросы, напротив, почти не имеются.

Но если ответ всё-таки есть, то с вероятностью 99% им будет вот этот пример.

reset {
    shift { k: (Int => Int) =>  // The continuation k will be the '_ + 1' below.
        k(7)
    } + 1
}
// Result: 8

Данный пример поражает своей неинформативностью. Лично я по нему в принципе не смог бы ничего понять, даже если с самого начала бы знал, о чём тут идёт речь. И то, что я в этом вопросе не одинок, подтверждается наличием множества цитат этого примера с приписыванием к нему фраз в стиле «что тут вообще происходит?» (далее…)