This talk tells the story of implementation and optimization of a sparse logistic regression algorithm in spark. I would like to share the lessons I learned and the steps I had to take to improve the speed of execution and convergence of my initial naive implementation. The message isn’t to convince the audience that logistic regression is great and my implementation is awesome, rather it will give details about how it works under the hood, and general tips for implementing an iterative parallel machine learning algorithm in spark. The talk is structured as a sequence of “lessons learned” that are shown in form of code examples building on the initial naive implementation. The performance impact of each “lesson” on execution time and speed of convergence is measured on benchmark datasets. You will see how to formulate logistic regression in a parallel setting, how to avoid data shuffles, when to use a custom partitioner, how to use the ‘aggregate’ and ‘treeAggregate’ functions, how momentum can accelerate the convergence of gradient descent, and much more. I will assume basic understanding of machine learning and some prior knowledge of spark. The code examples are written in scala, and the code will be made available for each step in the walkthrough. Lorand is a data scientist working on risk management and fraud prevention for the payment processing system of Zalando, the leading fashion platform in Europe. Previously, Lorand has developed highly scalable low-latency machine learning algorithms for real-time bidding in online advertising.

Hora

19:00 - 20:00 hs GMT+1

Organizador

Business Intelligence and Analytics
Compartir
Enviar a un amigo
Mi email *
Email destinatario *
Comentario *
Repite estos números *
Control de seguridad
Octubre / 2019 600 webinars
Lunes
Martes
Miércoles
Jueves
Viernes
Sábado
Domingo
Lun 30 de Octubre de 2019
Mar 01 de Octubre de 2019
Mié 02 de Octubre de 2019
Jue 03 de Octubre de 2019
Vie 04 de Octubre de 2019
Sáb 05 de Octubre de 2019
Dom 06 de Octubre de 2019
Lun 07 de Octubre de 2019
Mar 08 de Octubre de 2019
Mié 09 de Octubre de 2019
Jue 10 de Octubre de 2019
Vie 11 de Octubre de 2019
Sáb 12 de Octubre de 2019
Dom 13 de Octubre de 2019
Lun 14 de Octubre de 2019
Mar 15 de Octubre de 2019
Mié 16 de Octubre de 2019
Jue 17 de Octubre de 2019
Vie 18 de Octubre de 2019
Sáb 19 de Octubre de 2019
Dom 20 de Octubre de 2019
Lun 21 de Octubre de 2019
Mar 22 de Octubre de 2019
Mié 23 de Octubre de 2019
Jue 24 de Octubre de 2019
Vie 25 de Octubre de 2019
Sáb 26 de Octubre de 2019
Dom 27 de Octubre de 2019
Lun 28 de Octubre de 2019
Mar 29 de Octubre de 2019
Mié 30 de Octubre de 2019