Heydaroff's World

All I think…

#365daysMLChallenge – Episode 2: Nucleus

At first 7 days, I have worked on practicing the general dataset manipulations:

  • Importing the Dataset from various sources
  • Describing the Dataset
  • Dealing with the Missing Values
  • Dealing with the Outliers
  • Visualizing the dataset.

All the Python notebooks can be found at my github via the link below:

https://github.com/hheydaroff/365_Days_ML_Challenge

Episode 2: The Nucleus.

In next 14 days, two main libraries of Python will be explored:

Read the rest of this entry »

#365daysMLChallenge – Episode 1: The Realization

Take a deep Breath!.. Think about the next 365 days… Every day we will have various tasks, hopefully many good moments, few bad moments, and invaluable memories. Among all of those things, we have decided to put the #365daysMLChallenge into action.

Starting a new learning phase is always complicated and not as comfortable as it is seen at the beginning.

Read the rest of this entry »

Data Science Process

ML Pipeline for #365daysMLChallenge

Starting a new learning phase is always complicated and not as comfortable as it is seen at the beginning. In order to succeed at any challenge, there should be certain framework defined.

Within the next few days I will post more about the resources and constraints we will, probably, have in 365 days of commitment.

Now I would like to define a conceptual framework of ML that we shall excel at. Since the interest in the field is increasing exponentially, there are dozens of papers published almost every day. Namely, it is easy to be lost without reaching the target. Therefore, to keep ourselves on the target, we will focus on going through each step, and once we are done with all the concepts within each point we more to the next one.

Let’s have a rough draft of what each step looks like in ML Pipeline.

  1. Data Import -> Choosing a correct data is not always possible. It is either due to the fact that business cases are mostly unstructured, or because the target process is not compatible with the data. However, there are multiple sources that we can get structured data start with. Learning how to import various data types is an important skill in the process. Even after importing the data, it is not processable yet. In order to clean the data, we go to the next step
  2. Clean the Data -> also known as Data Pre-Processing, this process together with the Manipulation Step (3) takes almost 80% of the solution process. So, it makes much sense to spend a lot of time here.
  3. Prepared data -> this is the outcome of Step 2 where we most of the times have to also do the Feature Engineering. Once our data is structured and vectorized, the next steps will be mainly about using various algorithms and tuning their parameters to achieve the optimized result. Moreover, the dataset will be split into training, validating and testing sets. This has to be also properly done to get a correct results.
  4. Apply ML Algorithm -> At this point we will apply our models, either supervised learning or unsupervised learning. I would suggest to start with the Supervised Learning models. Few examples of SL category are: Linear Regression, Logistic Regression, Random Forest, Neural Networks, Support Vector Machines, etc. Of course, in order to apply them it is highly important to understand the mathematical and intuitive idea behind the models. Therefore, this will be one of the challenges we should get ourselves ready for. In this step we will also perform some Grid Search, optimum parameter finding technique.
  5. Candidate Model(s) -> After an initial model application, there will be few models left with the highest accuracy metrics. At this step we should come up with the reasoning why to choose the specific model over others. This decision will be made based on various factors, such as interpretability of the model, robustness and so on.
  6. Model Application -> After we have defined our model, the final process is to creating an automated process and getting a result. Creating an end-to-end process is as important as having just a predicted output.

Now we are familiar with the output conceptual framework of ML. The next post will give some resources necessary to start the challenge. If you have more ideas, in next 13 days write it in comments and we will surely consider those ideas. The idea is in such a way that everyone can independently do apply everything on their own way. Main goal here is to learn a concept per day and share it with each other…

#365DaysMLChallenge

# 365_Days_ML_Challenge
## Introduction
In 2018 February I started for the first time to study Data Science. 6 months after that I got my first internship as Data Scientist. This has been achieved by constantly challenging myself to learn more and more each and every day. Now it is time to put goals for 2019.
Starting from the 1st of January, every day I will do write few lines of syntax and share it here, as well as at my blog.
More updates will be published soon again.
See you on 1st of January…

Həyatımızdakı Alqoritmlər

0_KNAWEtfC7ijMpqfe

2 illik Freiburg macərasından sonra, işləmək üçün Stuttgarta köçdüm 1 Avqust tarixində. Köçə bilmək üçün də, təbii ki, kirayə ev tapmalıydım. Hardasa 1 aya yaxın vaxtımı aldı axtarış, həmçinin əsəblərimi və enerjimi də. Çünkü artıq ev axtararkən müxtəlif kriteriyalar qurmuşdum beynimdə: işə yaxın olması, şəhər mərkəzinə yaxın olması, marketlərə, restoranlara və alış-veriş mərkəzlərinə yaxın olması, evin böyük olması, yeni təmirli olması, mebellə təchiz olunması, kirayə qiymətinin gəlirimin 30%`indən çox olmaması, və s. və i.a.  Baxmayaraq ki son 6 il ərzində 12-13 dəfə ev dəyişdirmişəm, yenə də yeni bir yerə köçmək adı gələndə bu fikirlər stress yaradır.

 

Əminəm xaricdə yaşayan və ya bir şəhərdən başqa şəhərə, bir evdən başqa evə köçən hərkəs bunu bilir. Əgər sənin də başına belə bir şey gəlibsə və bu işi necə asanlaşdıra bilərəm deyə özünə sual vermisənsə,  Brian Christian və Tom Griffiths`in  ‘Həyatımızdakı Alqoritmlər’ (Algorithms to Live By) kitabında bu başağrıdan məsələyə bir həll yolu var: 37%.

image

 

 

 

İlk baxışda çox da həll yolu kimi görünməsə də, 37%`in bir alqoritm nəticəsi olduğunu biləndə hərşey daha da aydın olur. İstər kirayə ev, vəya maşın dayanacağı, və hətta istərsə həyat yoldaşı axtarışı olsun, nə vaxt axtarışı saxlayıb seçim etmək sualı ‘Optimal Dayanma’ alqoritması ilə özünə cavab tapır. Bu alqoritmə əsasən biz vaxtımızın 37%’ni müşahidə etməyə, geri qalan vaxtı müşahidələrimiz nəticəsində hesabladığımız orta hesablı kriterianı keçə biləcək ilkin namizədi tapmağa sərf etməliyik. Məsələn, əgər üç həftə ərzində ev tapmalısansa təxminən bir həftə müşahidə aparıb, geri qalan iki həftədə isə qarşına çıxacaq ilk yaxşı namizədə atılmalısan.

Həyatımızdakı Alqoritmlər kitabında Tom və Brian komputer problemlərini həll etmək üçün təklif və tətbiq olunmuş alqoritmləri gündəlik insan məşəqqətləri üçün də tərcümə edirlər. Alqoritm sadəcə hərhansı bir problemin həll yolunun sonlu saydakı bir ardıcıllığıdır. Ən sadə bir bənzətmə ilə izah etsək, Alqoritm tort hazırlanmasında istifadə olunan reseptdir. Bu resepti harda, nə zaman istifadə edirsiniz edin, sizə bənzər tortu verməlidir (əgər reseptdəki məhsullar hər zaman eyni olarsa təbii ki).

Kitabda əsasən çeşidləmə, (vaxt) dəyərləndirmə, və düzgün qərar vermə kateqoriyasında alqoritmlər izah olunub. İlk səhifələrinin birində də yazıldığı kimi, ‘həyatmızı problemlərlə doludur, və bu problemlər ümumilikdə çətin olur’. Bəzən müəyyən qaydalardan istifadə edərək, başqa insanların da köməyi ilə bu problemləri həll edə bilirik, bəzən isə edə bilmirik. Elə problemlər var ki, həqiqətən də onların həllini tapmaq insan ömrünün və resurslarının xaricindədir. Lakin, bir çox məsələlərdə sadə riyazi və komputer metodlarından istifadə edərək nəticəni qısa zamanda və az xərclə əldə edə bilərik.

Biz çox vaxt problemlərimiz haqda çox emosional düşünüb, həlli asan olan şeyləri belə çətinləşdiririk özü beynimizdə. Lakin, məsələlərə diqqətlə yanaşsaq, detallarla böyük rəsm arasındakı balansı tuta bilsək, zincirvari quruluşu müəyyən edə bilsək, o zaman cavabı olan bütün suallarımızı qısa zamanda başa çatdırıb, həlli olmayan problemlərimizi də öz axarına buraxmalı olduğumuzu görəcəyik.

John Mill’s On Liberty

-Over himself, over his own body and mind, the individual is sovereign.-

Persons of genius, it is true, are, and are always likely to be, a small minority; but in order to have them, it is necessary to preserve the soil in which they grow. – J.S.Mill

Ultimately, while striving to get through the each subsequent day, I’ve managed to finish the ‘On Liberty’ by John. S. Mill. If my memory does not fluctuate too much from reality, I saw this spectacular piece of work in one of the economists’ blogs (I will share a list of economics blogs, soon).

John Stuart Mill was the most prominent philosopher of the 19th century. Being a liberal, a utilitarian, a naturalist,  John Mill, in his Principles of Political Economy, argued that economics was not the “dismal science” that its radical and literary critics had supposed. Its philosophical interest lay in Mill’s reflections on the difference between what economics measured and what human beings really valued: leading Mill to argue that we should sacrifice economic growth for the sake of the environment, and should limit population as much to give ourselves breathing space as in order to fend off the risk of starvation for the overburdened poor.

In his book, On Liberty, he attempted to broaden the meaning of utility and argued that the Utilitarianism provides a protection of rights. Mill asserted that individuality should be nurtured and preserved.

On Liberty consists Mill’s significant ideas about the rejection of public or legal coercion to the individuals’ opinions and behaviors. He argues that the coercion could be justified only when the individuals’ actions or behaviors harms other people.

Liberty is given as a positive factor of progress and guardian against social stagnation. The book is divided into few sections: Overall meaning of liberty, value of the liberty of action and opinion, the extend that the legal or social authority can be coerced to liberty, and few applicable cases.

After finishing the On Liberty, I today received and started to read The Worldly Philosophers by Robert Heilbroner. After finishing the book, I will give a brief opinion about it. Very excited to continue exploring new universes.

“Anyone who stops learning is old, whether at twenty or eighty. Anyone who keeps learning stays young.”
― Henry Ford

Sərxoş Ruh

womanwithwine.jpg

 

Kədərə uzanan yollar aparır məni

Uzaqların üfüqü qırpıdır kiprikləri

Qoxunu gətirir külək illərin xəttləri ilə dolmuş üzümə.

Və darıxıram nəfəsinçün…

 

Nağılların sonu olmur demişdilər,

küçələrin tozu qalmır demişdilər,

darıxmağın adı olmur demişdilər,

sənin getməyəcəyini də deyənlər.

Sonunda Yalanlar aldı səni əlimdən,

gözümü yumub gedişi gözlədim… İnanmıram…

 

Bir neçə addım daha atdım tanrının yoxluğuna,

Zamanın bitdiyi andayam.

Cisimsizliyimin xoşbəxtliyi sarıb kainatı.

Sərxoş ruhum qarışıb rənglərinə dünyanın.

 

Ama sən qadın…

Beynimin bir qırışında qalmısan hələ də

Sağalmayan yaralarınla birliktə.

Göz yaşlarınla dönür kədər dəyirmanı.

Unutmağın mümkün olmadığı ölçüdəsən,

Sərxoş ruhumun dərinliklərinə yapışıb sənsizlik.

 

Necə gözəl idi susmaq gözlərində.

Durmaq həyata qarşı əl-ələ.

Harmoniyalaşmaq həyatın fəsilləri ilə.

Arzuların yanlışı oldu səninlə xoşbəxtliyim,

Hər yanlışın bir gün bitdiyi kimi

Sən də bitdin şeirlərimdə…

Əvəzsiz bir yuxu kimiydin reallığımda

Əbədi bir boşluğ var sən olmayan xəyallarımda…

 

İndi isə aparır kədərə uzanan yollar məni

Sənsizlikdə yəqin itib tanrının da səsi

Ağciyərlərimdə çatışmır qoxun sənin

Çəkindiyim səni itirmək olmayıb heç vaxt,
Ən pisi öyrəşməkdi yoxluğuna sevgilinin.

İndi isə, qadın ol, şərabım,

Qarış ruhumun ən sərxoş dərinliyinə…

YUNANISTANIN DEMOKRATIKA HƏSRƏTI – ANALITIK YAZI

Əvvəllər Yunanıstan deyəndə ağıla ilk gələn şey sivilizasiyanın, fəlsəfənin mənbəyi olan bir əfsanəvi ölkə idi. Lakin günümüzdə Yunanıstan deyəndə ağla ilk gələn söz Krizis`dir. Necə oldu ki, Demokratika sözünün atası Kleistenis`in yurdu olan Yunanıstan suverenliyini itirməyə və ayaq altında məhv olmağa doğru gedir?

Read the rest of this entry »

Res Privata Transnationale

Big Borther is watching you

Siyasətin İqtsadiyyat üzərindəki səlahiyyəti itib. Artıq böyük korporosiyalar siyasət diqtə edir, qanunları təklif edir, seçir, dəyişdirir. Siyasətçilər isə səssiz qalırlar. Buna səbəb isə həmin siyasətçilərin `sponsorları` elə bu korporasiyaların olmasıdır.

Bu dəyişiklik ümumi ideologiyalarda (liberalizm, demokratika, kapitalizm) deformasiyalar yaratmağa başlayır. Res Publika`dan Res Privata`ya keçirik. Siyasətdə Korporatizm termini hazırkı zamanda tez-tez işlədilir. Yalnızca hakimiyyətdə olanlar öz sözlərini qanun olaraq qəbul etdirə bilirlər. Onlara qarşı çıxanları isə terrorist, anarxist, asayişi pozan, narkoman, qatil adları ilə birdəfəlik susdura bilirlər. Bu isə demokratiya anlayışının heç bir yerdə mövcud olmadığını sübut etməkçün kifayətdir. Bu vəziyyət həm mikro həm makro görüntülərdə mövcuddur. Amerikada öldürülən azlıqlar, eks-SSRİ ölkələrindəki vicdan və siyasi məhbuslar, Orta Asya ölkələrində baş verən vətəndaş müharibəsi mikro-görüntülərə nümunədir. Müsəlman təriqətlərinin bir-biri ilə və İslam`ın Qərblə olan müharibəsi, Rusiya və Qərbin Ukrayna münaqişəsi və digər ölkələrarası məsələlər isə makro-görüntüyə nümunədir.

Belə bir vəziyyətdə yeni bir ideoloji çevriliş etmək və korporasiyaların insan mənəviyyatı üzərindəki təsirini azaltmaq lazımdır. Buna isə yalnızca öz istehlak mədəniyyətimizi dəyişməklə başlaya bilərik. Digər tərəfdən isə bu mədəniyyəti təhsil`lə yaymaq, yeni nəsli bu barədə bilgiləndirmək lazımdır.

%d bloggers like this: