讓spark可以在ipython notebook上面跑

其實很簡單，就是環境變數設定好就work了

[python] 處理ISO時間

文章重點：字串轉整數時間

感覺蠻常用到的先存起來

以前都自己來比較快(完成)

若效率的話還未知 (以下)

[python] 使用mosquitto/paho去架設mqtt

以前就架設成功了

不過有個問題點困擾我很久

那就是資料如果要傳json的話

最省空間就是用bson

但我以為只有python lib 中的paho不能用

[python] Cache方法測試效能

早在兩年前我用兩種儲存方法去紀錄cache的資料

今天趁空閒之時，在特定情況下測試兩種方法

這時才發現已前覺得zip方法很快，但實際不然

[python] 查詢變數集中是否存在特定變數

我想程式稍微熟的用者應該都清楚，

若在LIST中查詢字串是相當慢的，

畢竟他是逐一筆對結果是否符合，

如果要加速檢查是否在資料集中就必須用到特定資料格式。

[python] String Format效能測試

目前使用兩種Format格式，

不太懂官方怎麼命名，

我就先用簡單的名詞代替：
1. format方法
2. 百分比%方法

我比較長用百分比方法，

直到最近工作有人提起才開始考慮到底要用哪種格式

[python] Bottle Framework

因有人向我提起

說我們為什麼沒用template

回答後才發現既然我們不需要MVC架構

那為何不選擇更light weight的平台？

所以比較了幾個framework, 最後我選擇了Bottle

[python] String串接效能測試

因為很多人都說StringIO效能比較好

建議大家不要直接相加字串

以前我還挺相信的 (但我本身還是懶沒有實際使用)

直到今天看到有cStringIO宣稱比StringIO還要好

為了想知道好多少就好奇來測試一下

[python] 如果發生在Mint中移除Python的悲劇

千萬別做這件事

即使你只是要更新python版本

如果移除會造成非常嚴重的後果

就必需根據以下步驟才能回復

[python] GEO世界IP定址

為了將蒐集到的資料IP轉換為國家

將特地將付費某付費軟體內的ip-map解析出來

在轉為自己自訂的python object格式

原以為一勞永逸，無論是哪裡來的ＩＰ都可以解析出來

結果！這資料超級舊的

[python] 伺服器基本效能監控

或稱電腦效能監控？ (server performance monitor)

server多時就很難逐一檢查

只好用程式遠端蒐集/監控

尤其最近很常用到所以順手紀錄一下

我用的是 psutil 這個模組

原因是比較其他模組我覺得這滿方便的

[python] Hash演算法效能測試

因為使用過許多Hash經驗

從一開始可以用就MD5

考慮到效能時開始改用mmh3 / CRC

到現在顧慮到碰撞安全思考 SHA

在這當下突然想了解每個演算法計算速度的差異

[python] zlib 壓縮效能測試

原本是在查找 CRC簡單的實作方法

結果就看到有人測試使用zlib中的CRC效能遠比另一個CRC方法還要快 (參見)

所以開始對zlib好奇起來, 順便測試一下壓縮

但原來 zlib 和 gzip 為相同方法實作 (是不是相同核心我就不知道了)

但好奇心趨使下測試一下zlib在壓縮string在不同level下的效能
(生手症狀)

[python] 安裝新伺服器套件出現問題

安裝套件常常會噴錯

通常都是支援上的問題啦

目前遇到一個很新的issue

是gcc無法成功compile mmh3的問題

[python] RSA加密範例

RSA加密範例

預先寫下來備份

之後可能會用到