[Python] 讓Jupyter notebook可以從遠端連線

請參考jupyter官網說明

為了安全第一步請設定jupyter密碼

$ jupyter notebook password
Enter password:  ****
Verify password: ****
[NotebookPasswordApp] Wrote hashed password to /Users/you/.jupyter/jupyter_notebook_config.json

有可能會回說jupyter_notebook_config不存在之類的錯誤
代表你需要config檔 使用以下指令即可

$ jupyter notebook --generate-config

接下來修改config檔

$ vi ~/.jupyter/jupyter_notebook_config.py

新增下面資料或是將原本的註解(#)刪除即可

c.NotebookApp.ip = '*'

ip改成星號讓遠端電腦可以透過本機ip連上jupyter_note
若本機的ip為固定ip直接填上對應ip也行
現在啟動jupyter notebook應該就可以從遠端連線了

另外建議要用https加密連線 以免密碼被偷取

c.NotebookApp.certfile = u'/absolute/path/to/your/certificate/fullchain.pem'
c.NotebookApp.keyfile = u'/absolute/path/to/your/certificate/privkey.pem'

把路徑改成金鑰的位置即可 至於金鑰如何取得請自己google

[Python] 單底線與雙底線

#single_double.py
class Parent(object):
    def _single(self):
        print("Parent single underscore")
    def __double(self):
        print("Parent double underscore")

class Child(Parent):
    pass

c = Child()
c._single() #Parent single underscore
#Python並沒有類似C的protected member
#單底線的member在執行行並沒有實際差異
#但單底線的member表示此member不應該被其他人或是Child使用

print(dir(c))
#['_Parent__double', '__class__', ... '__weakref__', '_single']

#c.__double() AttributeError: 'Child' object has no attribute '__double'
c._Parent__double()
#雙底線的member在child是沒辦法被直接存取
#Python並沒有所謂的private function,但可以用雙底線達到類似的效果

def _single():
    pass

def foo():
    pass
>>> dir()
['__annotations__', '__builtins__', '__doc__', '__loader__', '__name__', '__package__', '__spec__']
>>> from single_double import *
...
>>> dir() #foo被import 但_single_double沒有
['Child', 'Parent', '__annotations__', '__builtins__', '__doc__', '__loader__', '__name__', '__package__', '__spec__', 'c', 'foo']
>>> from single_double import _single
>>> dir()
['Child', 'Parent', '__annotations__', '__builtins__', '__doc__', '__loader__', '__name__', '__package__', '__spec__', '_single', 'c', 'foo']
>>> 

若是用from xx import *的方式import
單底線的member不會被import
但還是可以用from xx import _single的方式強制import

底線開頭加結尾的member
例如上例執行dir()跑出來的’__annotations__’, ‘__builtins__’, ‘__doc__’, ‘__loader__’ …
這種member代表有特殊意思
除非了解他的用途 否則不應該隨意取這種名稱

#single_double.py

""" need module docstring"""


class Parent(object):
    """ need class docstring"""
    def _single(self):
        print("Parent single underscore")

    def __double(self):
        print("Parent double underscore")

    def open(self):
        """ method docstring"""
        pass


def _single():
    pass


def foo():
    """ function docstring"""
    pass

執行pep8或是pylink
會發現他們要求所有的公開method都需要docstring
但單底線及雙底線開頭的method都不會要求docstring

[Python] multiple import

#a.py
print("in a.py berfore import b")
import b
print("in a.py after import b")
#b.py
print ("in b.py")
#c.py
print("in c.py berfore import b")
import b
print("in c.py after import b")
#d.py
print("in d.py berfore import a")
import a
print("in d.py after import a")

print("in d.py berfore import c")
import c
print("in d.py after import c")
in d.py berfore import a
in a.py berfore import b
in b.py
in a.py after import b
in d.py after import a
in d.py berfore import c
in c.py berfore import b
in c.py after import b
in d.py after import c
>>> a.b.x = 1
>>> c.b.x
1
>>> a.b

>>> c.b

>>> 

重複import會被視為同一個物件

[Python] mixin與ABC(Abstract Base Classes)的比較

主要用途

  • mixin: code reuse,將一個或多個method的實作封裝,讓多個類別使用(這些類別不一定有繼承關係) (ref: Python cookbook 3rd, 8.17)
  • ABC: 定義介面(interface),或說是協定(protocal)及型別(type)的實作。(ref: Python cookbook 3rd, 8.13, Fluent Python ch10&11)

共同點

  • 都不能被實體化,故都不應該有__init()__

差異

  • 實作method
    • 因為要re use code故mixin一定會實作method;ABC大多不需要實作method,不過ABC可以實作method,但僅限用於ABC本身或是其supercall,也就是說ABC不應該為了instance實作method。
  • Instance variable
    • mixin不應該有instance variable,Effective Python建議讓mixin的__slots__ = (),阻止使用者建立新的attribute。

註:任何Class都只能繼承一個實體Class,其他只能繼承ABC或是mixin

Fluent Python有提到「An ABC may also be a mixin; The reverse is not true」,作者認為ABC可能為mix-in。但我認為這兩個概念不同,是否會有一個class同時符合這兩個概念的機會,我持懷疑態度。

另外Fluent Python ch12建議我們少用繼承,若是使用了很多繼承必須檢查我們是否有幾點問題

  • 是否正在重新發明輪子
  • 正在使用一個不好的Framwork
  • 是否有過度設計
  • 你是否正在設計一個新Framwork(除非你在設計新Framwork,否則不應使用太多的繼承)

[C11] 能否使用move()回傳一個新的物件但不copy物件

最近花了很多時間研究是否能以rvalue reference在不複製物件的狀態下回傳新物件
但仍然找不到方法

一般講到這個問題 大家一定是會回答RVO(return value optimization)
雖然目前的compiler大部份都會做到RVO 但我們還是不能說RVO一定會進行

我天真的以為rvalue reference跟move可以讓function回傳物件的scope在return之後續繼維持
但其實是我誤會這個功能
move constructor/assignment的設計上還是要先construct物件
不論如何 move constructor還是會消耗新的空間與時間用在construct
move assignment也一定要先construct物件才能再assign
我們能處理的是member variable要怎麼複製

#include <iostream>
#include <memory> //shared_ptr
using namespace std;
class Foo {
public:
    int* i;
    Foo() {
        i = new int[1];
        i[1] = 1;
        cout << "default constructor" << endl;
    }
    ~Foo() {
        if (i != nullptr) {
            cout << "destructor, i[0]=" << i[0] << endl;
            delete[] i;
        } else {
            cout << "destructor, i is nullptr" << endl;
        }
    }
    Foo(Foo&& f) {
        cout << "move constructor, f.i[0]=" << f.i[0] <<  endl;
        i = f.i;
	//假設i是一個很大的array我們可以省掉copy array的時間
	//但若i是一個物件 而且我們有很多個member variable如i, j ,k ,l ,m, n
	//move constructor還是要先construct每個member varialbe
        f.i = nullptr;
    }
    Foo& operator=(Foo&& f) {
        cout << "move assigment, f.i[0]=" << f.i[0] <<  endl;
        i = f.i;
        f.i = nullptr;
        return *this;
    }
};
Foo factory() {
    Foo f;
    f.i[0] = 9;
    //do something for Foo
    return std::move(f); //will call move contrcutor
}

Foo RVO_factory() {
    Foo f;
    f.i[0] = 8;
    return f;
}

Foo fail_RVO_factory(bool b) {
    if (b) {
        Foo f;
        f.i[0] = 2;
        return f;
    } else {
        Foo f;
        f.i[0] = 3;
        return f;
    }
}

shared_ptr<Foo> factory_shared_ptr() {
    shared_ptr<Foo> shared_f = make_shared<Foo>();
    shared_f->i[0] = 99;
    //do something for Foo
    return shared_f;
}
int main() {
    {
        Foo foo = move(Foo());//will call move constructor
        foo = move(Foo());//will call move assigment
    }
    cout << "===========================" << endl;
    {
        cout << "call factory" << endl;
        Foo f = factory();
        cout << "after factor, f.i[0]: " << f.i[0] << endl;
    }
    cout << "===========================" << endl;
    {
        cout << "call RVO factory" << endl;
        Foo f = RVO_factory();
        cout << "after RVO factor, f.i[0]: " << f.i[0] << endl;
    }
    cout << "===========================" << endl;
    {
        cout << "call fail RVO factory" << endl;
        Foo f = fail_RVO_factory(true);
        cout << "after fail RVO factor, f.i[0]: " << f.i[0] << endl;
    }
    cout << "===========================" << endl;
    {
        shared_ptr<Foo> shared_f = factory_shared_ptr();
        cout << "get shared_f.i[0]: " << shared_f->i[0] << endl;
    }
    cout << "exit shared_f scope" << endl;

    return 0;

在我的機器上的執行結果:

default constructor
move constructor, f.i[0]=1
destructor, i is nullptr
default constructor
move assigment, f.i[0]=1
destructor, i is nullptr
destructor, i[0]=1
===========================
call factory
default constructor
move constructor, f.i[0]=9
destructor, i is nullptr
after factor, f.i[0]: 9
destructor, i[0]=9
===========================
call RVO factory
default constructor
after RVO factor, f.i[0]: 8
destructor, i[0]=8
===========================
call fail RVO factory
default constructor
move constructor, f.i[0]=2
destructor, i is nullptr
after fail RVO factor, f.i[0]: 2
destructor, i[0]=2
===========================
default constructor
get shared_f.i[0]: 99
destructor, i[0]=99
exit shared_f scope

現在大部份的編譯器都應該有RVO
所以在call RVO factory時應該都只會construct一次

但RVO目前還是有限制
若是return的物件被包在if之類的條件中
編譯器沒辦法的編譯期確認回傳的物件是哪個
這樣就沒辦法做到RVO

總結來說
除非對自己處理記憶體空間很有自信
目前應該還是要優先考慮使用shared pointer
讓編譯器幫我們處理空間問題

而move就算了 若Foo不是我們寫的物件 我們能做的事情更少
假如寫Foo的人沒有寫move或是沒寫好 反而會造成更大的問題…

[Python] python的字串與轉碼問題:string and encode in 2.7/3.x

先以Python3為例子

>>> s = '你好'
>>> len(s)
2
>>> s[0]
'你'
>>> s[1]
'好'
>>> b = s.encode('utf8')
>>> b
b'\xe4\xbd\xa0\xe5\xa5\xbd'
>>> len(b)
6
>>> b[0]
228
>>> b[1]
189
>>> type(b)
<class 'bytes'>
>>> type(s)
<class 'str'>

從上面可以看出來,在Python3裡面被單引號「’」或是雙引號「”」包起來的東西會被當成一個str。
在Python3裡面str是人類可讀的字串,所以中文的「你好」就會被拆成「你」「好」兩個字
實際上在記憶體中是沒辨法直接儲存中文,必須轉換成0與1的方式來儲存,但使用STR時沒必要去了解Python是怎麼儲存str。
我們還可以把str轉換成一連串數字,這件事情叫做「編碼(encode)」
可以想像成把人類可讀的文字轉成電腦可以儲存的電腦語言,Python3就叫做bytes。
一般來說目前最常用的編碼語言是「utf8」
「你好」轉成utf8就會變成6個byte 繼續閱讀 “[Python] python的字串與轉碼問題:string and encode in 2.7/3.x”

[Python] 底線, name_mangling與private member

python並沒有所謂的private
但可以在member的前面加上一個底線 當作一個軟性的private
告訴其他人這個member不應讓其他人取用或修改 以達到安全性

我們也可以在member前面加上雙底線 這樣會產生name mangling的效果
但這樣也不能完全達到禁止存取

一般的情況下應該使用單底線來告知使用者即可(from fluent python ch9)
繼續閱讀 “[Python] 底線, name_mangling與private member”

[python] defaultdic, __call__

case1:
有時候我們會希望在dictionary中遞增value
但往往需要重複檢查key值是否存在並設定value為empty list, empty set或為0
這種情況使用setdefault或是sefaultdict就是一個好選擇

case2:
有時我們會希望function在執行時同時記錄一些狀態值
使用__call__來建立一個可以呼叫的物件 繼續閱讀 “ defaultdic, __call__”

[讀書心得] 鳳凰專案-看IT部門如何讓公司從谷底翻身的傳奇故事

FullSizeRender-2

醜話說在前這本書的翻譯品質並不好,一來可能是譯者的翻譯問題二來可能是本書原文作者用字方式較特別。我本人並沒有看過原文,但看過原文的朋友曾表示這本書的英文並不好理解。

撇開翻譯品質的問題,這本書是以小說方式解譯devops,故當成小說來閱讀應該不會有太大問題。因為我只有在硬體系統廠工作的經驗,閱讀時對於這本書常碰到的「deploy」問題較沒有概念,一些專有名詞如ITIL, ITSM也就略過不研究。

這本書以「第一人稱」來描寫比爾這個中階經理在CIO被FIRE後被拉上公司技術總管理人,負責理管全公司約100名工程師。書中的公司雖為一家汽車零件公司,但有許多複雜的IT系統負責生產管理、庫存、零售、薪資、財務等功能。 繼續閱讀 “[讀書心得] 鳳凰專案-看IT部門如何讓公司從谷底翻身的傳奇故事”