一次噴出很多新想法

最近進行的工作：

經過漫長的努力，詩芳今天終於完成資料庫的整理了，明天開始要進行 query 的動作，接下來這個程式碼也會麻煩，但是我想我們會完成他的，一個一個功能來完成。話說本來今天就可以進行查詢了，但是晚上跟小朋友討論論文，所以詩芳這邊的進度就延後了，感謝詩芳的體諒，並沒有催促我，謝謝。但是她還是等我等到十二點，真的很對不起。（可能不是在等我，只是我自以為XD）

跟小朋友討論研究內容，最後定在 state mapping 這個點。我想這是可以的，儘管我不確定結果會很好，但是我覺得可以作（只是這邊我還是有點擔心其物理意義，我擔心這邊不會這麼順利，因為 state 的 energy value 對於 state space graph topology structure 的代表性似乎還是不足以代表 state 的獨特性。但是在問題比較單純的時候，我想效果還是會有，只是在考慮多對一的狀況下我不知道會是什麼樣子）。在我看起來，sigma(abs(eigenvector/eigenvalue))的直觀意義，好像是考慮 connectivity 的 degree（也就是類似『腹地』或是對外界的流通性）其來源還可以想像，大概是來自於 eigenvector 對稱性會跨越於 0 的兩邊，然後「因為區塊內部的局部對稱性」所以會在區塊內部形成對稱行為，但是在靠近牆壁（graph不相連處）的地方就會因為極值被絕對值以後被累加起來。

話說小朋友今天晚上的反應很好，一點點東西她就可以很快反應，會想到很多我沒想到的，詩芳說得沒錯，她的確很有才能，在現在慢慢進步以後的確展現了（該不會是她快睡著的時候腦袋就特別清楚吧？）。

我也在這邊想到一些東西，跟這次要投的論文無關的。一個是把跟 SOM 類似的作法用在 RL 上面，我在進行 Q-Learning 的時候，一旦遇到 reward，就對這個 reward 進行一次 flood fill，但是距離 reward state 越遠的地方，影響就越小，這樣不是可以有效加速 RL 的速度？跟隨而來的問題是 local optimal（這是小朋友想到的問題，很好）是，這樣可以增加速度，但是會有 local optimal 的問題，好，那我在這邊有個解法，我們使用 AIMA 講的 active learning 可以改善這個問題，另外一個方法是，我們可以採用 multiagent 來同時在 graph 裡面進行 active learning，這樣掉進 local optimum 的問題（也許）可以改善。其實進行 flood fill 的行為，我會想他類似於動物找到食物就大聲喊叫，或是放出費洛蒙（應該比較類似費洛蒙，因為具有時間的持續性（那乾脆再考慮隨時間遞散的效應？）），這樣別人聞到這個費洛蒙，就也會跑過來這個點。恩？我可以把同樣的方法用到 PSO 上面嗎？恩，不對，因為 PSO 本身其實就具有遠距傳達訊息的能力了（所有人都知道目前最佳解在哪（話說考慮區域性？））這樣說起來，這個方法其實很像是考慮區域性的離散型 PSO。突然想到，關於動作的不確定性對於 flood fill 的影響，好像都沒有考慮到？如果是有向圖的時候，記住 flood fill 的方向是要注意的。（想到了，這個有困難，因為 flood 的時候你要知道點跟點之間的距離來決定 fill 的強度，但是光跑 all pair shortest distance 就需要 O(n^3) 的複雜度，那樣太貴了。不好意思，我是北七，這邊根本就可以用 Breadth-first search 就根本不用考慮這些問題，所以可用，另外，動作的不確定性，直接影響於 fill 時候 reward 傳導的比例就可以了，所以這個方法確實可用，不過，不過什麼？不過要知道環境長什麼樣子，還是需要付出 explorer 的成本，這倒是不能缺少的，現在一直在想的是：進行 RL 跟進行 explorer + flood fill 的成本到底哪個高？另外，怎樣叫做 explorer 完成？）

另外一個想到的是，如果我們可以很漂亮的處理 scale 問題，那我其實可以在不破壞 topology （透過 graph laplacian 來進行 decomposition 或是平滑度確認？）的狀況下，把問題的 scale 縮小，然後解完之後再放大到原來的大小，這邊因為我知道當初從大到小是怎麼縮的，所以可以很輕易的把小問題放大回去，這個好像真的不錯？（糟糕，好像很多題目都可以作，不過大概也有很多都已經有人作過了） 話說正在打篇文章的時候，跟 rockogl 討論到好像也可以用 GPU 來算 ML，這也是一個很不錯的想法，不過不會上什麼 paper，只是可以跑恨快而已。（此時他的暱稱打著@SIGGRAPH，去觀摩的）

對了，Rine 已經初步算是完成開發了，大部分目前要用到的功能都有了，也不錯用，感謝 C# 給我的開發效率 ^_________^ 耶，話說現在的字串處理能力也進步很多了（詩芳應該也進步很多了，因為我們兩個都是一起在做），託詩芳的福，很開心，regular expression 真是好東西，Python 真是好東西。

好，今天就這樣，明天要早起，幫詩芳弄程式，另外還要幫小朋還書。