Last Updated on 2023-12-08 by Clay
Given the root of a binary tree, construct a string consisting of parenthesis and integers from a binary tree with the preorder traversal way, and return it.
Last Updated on 2023-12-07 by Clay
You are given a string num, representing a large integer. Return the largest-valued odd integer (as a string) that is a non-empty substring of num, or an empty string "" if no odd integer exists.
Last Updated on 2023-12-06 by Clay
我雖然整天都在看 AI 的東西，但是 AI 中各式各樣的『架構』、『突破』、『理論』實在是太多太多了，很多東西我都是模模糊糊地知道個大概，了解了觀念就放在一邊。大部分徹地深入的認識，通通都是等到實戰時，必須自己跳下去親手改架構時才會領悟。
Read More »[Machine Learning] LLM 架構視覺化教學網站 LLM Visualization 分享
Last Updated on 2023-12-04 by Clay
黏滯位（sticky bit）是一個 Unix 與 Unix-like 系統中的一個有趣的應用，它是一個特殊的權限設定，來提供檔案或文件更加細緻的操作。比方說，大家想必都對文件權限很熟悉吧？分別是 rwx（讀取、寫入、可執行）等三種不同的權限。而黏滯位則更進一步，設定了檔案『刪除』與『重新命名』的權利。
Read More »[Linux] 權限中黏滯位（sticky bit）的解釋（chmod 1777）
Last Updated on 2023-12-04 by Clay
在 2023 年初，PyTorch 的 2.0 版本新增了一個 torch.compile() 的新功能，讓我們能夠在模型訓練/推理時能夠進一步提昇速度。與混合精度訓練的協同工作，經常能使我的訓練速度提昇一倍左右。
Last Updated on 2023-12-02 by Clay
今天我在讀取已經被 torch.compile() 之後儲存起來的模型權重，發現模型權重是使用 OrderedDict 資料結構儲存著，而這種結構本身是有序序列，換言之它的資料內容是需要嚴格遵守排序的。
