1845-2000萬開房數(shù)據(jù)java多線程寫入同一文件源碼 源代碼
這幾天，出現(xiàn)了 2000萬開房數(shù)據(jù)的事情。
好奇心使然，找到種子下載了，發(fā)現(xiàn)格式是 csv的。
一個文件好幾百兆，大概200萬行左右的數(shù)據(jù)，現(xiàn)在我要解決的問題是，將 csv的數(shù)據(jù)讀出來，組合數(shù)據(jù)，生成sql文件。
一個技術(shù)難點(diǎn)是：多線程寫入同一文件，只能有一個線程寫，其他線程在等待.網(wǎng)上有很多解決方法，但我自己實(shí)現(xiàn)了代碼，代碼中有做一個 文件內(nèi)容輸出優(yōu)化，緩存的功能，。
以前單線程跑，跑了一下午才完成，大概跑了幾個小時。多線程跑，大概4-5分鐘左右。
這個場景在平常開發(fā)中也是經(jīng)常要用到的。
先說明，此代碼直接用會報(bào)錯，因?yàn)橐玫轿易约旱墓ぞ哳悾枰謩訉?nbsp;FileUtils.doWriteFile 這些代碼 換成 System.out 輸出即可
本源碼地址：http://www.bmm520.net/vip/java/2020/0219/20430.html
