1 intro

使用LMM生成活動(dòng)軌跡的開(kāi)創(chuàng)性工作

1.1 生成活動(dòng)軌跡的意義

• 理解活動(dòng)模式（mobility pattern）——>能夠靈活模擬城市移動(dòng)性
• 盡管個(gè)體活動(dòng)軌跡數(shù)據(jù)由于通信技術(shù)的進(jìn)步而豐富，但其實(shí)際使用往往受到隱私顧慮的限制
  • ——>生成的數(shù)據(jù)可以提供一種可行的替代方案，提供了效用和隱私之間的平衡

1.2 之前生成活動(dòng)軌跡的方法的不足

• 之前有很多數(shù)據(jù)驅(qū)動(dòng)的基于學(xué)習(xí)的方法
  • 生成的數(shù)據(jù)僅從數(shù)據(jù)分布的角度而非語(yǔ)義上模仿真實(shí)世界的數(shù)據(jù)，使它們?cè)谀M或解釋新穎或未預(yù)見(jiàn)到的具有顯著不同分布的場(chǎng)景（例如，大流行疾?。?span style="color:#fe2c24;">的活動(dòng)中效果較差

1.3 本文思路

• 使用大模型生成活動(dòng)軌跡

這個(gè)圖沒(méi)有說(shuō)清楚，我個(gè)人的感覺(jué)是，LLM得到plan和reason的部分，然后根據(jù)plan里面的semantic activity（POI），對(duì)應(yīng)到location coordinate上

1.3.1? 大模型相比于之前模型的優(yōu)勢(shì)

• 語(yǔ)義可解釋性
  • 與之前主要依賴于結(jié)構(gòu)化數(shù)據(jù)（基于GPS坐標(biāo)的軌跡數(shù)據(jù)）不同，LLMs在解釋語(yǔ)義數(shù)據(jù)（例如，活動(dòng)軌跡數(shù)據(jù)）方面展現(xiàn)出了專長(zhǎng)
    • ——>可以將多樣化數(shù)據(jù)源納入生成過(guò)程
    • ——>增強(qiáng)了模型理解和與復(fù)雜、真實(shí)世界場(chǎng)景以更細(xì)膩和有效的方式互動(dòng)的能力
• 模型通用性
  • 之前的模型在未見(jiàn)場(chǎng)景下的生成能力有限
  • LLMs在處理未見(jiàn)任務(wù)上顯示出了顯著的通用性，尤其是基于可用信息進(jìn)行推理和決策的能力

1.3.2 挑戰(zhàn)與解決方法

• RQ 1: LLM如何有效地與關(guān)于日常個(gè)人活動(dòng)的富語(yǔ)義數(shù)據(jù)對(duì)齊？
• RQ 2: 使用LLM實(shí)現(xiàn)可靠且有意義的活動(dòng)生成的有效策略是什么？
• RQ 3: LLM在增強(qiáng)城市移動(dòng)性方面的潛在應(yīng)用是什么？

1.3.3 論文的兩階段

• 自洽活動(dòng)模式識(shí)別
  • 提取并評(píng)估歷史數(shù)據(jù)和語(yǔ)義分析中的活動(dòng)模式
  • 使用LLM代理生成多樣化和個(gè)性化的活動(dòng)場(chǎng)景
• 動(dòng)機(jī)驅(qū)動(dòng)的活動(dòng)生成
  • 開(kāi)發(fā)了兩種可解釋的檢索增強(qiáng)策略
    • 結(jié)合第一階段識(shí)別的模式，指導(dǎo)LLM代理總結(jié)出動(dòng)機(jī)，如不斷變化的興趣或情境需求

2 問(wèn)題表述

• 研究城市背景下，個(gè)體每日活動(dòng)軌跡的生成，每個(gè)軌跡代表一個(gè)人一整天的活動(dòng)
  • 每個(gè)個(gè)體的活動(dòng)表示為一個(gè)時(shí)間有序的地點(diǎn)選擇序列{(l0, t0),(l1, t1), ..., (ln, tn)}
    • (l, t)表示個(gè)體在時(shí)間t的位置l

3? 方法

論文提出了LLMob

3.0 LLMob的假設(shè)

• LLMob基于一個(gè)假設(shè)，即個(gè)體的活動(dòng)主要受到兩個(gè)主要因素的影響：
  • 習(xí)慣性活動(dòng)模式
    • 典型的移動(dòng)行為和偏好
    • 常規(guī)的旅行和地點(diǎn)選擇
  • 當(dāng)前動(dòng)機(jī)
    • 個(gè)體在任何給定時(shí)刻決策的動(dòng)態(tài)和情境因素
    • 捕捉和預(yù)測(cè)移動(dòng)性模式的短期變化

3.1 LLMob三部分

• 環(huán)境
  • 環(huán)境包含從現(xiàn)實(shí)世界數(shù)據(jù)中收集的信息，代理通過(guò)識(shí)別習(xí)慣性活動(dòng)模式和生成軌跡來(lái)行動(dòng)
• 記憶
  • 需要提示給LLM以引發(fā)下一步行動(dòng)的過(guò)去行動(dòng)
  • 在LLMob中，記憶指的是代理輸出的活動(dòng)模式
• 規(guī)劃
  • 制定計(jì)劃或反思過(guò)去的行動(dòng)以處理復(fù)雜任務(wù)

3.2 第一階段——從歷史數(shù)據(jù)中識(shí)別活動(dòng)模式

3.3 第二階段——?jiǎng)訖C(jī)的檢索 & 動(dòng)機(jī)和活動(dòng)模式的整合

3.4?兩種RAG的檢索

3.4.1?基于進(jìn)化的動(dòng)機(jī)檢索

• 即個(gè)體在任何給定日子的動(dòng)機(jī)受到其在前幾天的興趣和優(yōu)先級(jí)的影響
  • 新的動(dòng)機(jī)通常是從現(xiàn)有動(dòng)機(jī)中演化而來(lái)

3.4.2?基于學(xué)習(xí)的動(dòng)機(jī)檢索

• 假設(shè)個(gè)體傾向于在其日常活動(dòng)中建立例行公事，即使具體地點(diǎn)可能有所不同，但也由一致的動(dòng)機(jī)指導(dǎo)
  • 例如，如果有人在工作日的早晨經(jīng)常訪問(wèn)漢堡店，這種行為可能表明了對(duì)快速早餐的動(dòng)機(jī)
• 對(duì)于計(jì)劃活動(dòng)的每個(gè)新日期，唯一可用的信息是日期本身
  • 首先制定過(guò)去日期dp和當(dāng)前日期dc之間的相對(duì)時(shí)間特征
    • 這個(gè)特征捕獲了各種方面，如這兩個(gè)日期之間的間隔以及它們是否屬于同一個(gè)月
  • 訓(xùn)練一個(gè)分?jǐn)?shù)估計(jì)器來(lái)評(píng)估任意兩個(gè)日期之間的相似性
    • 由于缺乏監(jiān)督信號(hào)，論文采用對(duì)比學(xué)習(xí)來(lái)訓(xùn)練fθ
      • 對(duì)于用戶的每個(gè)軌跡掃描她的其他軌跡，并根據(jù)預(yù)定義的相似性分?jǐn)?shù)識(shí)別相似（正面）和不相似（負(fù)面）的日期
        • 
      • 對(duì)于每個(gè)日期d，根據(jù)相似性分?jǐn)?shù)生成一個(gè)正面對(duì)（d, d+）和k個(gè)負(fù)面對(duì)（d, d-1），...，（d, d-k）并計(jì)算zd,d+，zd,d-1，...，zd,d-k
      • 將正面和負(fù)面對(duì)輸入fθ(·)形成：
        • 
      • 采用InfoNCE作為對(duì)比損失函數(shù)：
        • 
• ——>能夠檢索最相似的歷史數(shù)據(jù)，從而讓LLM生成那個(gè)時(shí)期流行的動(dòng)機(jī)摘要
• ——>推斷出與查詢?nèi)掌谙嚓P(guān)的動(dòng)機(jī)，為L(zhǎng)LM生成新的活動(dòng)軌跡提供基礎(chǔ)

4 實(shí)驗(yàn)

4.1 數(shù)據(jù)集

• 在東京的個(gè)人活動(dòng)軌跡數(shù)據(jù)集上調(diào)查并驗(yàn)證LLMob。
  • 這個(gè)數(shù)據(jù)集通過(guò)Twitter API和Foursquare API獲得，覆蓋從2019年1月到2022年12月的數(shù)據(jù)。
  • 這個(gè)數(shù)據(jù)集的時(shí)間框架富有洞察力，因?yàn)樗蹲搅薈OVID-19大流行之前的典型日常生活（即，正常時(shí)期）以及大流行期間的變化（即，異常時(shí)期）。
• 隨機(jī)選擇了100名用戶，根據(jù)可用軌跡的數(shù)量，以10分鐘間隔模擬他們的個(gè)人活動(dòng)軌跡。\
  • 
• 利用Foursquare中的類別分類來(lái)確定每個(gè)地點(diǎn)的活動(dòng)類別。
• 使用10個(gè)候選人物角色作為后續(xù)模式生成的先驗(yàn)

4.2 指標(biāo)

• 步長(zhǎng)距離（SD）——軌跡上兩個(gè)連續(xù)位置之間的距離
• 步長(zhǎng)間隔（SI）——軌跡上兩個(gè)連續(xù)位置之間的時(shí)間間隔
• ST-ACT——每條軌跡的空間-時(shí)間活動(dòng)分布
• ST-LOC——每條軌跡內(nèi)訪問(wèn)地點(diǎn)的空間-時(shí)間分布，包括地理坐標(biāo)和時(shí)間戳
• 琴聲-香農(nóng)散度（JSD）——量化生成軌跡與實(shí)際軌跡之間的差異。較低的JSD更受青睞。

4.3 方法

• 采用GPT-3.5-Turbo-0613作為L(zhǎng)LM核心
  • 使用“LLMob-L”來(lái)表示整合了基于學(xué)習(xí)的動(dòng)機(jī)檢索方案的框架
  • 用“LLMob-E”來(lái)代表采用基于進(jìn)化的動(dòng)機(jī)檢索方案
• ablation study中的P和M分別是pattern和motivation

4.4 結(jié)果

4.4.1 正常情況/非正常情況下生成軌跡的結(jié)果比較

4.4.2 是否帶“pandemic” prompt對(duì)于結(jié)果的影響

文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-838426.html

到了這里，關(guān)于論文筆記：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！